שימוש בשפה טבעית לניתוח נתונים באמצעות Data Science Agent

יצירת notebook של Colab Enterprise וחיבור לסביבת זמן ריצה

מחברות Colab Enterprise הן נכסי קוד של BigQuery Studio שמופעלים על ידי Dataform. אפשר להשתמש במחברות כדי להשלים ניתוחים ותהליכי עבודה של ML באמצעות SQL,‏ Python וחבילות וממשקי API נפוצים אחרים.

כדי ליצור מחברת חדשה ולחבר אותה אל סביבת זמן הריצה שמוגדרת כברירת מחדל, פועלים לפי השלבים הבאים:

1. עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, מרחיבים את הפרויקט ואז לוחצים על מחברות.

3. לוחצים על תיקיית Notebook חדשה > תיקיית Notebook ריקה.

4. לוחצים על Save.

5. כדי לראות את הנוטבוק החדש, לוחצים על הכרטיסייה Notebooks (נוטבוקים). יכול להיות שתצטרכו ללחוץ על רענון רענון .

6. במחברת ללא שם, לוחצים על more_vert Open actions (פתיחת פעולות) ואז בוחרים באפשרות Rename (שינוי שם).

7. בשדה שם המחברת, מזינים predict_liquor_sales ולוחצים על שינוי ��ש��.

8. ��וחצים על הכרטיסייה predict_liquor_sales.

9. בסרגל הכלים של ה-Notebook, לוחצים על Connect (התחברות) כדי לחבר את ה-Notebook לסביבת זמן הריצה שמוגדרת כברירת מחדל.

שימוש ב-Data Science Agent לניתוח הנתונים

ה-Data Science Agent הוא עוזר מבוסס-Gemini שיכול לכתוב, להסביר ולפתור בעיות בקוד ישירות בתוך המחברת. הוא יכול לעזור לכם במשימות שונות, החל מניתוח נתונים ראשוני ועד ליצירת תחזיות וחיזויים של למידת מכונה, כולל:

• יצירת תוכניות. יצירת תוכנית מפורטת לפתרון בעיה במדעי הנתונים.
• ניקוי נתונים וחיפוש תובנות בנתונים. לזהות ערכים חסרים, חריגים ולהציג את ההתפלגויות.
• הנדסת פיצ'רים (feature engineering). להמיר פיצ'רים קטגוריים וליצור פיצ'רים חדשים.
• אימון והערכה של מודלים. לאמן מודלים כמו רגרסיה לינארית או יער אקראי ולהשוות את הביצועים שלהם.

במדריך הזה משתמשים ב-Data Science Agent כדי לנתח נתונים במערך הנתונים הציבורי של מכירות קמעונאיות של משקאות חריפים באיווה, וכדי ליצור מודל לחיזוי מכירות של משקאות חריפים.

כדי להשתמש ב-Data Science Agent לניתוח הנתונים, פועלים לפי השלבים הבאים:

1. במחברת predict_liquor_sales, אם חלון הצ'אט עם Gemini לא פתוח, לוחצים על spark החלפת המצב של Gemini ב-Colab כדי לפתוח את תיבת הדו-שיח של הצ'אט.

2. בממשק הצ'אט, מזינים את ההנחיה הבאה:

   Analyze the liquor sales data from
   bigquery-public-data.iowa_liquor_sales.sales by performing exploratory data
   analysis. Find the stores that sold the most gallons of alcohol across
   all products. Then, create a model that predicts liquor sales by store by
   using BigQuery ML. Visualize the results, evaluate the model,
   summarize the model's performance, and provide any key insights.
   

3. מוודאים שהמודל שמוגדר הוא Gemini 3.0 Flash.

4. לוחצים על שליחה.

5. בודקים את התוכנית שנוצרה על ידי הסוכן. התוכנית נראית כך:

   "ניסחתי תוכנית אסטרטגית אחרי שניתחתי את הבקשה לקבלת נתוני מכירות של משקאות חריפים באיווה. הנתונים מאוחסנים ב-BigQuery וציינתם שאתם רוצים להשתמש ב-BigQuery ML, לכן נתחיל בבדיקת הנתונים, נזהה את החנויות עם הביצועים הכי טובים ואז ניצור מודל רגרסיה כדי לחזות את המכירות. הנה תוכנית פעולה מפורטת:

   • ניתוח נתונים ופרופילים: מבצעים ניתוח ראשוני של הטבלה bigquery-public-data.iowa_liquor_sales.sales כדי להבין את פיזור הנתונים, לבדוק אם יש ערכים חסרים ולאמת את איכות הנתונים בעמודות מרכזיות כמו פרטי החנות, נפח המכירות וערך המכירות בדולרים.
   • זיהוי החנויות המובילות לפי נפח מכירות: צבירת הנתונים של נפח האלכוהול הכולל שנמכר בכל חנות בכל המוצרים, וזיהוי החנויות עם הביצועים הכי טובים.
   • הכנת הנתונים: צריך לצבור את נתוני המכירות של משקאות חריפים לפי חנות ולבחור תכונות רלוונטיות למודל החיזוי.
   • פיתוח מודל: אימון מודל רגרסיה באמצעות BigQuery ML כדי לחזות את מכירות המשקאות החריפים בכל חנות.
   • הערכת המודל: הערכת הביצועים של המודל שאומן באמצעות מדדי רגרסיה סטנדרטיים.
   • חיזוי באמצעות המודל: יצירת תחזיות לגבי מכירות משקאות חריפים באמצעות המודל שאומן.
   • תצוגה חזותית: יוצרים תרשים פיזור להשוואה בין מכירות המשקאות החריפים החזויות לבין הערכים בפועל, כדי להעריך באופן חזותי את הדיוק של המודל.
   • סיום המשימה: סכם את הביצועים של המודל, ספק תובנות חשובות לגבי מכירות בחנות הפיזית, וסכם את הניתוח.

6. אחרי שבודקים את התוכנית, לוחצים על אישור והפעלה. הסוכן יוצר את תת-המשימה הראשונה: בדיקה של הנתונים ויצירת פרופיל שלהם. הסוכן מושהה עד שתבדקו ותאשרו את הקוד. אם הסוכן מחכה לקלט של משתמשים, התאים שנוצרו מוצגים עם רקע ירוק.

7. בודקים את תא הקוד שנוצר ואת ההסבר שסיפק הסוכן.

   

8. לוחצים על אישור והרצה. אם הסוכן נתקל בבעיות בגישה שלו, הוא מספק נימוקים לגבי אופן תיקון הבעיה ומבקש ממך לאשר את הקוד ששונה.

9. בודקים את הפלט בתא הקוד.

   

   מתחת לתוצאות, הסוכן יוצר תא חדש כדי להשלים את תת-המשימה הבאה: מציאת החנויות עם מכירות המשקאות החריפים הגבוהות ביותר.

   

10. בודקים את קוד ה-SQL שנוצר, שמבצע שאילתה על הנתונים כדי למצוא את החנויות המובילות לפי מספר גלוני האלכוהול שנמכרו. כדי לבדוק את ההיגיון של הסוכן, אפשר לעיין בתא הטקסט Reasoning שמעל הקוד. אם אתם בטוחים שהקוד נכון, לוחצים על אישור והפעלה.

11. בודקים את תוצאות השאילתה בפלט של התא. התוצאות אמורות להיראות כך:

    

12. בודקים את הקוד ואת ההסבר שנוצרו על ידי הסוכן למשימת המשנה הבאה: הכנת הנתונים לאימון המודל.

    

13. אחרי שמוודאים שקוד ה-SQL נכון, לוחצים על אישור והרצה.

14. בודקים את הפלט בתא הקוד. מופיעה הודעה דומה לזו: JOB ID 123456 successfully executed.

15. עוברים על הקוד וההסבר שנוצרו על ידי הסוכן למשימת המשנה הבאה: אימון מודל הרגרסיה.

    

16. אחרי שמעיינים בקוד ובהסבר, לוחצים על אישור והרצה.

17. בודקים את הפלט בתא הקוד. מופיעה הודעה דומה לזו: JOB ID 123456 successfully executed.

18. בודקים את הקוד ואת ההסבר שנוצרו על ידי הסוכן למשימת המשנה הבאה: הערכת המודל.

    

19. אחרי שמעיינים בקוד ובהסבר, לוחצים על אישור והרצה.

20. בודקים את הפלט בתא הקוד.

    

21. בודקים את הקוד ואת ההסבר שנוצרו על ידי הסוכן למשימת המשנה הבאה: יצירת תחזיות.

    

22. אחרי שמעיינים בקוד ובהסבר, לוחצים על אישור והרצה.

23. בודקים את הפלט בתא הקוד. מופיעה הודעה דומה לזו: JOB ID 123456 successfully executed.

    אחרי שהשאילתה מופעלת, הסוכן יוצר תא קוד למשימת המשנה הבאה: הדמיה של הנתונים.

    

24. אחרי שמעיינים בקוד ובהסבר, לוחצים על אישור והרצה.

25. בודקים את הפלט בתא הקוד. יוצג תרשים שבו מוצגות מכירות בפועל של משקאות חריפים לעומת מכירות צפויות. התרשים אמור להיראות כך:

    

    אחרי שהתרשים נוצר, הסוכן יוצר סיכום של התוצאות עם ממצאים ותובנות מרכזיים.

    

26. אחרי שמעיינים בסיכום, לוחצים על אישור כדי להשלים את התוכנית.