בדקתי את TimesFM-3 של גוגל: חיזוי בלי לאמן מודל על הנתונים שלי

עבדתי מספיק עם מערכות חיזוי כדי לחשוד בכל מודל שטוען שהוא מסוגל לחזות עסק שמעולם לא ראה. בדרך כלל מתחילים בתהליך ארוך: אוספים נתונים היסטוריים, בונים פיצ'רים, מאמנים כמה מודלים, בודקים אותם וממשיכים לאמן מחדש כשהעסק משתנה.

המוצר TimesFM-3 מציע נקודת פתיחה אחרת. גוגל אימנה מודל כללי אחד על יותר מטריליון נקודות זמן אמיתיות וסינתטיות, ותכננה אותו לחזות סדרת נתונים חדשה בלי אימון ייעודי. אפשר לתת לו מכירות, תנועה, מלאי, מזג אוויר, מבצעים או סדרות זמן אחרות ולשאול מה צפוי לקרות בהמשך.

זה לא הופך אותו לכדור בדולח. הוא כן הופך אותו לקו בסיס מעניין מאוד.

מהו TimesFM-3

אז TimesFM-3 הוא מודל יסוד לחיזוי סדרות זמן. ההשוואה למודל שפה עוזרת להבין את הרעיון, עם הבדל חשוב: במקום ללמוד דפוסים במשפטים ולחזות את הטוקן הבא, הוא לומד דפוסים בגרפים ומנסה לחזות את הערכים הבאים.

הגרסה הראשונה של TimesFM יצאה ב-2024, אומנה על 100 מיליארד נקודות זמן והתמקדה בחיזוי חד-משתני. היא יכלה לקבל היסטוריה של אות אחד, למשל הכנסה יומית, ולהמשיך את הדפוס אל העתיד.

גרסה 3 מרחיבה את התמונה. יש לה 330 מיליון פרמטרים, היא אומנה על יותר מטריליון נקודות זמן, והיא יודעת לעבוד באופן טבעי עם כמה אותות קשורים. גוגל מתארת שלושה סוגי קלט שימושיים:

• כמה יעדי חיזוי, למשל מכירות של כמה מוצרים קשורים
• משתנים שידועים רק בעבר, למשל תנועת לקוחות היסטורית
• משתנים שידועים גם לעתיד, למשל מבצעים מתוכננים, חגים או תחזית מזג אוויר לתקופת החיזוי הסוג האחרון הוא זה שהכי מעניין אותי. תחזית מכירות שמתעלמת ממבצע שמתוכנן לשבוע הבא יכולה להיות מסודרת מבחינה סטטיסטית וחסרת שימוש מבחינה תפעולית.

איך בדקתי את הרעיון

השתמשתי בתרחיש פשוט של מכירות גלידה עם 156 ימי נתונים. המודל קיבל 128 ימי היסטוריה וחזה 28 ימים קדימה. מערך הנתונים כלל מכירות גלידה, חבילות גביעים, סירופים, מבצעים, טמפרטורה ותנועת לקוחות.

בהרצה הראשונה לא נתתי למודל את האותות העסקיים הנוספים. הוא עקב בצורה מפתיעה אחרי המגמה הכללית, אבל התקשה לצפות קפיצות שנוצרו ממבצעים, משום שלא ידע אילו קמפיינים מתוכננים בעתיד.

אחרי שהוספתי את לוח המבצעים, התחזית התחילה להגיב לאירועים המתוכננים. מזג האוויר ותנועת הלקוחות שינו אותה שוב. זה ההבדל המעשי בין המשך של קו אחד לבין ניסיון להבין מצב עסקי. סדרת היעד מספרת למודל מה קרה. המשתנים הנוספים עוזרים להסביר למה זה קרה ומה כבר ידוע שעומד להשתנות.

בתרגיל הקטן הזה TimesFM-3 הגיע ל-MAPE של 4.73. מודל Seasonal Naive קיבל 6.72, ומודל למידת המכונה המסורתי הנוסף קיבל 8.89. תרחיש קמעונאי סינתטי אחד אינו מדד אוניברסלי, אבל הוא הספיק כדי להראות לי שחיזוי zero-shot יכול לתת ערך עוד לפני שצוות דאטה בונה pipeline מותאם.

זמן הריצה בהדגמה היה כ-203 אלפיות השנייה לתחזית של 28 ימים. הנתון הזה תלוי בחומרה ובמימוש, ולכן מבחינתי הוא תצפית מהבדיקה ולא הבטחת ביצועים.

מה קורה בתוך המודל

ה TimesFM-3 אינו מעבד כל נקודת זמן בנפרד. הוא מקבץ ערכים רציפים למקטעים של 32 צעדי זמן. החלוקה הזאת מצמצמת את מספר הטוקנים ועוזרת למודל להתמקד בדפוסים רחבים בלי להגיב לכל יום רועש.

לאחר מכן הטרנספורמר מתייחס לנתונים כאל רשת דו-ממדית. שלב attention אחד נע לאורך הזמן בתוך כל סדרה ומותר לו להסתכל רק לאחור, כדי שערכי יעד עתידיים לא ידלפו לתחזית. השלב הבא נע בין המשתנים באותה נקודת זמן, וכך המכירות יכולות להיות קשורות למבצע, למזג האוויר או למוצר אחר.

משתנים עתידיים ידועים נשארים גלויים. הערכים העתידיים שאינם ידועים, כולל היעד עצמו, מוסתרים. בשיטה שגוגל מכנה Contiguous Patch Masking, המודל חוזה את כל הטווח העתידי במעבר אחד במקום לייצר מקטע אחר מקטע.

הוא גם מפיק תשעה quantiles, מהאחוזון ה-10 ועד האחוזון ה-90. לצורכי תכנון, טווח כזה שימושי יותר מקו יחיד שנראה בטוח בעצמו. החלטות מלאי וכוח אדם תלויות גם במידת אי-הוודאות.

מה אהבתי

היתרון הגדול הוא המהירות שבה אפשר לקבל קו בסיס אמין. צוות יכול לבדוק אם קיימים מספיק אותות לחיזוי לפני שהוא משקיע שבועות בבניית פיצ'רים ובחירת מודלים. עסק קטן בלי צוות חיזוי יכול לקבל מודל ראשון במקום להסתמך רק על גיליונות אלקטרוניים.

הממשק הרב-משתני גם דומה לאופן שבו מנהלים ומתכננים חושבים. הם ממילא מסתכלים יחד על מכירות היסטוריות, מבצעים, מזג אוויר, קשרים בין מוצרים ותנועה בחנות. TimesFM-3 מאפשר לתת למודל את אותו הקשר בלי להפעיל אימון נפרד לכל מערך נתונים.

גוגל מדווחת על דירוג ממוצע מוביל בין מודלי יסוד מאומנים מראש במבחני GIFT-Eval, FEV-Bench ו-TIME, גם בחיזוי נקודתי וגם בחיזוי הסתברותי. זאת ראיה רחבה יותר מהבדיקה הקטנה שלי, אך הובלה ב-benchmark ציבורי עדיין אינה הוכחה שהמודל ינצח על הנתונים של עסק מסוים.

איפה הייתי נזהר

Zero-shot אינו אומר שאפשר לעבוד בלי נתונים טובים. המודל עדיין צריך היסטוריה נקייה, חותמות זמן הגיוניות, משתנים מיושרים ואותות עתידיים שבאמת ידועים מראש. לוח מבצעים שגוי או סדרת תנועה שבורה עדיין ייצרו תחזית גרועה.

המודל גם אינו מכיר כל מגבלה עסקית. הוא לא יכול להסיק מגבלת אספקה, קניבליזציה בין מוצרים, כלל תמחור, סגירת מחסן או אירוע שוק חריג אם ההשפעות האלה אינן מופיעות בקלט. אצל קמעונאי גדול, אפילו שיפור קטן בדיוק יכול להיות שווה מיליונים. במקרים כאלה עדיין יש הצדקה למודל מותאם ולתהליך תכנון אנושי.

יש גם מגבלת רישוי. קוד המקור של TimesFM מופץ תחת Apache 2.0, אבל המשקולות המאומנות של TimesFM-3 מופצות כרגע ברישיון נפרד שאינו מסחרי. מותר להשתמש בהן למחקר ולהערכה, אך לא לפרודקשן מסחרי עם המשקולות האלה. גוגל הודיעה על אינטגרציה עם BigQuery כנתיב מנוהל, ותיארה אותה ככזו שתגיע לאחר השקת המודל.

פסק הדין שלי

ה TimesFM-3 לא מחסל את עולם החיזוי המסורתי. הוא משנה את מה שאני מצפה להשיג בשבוע הראשון של פרויקט חיזוי.

הייתי משתמש בו מיד כקו בסיס ב-zero-shot, כבדיקת היתכנות וכדרך לתת לצוות קטן תחזית שלא הייתה לו קודם. אחר כך הייתי משווה אותו למודל עונתי פשוט ולמודל מותאם היטב, ובודק היכן כל אחד מהם טועה. כשההחלטות העסקיות כבדות משקל, הייתי משאיר בתהליך גם התאמות לדומיין, מגבלות תפעוליות וביקורת אנושית.

השיפור המרכזי אינו שמודל אחד מחליף כל מערכת חיזוי. השיפור הוא שאפשר לקבל תחזית רב-משתנית שימושית עוד לפני שבונים את המערכת כולה.

מקורות

• Google Research: TimesFM-3, מודל יסוד ב-zero-shot לחיזוי רב-משתני
• מאגר TimesFM של Google Research