Jev: המודל שעונה בהסתברויות ולא במילים

מודל AI מסוג חדש תפס את תשומת ליבי החודש, והוא לא כותב אפילו מילה אחת. הוא עונה בהסתברויות במקום זאת, ומתברר שזה פותח קטגוריה שלמה של תוכנה שמודל צ'אט רגיל אף פעם לא נבנה בשבילה.

הכירו את Jev, המודל שמדלג על שפה לגמרי

חברת TypeSafe AI השיקה את Jev ב-15 בספטמבר, וקראה לו "System 1 model" הראשון. השם הוא רמיזה מכוונת לחלוקה של דניאל כהנמן בין שיפוט מהיר ואינטואיטיבי לבין חשיבה איטית ומכוונת. מודל שפה גדול רגיל עובד כמו System 2: הוא חושב צעד אחר צעד, טוקן אחר טוקן, וזה בדיוק מה שהופך אותו לאיטי. Jev בנוי להתנהג כמו System 1 במקום זאת: נותנים לו state ושאלות מוגדרות, והוא מחזיר הסתברויות מכוילות תוך בערך 70 עד 500 מילישניות, בלי משפט אחד בדרך.

החברה מאחוריו היא לא סטארטאפ אקראי שרודף אחרי טרנד. Jev הגיע מ-Diogo Almeida, שותף ביצירת RLHF ב-OpenAI, שהיה שותף לכתיבת מאמר InstructGPT ועבד על ה-post-training של GPT-4, לצד סבב seed של 40 מיליון דולר בהובלת DCVC. זו חלק מהסיבה שהשקה כזו סוקרה ב-TechCrunch ולא נשארה סקרנות נישתית.

כמה מספרים קונקרטיים, למי שרוצה את הפרטים מראש. latency טיפוסי נע בין 70 ל-500 מילישניות להחלטה. TypeSafe מתמחרת קלט ב-0.042 דולר למיליון טוקנים, עם פלט חינם כי אין טקסט שנוצר לחייב עליו. Vercel דיווחה על תוצאות מהירות פי 5 עד 18 אחרי שהחליפה מודל של OpenAI ב-Jev לבדיקות בטיחות פקודות. Bryo AI מצאה אותו זול פי 10 עד 20 מ-Gemini לסיווג אימיילים.

מה "מחזיר הסתברויות במקום טקסט" באמת אומר

מודל צ'אט שנשאל אם חשבונית נראית מרמה יכתוב פסקה שמסבירה את ההיגיון שלו, טוקן אחרי טוקן. Jev מקבל אותה שאלה ובמקום זאת מחזיר משהו כמו: 88 אחוז נקי, 7 אחוז הונאה, 5 אחוז דורש בדיקה, מנוקד הכל בבת אחת ולא נוצר ברצף. מגדירים את הקטגוריות שרוצים לנקד, Jev מנקד את כולן במעבר אחד, ושום דבר לא נכתב.

הבחירה העיצובית הבודדת הזו מסבירה את רוב מה שמעניין אותי בזה. יצירה רציפה היא הסיבה שתשובת צ'אט לוקחת שניות, כי טוקן חמש לא יכול להתחיל לפני שטוקן ארבע קיים. ניקוד כל האפשרויות במקביל מסיר את צוואר הבקבוק הזה לגמרי, וזו גם הסיבה שקריאה אחת ל-Jev יכולה לענות על כמה שאלות לא קשורות על אותו קלט - ניתוב של כרטיס תמיכה, דחיפות, וסבירות להחזר - במעבר אחד במקום שלוש קריאות נפרדות למודל.

חברת TypeSafe אימנה אותו במה שהיא קוראת לו Reinforcement Learning for Calibrated Decisions, שמכוון ספציפית לקבל את ציוני הביטחון נכון במקום סתם לקבל תשובה שנשמעת בטוחה. מודל שתמיד מתעקש שהוא מצא את התשובה לא באמת יותר שימושי ממודל שאומר "80 אחוז, והנה למה אני לא בטוח לגבי השאר."

איפה זה בעצם בשימוש

המספרים של היצרן עצמו כדאי להתייחס אליהם בדיוק ככה, מספרי יצרן, וכמה מהמספרים שמסתובבים בכיסוי המוקדם עוברים הרבה מעבר למה ש-TypeSafe עצמה טוענת. התוצאות של Vercel ו-Bryo AI למעלה מצומצמות יותר ומהימנות יותר, והן אלה ששכנעו אותי בפועל שהקטגוריה הזו אמיתית: ניתוב, ניקוד, וסיווג - משימות שלא צריכות הסבר כתוב, רק החלטה מהירה ואמינה.

מקרי השימוש שחוזרים על עצמם הם אלה שבהם ה-latency של מודל צ'אט תמיד היה המכשול האמיתי, לא האינטליגנציה שלו. דמות במשחק שמחליטה אם לתקוף או לסגת צריכה תשובה בפחות מ-150 מילישניות, לא פסקה של חשיבה. סימולציית נהיגה עצמאית שמגיבה לרמזור אדום לא יכולה לחכות כמה שניות להחלטה. טופס שמנקד כמה מועמד מתאים צריך להתעדכן תוך כדי הקלדה, לא אחרי עיכוב שמספיק ארוך כדי לשבור את האינטראקציה. שום דבר מזה לא באמת קשור לכתיבת משפטים טובים יותר מהר יותר. זה קשור להוצאת המשפטים מהלולאה לגמרי.

למה זה ברור שלא מתאים

המודל Jev לא יכול לכתוב קוד, לנהל שיחה, או להסביר את ההיגיון שלו כמו שמודל צ'אט עושה, וזה במכוון ולא מגבלה זמנית. הוא מנקד, מסווג, מדרג, ומנתב. הוא לא חושב צעד אחר צעד ולא מייצר משהו ארוך יותר מתווית ומספר. השוואה שלו למודל צ'אט מהחזית מפספסת קצת את הנקודה, כי שני הדברים פותרים בעיות שונות: אחד מייצר שפה, השני מייצר החלטה שתוכנית יכולה לפעול לפיה ישירות.

למה זה חשוב מעבר לסרטוני הדמו

המקרה המעשי למודל כזה מופיע בכל מקום שבו לעסק כבר יש החלטה קבורה בתוך תהליך איטי או יקר: תור תמיכה שצריך ניתוב לפני שבן אדם בכלל קורא את הכרטיס, טופס ליד שצריך לסמן מבקרים בעלי כוונה גבוהה תוך כדי שהם עדיין מקלידים, שלב מודרציה על תוכן שכרגע מחכה למודל הרבה יותר כבד רק כדי להוציא תווית אחת. שום דבר מזה לא צריך מערכת שכותבת פרוזה. זה צריך מערכת שמחליטה, בזול מספיק כדי לרוץ על כל בקשה במקום על מדגם קטן. זו בעיה יותר צרה ופחות מרשימה מ"לבנות צ'אטבוט", וזה בדיוק סוג הפער שתוכנה קיימת משלמת עליו בשקט כרגע דרך עיכוב, מדגום, או בן אדם שעושה את המיון ביד.

החלק ששווה לזכור

התזוזה המעניינת כאן היא לא באמת על מהירות או מחיר, למרות ששניהם אמיתיים. היא שהמושג "מודל AI" הפסיק להיות דבר אחד. בשנים האחרונות ההנחה הייתה שאינטליגנציה בתוכנה אומרת ממשק צ'אט, או לפחות מודל שמדבר. Jev הוא תזכורת שהרבה תוכנה לא צריכה שפה בכלל. היא צריכה החלטה מהירה, זולה, ומכוילת היטב, ובניית זה כקטגוריה נפרדת מ-AI שיחתי, במקום לנסות להפוך מודל צ'אט למהיר יותר, זה מה שבאמת עשה את ההבדל.