לא כמות הטוקנים קובעת: מה שבאמת שובר או בונה מוצר AI

בכנס ה-AI Engineer האחרון ציפו למצוא כ-50 חברות שעומדות בסף של "token billionaire" - כאלה ששורפות מיליארד טוקן בשבוע. בפועל היו כ-300 כאלה, מתוך כ-7,000 משתתפים. זה אומר משהו על הקצב שבו חברות מזרימות טוקנים דרך סוכני AI היום. אבל בראיון שנערך שם, מייסד הכנס ושל הניוזלטר Latent Space אמר משהו שחשוב יותר מהמספר הזה: כן, אתם שורפים מיליארד טוקן ביום - אבל שיהיו לכם ממש בני אדם אמיתיים שמשתמשים במוצר שלכם, כי קל מאוד לכתוב הרבה קוד גרוע ("slop") שהופך את המוצר לבלתי שמיש, ואז פשוט בזבזתם כסף וזמן.

הבעיה עם שריפת טוקנים כמדד הצלחה

כשטוקנים כמעט חינם, קל מאוד להרגיש שיש התקדמות רק כי המערכת עובדת קשה. אבל כמות הטוקנים שנצרכת לא אומרת כלום על איכות מה שנוצר. מהנדסים בברירת מחדל בדרך כלל שונאים בזבוז וחותרים ליעילות - וזו בדיוק הסיבה שהעולם הזה מרגיש לא אינטואיטיבי להם: פתאום יש ערך בלתת לסוכן לייצר הרבה תוצרים, גם אם רובם יידחו, כי מדי פעם צץ שם רעיון שימושי אמיתי. הכישרון החדש שנדרש הוא לא לחסוך בטוקנים, אלא לדעת לסנן מהר בין מה ששווה לשמור למה שנזרק. זה הימור סביר, בתנאי שלא שוכחים את השאלה החשובה באמת: מישהו בכלל משתמש בזה?

לולאות שבונות לולאות

אחד הרעיונות שחוזרים שוב ושוב בשיחות על עבודה עם סוכני AI הוא לעבור מכתיבת פרומפט בודד לכתיבת לולאה שיוצרת פרומפטים בעצמה. ברמה הבסיסית ביותר זה נראה כמו מטרה (goal) שבודקת את עצמה שוב ושוב עד שקריטריון מסוים מתקיים. אבל הרעיון המעניין באמת הוא לבנות לולאות שיוצרות לולאות נוספות - לעבוד גם מלמטה למעלה (כל מה שעושים ידנית, מנסים קודם להעביר לסוכן בודד, ואז הופכים לתהליך חוזר), וגם מלמעלה למטה (מתחילים מהלולאה הכי גבוהה שרוצים שתתקיים, ומפרקים אותה ללולאות משנה).

לכל פרויקט חדש כדאי להתחיל בכמה לולאות בסיסיות:

• לולאת "תחקרו אותי" - הופכים את התפקידים: מבקשים מהסוכן לשאול אתכם שאלות במקום שאתם תנסחו לו פרומפט. אנשים גרועים בלנסח בדיוק מה שהם רוצים - לא חושבים על נקודות ההסתעפות עד שמציגים להם אותן. סוכן שמתפקד כמו עובד חכם ששואל שאלות הבהרה לפני שהוא מתחיל לעבוד, שווה יותר מסוכן שרק מבצע.
• לולאת מחקר וסיעור מוחות חופשי - מבקשים מהסוכן לבדוק מתחרים, להציע רעיונות חדשים כל שבוע, ואפילו לבנות פרוטוטייפ ראשוני. רוב זה יידחה, אבל זה כמעט בחינם, ומדי פעם צץ רעיון שווה.
• לולאת סגירת מעגל - חיבור לוגים ושגיאות מהמערכת החיה חזרה לסוכן, כדי שהוא יקרא אותם ויציע תיקון עוד לפני שמישהו דיווח על הבעיה. זה הצעד הראשון לכיוון מוצר שמתקן את עצמו.
• לולאה מונחית-מטרה - במקום משימה חד-פעמית, מגדירים יעד ארוך טווח (יותר מכירות, יותר זמן שהייה באתר) ועובדים איתו לאורך חודשים, כמעט כמו ירידת גרדיאנט: מנסים, בודקים, וחוזרים על הצעד הבא.

מה שלעולם לא מוותרים עליו

שני דברים נשארים תפקיד אנושי מובהק, גם כשרוב הכתיבה עוברת לסוכן.

בדיקת משתמשים אמיתית: מודלים לא חיים בתוך האפליקציה שלכם כל יום כמו שאתם והמשתמשים שלכם חיים - הם לא יודעים אינטואיטיבית איפה כפתור אמור לשבת אחרי שינוי גודל מסך, או שיש ציפייה סמויה למסך audit log או להפרדה בין ארגונים לצוותים. אפשר לבקש מהסוכן לממש דברים כאלה, אבל צריך לפרט אותם או לבדוק אותם שוב ושוב - הם לא צצים מעצמם.

הבנת מבנה הנתונים: הסכנה הכי גדולה בפרויקט שבנוי כמעט כולו על ידי סוכן היא לגלות אחרי חודשיים שלא באמת מבינים מה נשמר במערכת, מה מדווח, ומה הממשק בכלל יכול להראות - ואז צריך לזרוק חלק ניכר מהעבודה. כל עוד עדיין מבינים לעומק אילו נתונים נאספים, איפה הם נשמרים, ובאיזו תדירות הם נגישים - קל להמשיך לבנות עליהם. ברגע שמאבדים שליטה בשכבת הנתונים, קשה מאוד לחזור אחורה.

טעם - היתרון התחרותי שאי אפשר להאציל לסוכן

כשכולם יכולים לייצר 100 עמודי נחיתה או 100 גרסאות לאותה פיצ'ר תוך דקות, השיפוט - מה בעצם שווה לשמור - הופך למשאב הנדיר ביותר. זה נשמע מוזר, אבל אחד הסימנים הכי ברורים לחוסר טעם הוא פשוט לשקר: לטעון שמודל קטן משלכם מנצח מודלים גדולים בהרבה, כשכולם יודעים שזה לא נכון. אנשים עם טעם מעדיפים לספר סיפור אמיתי - גם אם הוא פחות מרשים - על פני התפארות ריקה.

הכי חשוב: לבדוק בעצמכם, ידנית, כל פיצ'ר לפני שהוא יוצא לאור - לא רק כי הבדיקות האוטומטיות עברו, אלא כדי לשאול את עצמכם: זה מה שהמשתמשים שלי באמת רוצים, או סתם מה שהמודל הרגיש לכתוב היום? כשיש 50 אפשרויות קונפיגורציה שאף אחד לא מבקש, זה סימן שקל היה לכתוב אותן, לא שהן שוות. הקלות של כתיבת קוד היום היא בדיוק הסיבה שקשה יותר מתמיד לומר "לא" - וזה בדיוק מה שהופך את מי שדווקא כן יודע לומר לא, לבולט.

מיסיה, לא רק בנצ'מרקים

אותו עיקרון חל גם על איך שמציגים את מה שבניתם. חברות שמדברות רק על "אנחנו הכי טובים בבנצ'מרקים" בלי לספר שום דבר על הבעיה עצמה או על התובנות שהובילו לפתרון, נשמעות זהות לכל מתחרה אחר. חברות שמצליחות למשוך אנשים הן אלה שמחברות את מה שהן בונות למשימה גדולה יותר: לא "קנו את המוצר שלנו", אלא "הנה למה הבעיה הזו חשובה, והנה מה שלמדנו בדרך". זה נכון לא רק לגיוס משקיעים - זה נכון לכל עסק שבונה עם AI ורוצה שיסמכו עליו: לקוחות שמבינים שאכפת לכם מהבעיה שלהם, לא רק שאתם יודעים לפתור אותה מהר, הם אלה שנשארים.

לסיכום

מהירות ההסקה (inference) רק תמשיך לעלות - מה שהיום נחשב מהיר במיוחד יהפוך תוך שנה לברירת מחדל. אבל דווקא בגלל זה, מה שמבדיל מוצר AI טוב מגרוע לא יהיה כמה טוקנים הוא שורף, אלא כמה טעם, שיפוט אנושי ובדיקה אמיתית הושקעו סביבו: לולאות שבנויות נכון, הבנה עמוקה של הנתונים, ומוכנות לומר "לא" למה שקל לבנות אבל לא שווה לשמור.