Fable 5.1 מול GPT-6: הרצתי את אותם ארבעה מבחנים על שניהם

נתתי ל-Claude Fable 5.1 ול-GPT-6 בדיוק את אותם הפרומפטים על פני ארבע משימות שונות - פיתוח משחקים, מחקר, שכפול אתר, ואוטומציית מחשב - והשוויתי מה חזר, כמה זמן כל אחד לקח, וכמה טוקנים כל אחד צרך. הנה מה שמצאתי, מבחן אחר מבחן.

מבחן 1: פיתוח משחקים

הפרומפט ביקש משחק אסטרטגיה שמשלב פורמט קרבות-קלפים עם נושא מלחמות סין העתיקה: מחנות יריבים, מפקדים, ומטרה של כיבוש הבסיס הראשי של האויב.

Fable 5.1 לקח בערך 40 דקות ובערך 290,000 טוקנים. GPT-6 סיים תוך כ-22 דקות והשתמש בכמות טוקנים דומה, קרוב ל-300,000. במהירות גולמית, ל-GPT-6 היה יתרון.

בתוצאה עצמה, Fable 5.1 יצא מוביל. הגרסה שלו הוצגה כמפה מלאה שיכולתי לראות בלי לזום, עם קווים ברורים שמראים תנועת חיילים, ורצה בלי שום באג לוגי. הגרסה של GPT-6 דרשה זום ידני כדי לראות בכלל את הפעולה, והייתה בה באג אמיתי: השער של הצד המגן נשאר פתוח, וזה נתן לחיילי התקיפה שלי לצעוד ישר לתוך הבסיס שלהם בלי לפרוץ שום דבר - מה שמבטל את המשמעות של מנגנון ההגנה. בין בנייה שמעניינת אבל לא נקייה מבאגים לבין בנייה שגם מעניינת וגם נכונה, הסיבוב הזה הלך ל-Fable 5.1.

מבחן 2: מחקר

המשימה הייתה למצוא אירועים אמיתיים, פנים אל פנים, שבהם יוצר תוכן בגודל בינוני יכול לפגוש יוצרים אחרים, מוערכים מול סט ספציפי של מטרות ואילוצים.

Fable 5.1 לקח בערך 37 דקות והשתמש בכ-3 מיליון טוקנים. GPT-6 סיים תוך כ-24 דקות על כ-1 מיליון טוקנים - שליש מכמות הטוקנים. מספר הטוקנים לבדו אינו מוכיח מה הייתה העלות הכספית; היא תלויה גם בתמחור ובסוגי הטוקנים.

בהיקף, Fable 5.1 ניצח בבירור: הוא העלה תוצאות על פני כ-22 מיקומים וכ-60+ אירועים, עם קטגוריזציה לפי חלון זמן, ציון רלוונטיות ("fit") לכל אירוע, וסימוני אימות. GPT-6 החזיר סט צר יותר - כ-5 מיקומים ו-32 אירועים. בבדיקת דגימה של רשומות ספציפיות מול המקורות המקוריים, שניהם היו מדויקים באופן דומה על הנתונים עצמם; ההבדל היה בכיסוי ובמבנה הנוסף ש-Fable 5.1 הוסיף מעליו. העומק הזה עלה פי שלושה בטוקנים - זה trade-off אמיתי, אבל למחקר ספציפית, כיסוי רחב יותר לרוב שווה יותר מהחיסכון.

מבחן 3: שכפול אתר

ביקשתי משני המודלים לשכפל UI של אתר ספציפי: לוח משרות עם חיפוש, פילטרים, ורשימות חברות.

Fable 5.1 לקח בערך 37 דקות וכ-400,000 טוקנים. GPT-6 לקח בערך 28 דקות וכ-600,000 טוקנים - פחות זמן אך יותר טוקנים.

בדיוק, Fable 5.1 הפיק התאמה קרובה יותר אחד-לאחד: אותו מבנה סרגל פילטרים עליון, פונקציונליות תואמת, עם רק החמצה קטנה בעיצוב checkbox. GPT-6 לקח יותר חופש יצירתי, והעביר את פאנל הפילטרים לצד במקום להתאים לסרגל העליון המקורי. זה עיצוב סביר לגמרי בפני עצמו, אבל כשכפול, זו סטייה מבנית גדולה יותר מהמקור ממה שביקשתי. למשימת שכפול ספציפית, שבה כל העניין הוא נאמנות למקור, Fable 5.1 היה גם מדויק יותר וגם זול יותר כאן.

מבחן 4: אוטומציית מחשב

זה לא באמת קרב הוגן, ושווה לומר את זה ישירות. GPT-6 מגיע עם computer-use (שליטה אוטונומית בדפדפן ובמערכת ההפעלה) מובנה כברירת מחדל. לקבל פונקציונליות דומה מ-Claude כרגע דורש להוסיף כלים נפרדים לשליטה בדפדפן או במערכת בעצמכם.

בעזרת היכולת המובנית של GPT-6, נתתי לו למלא ולשלוח כעשרה טפסי הרשמה לקהילות יוצרים על בסיס הרקע שלי, עם צילום מסך של כל שליחה כהוכחה. הוא השלים שישה שליחות מאושרות, נתקל בשני טפסים חסומים על ידי אימות אימייל, דילג על שניים נוספים, ונעצר על ידי CAPTCHA באחד - תוך כ-36 דקות סה"כ, בלי צורך בשאלות המשך ממני לאורך הדרך. הקטגוריה הזו הולכת ל-GPT-6, אבל הסיבה היא שהיכולת מגיעה מובנית מהקופסה, לא בהכרח שהמודל שמאחורי זה חושב טוב יותר על הדפדפן.

על שימוש ועלות

שני המנויים כאן הם התוכניות העליונות של 200 דולר לחודש. הרצת ההשוואה המלאה הזו צרכה בערך 75% מחלון השימוש של חמש השעות ב-Claude, בעוד שבצד OpenAI נשאר בערך 72% מהשימוש. באותה נקודת מחיר, המנוי של GPT-6 נותן כרגע הרבה יותר מרווח שימוש - וזה שיקול נפרד לגמרי מאיכות הפלט הגולמית.

איפה זה משאיר אותי

לפיתוח משחקים, מחקר, ושכפול, Claude Fable 5.1 היה באופן עקבי התוצאה החזקה יותר - במחיר של יותר טוקנים, ובשניים משלושת המבחנים, גם יותר זמן. לאוטומציית מחשב ודפדפן ספציפית, GPT-6 מנצח היום, פשוט כי זה מובנה ו-Claude לא.

המסקנה שלי: אם איכות פלט מקסימלית היא מה שמייעלים אליו, Fable 5.1 הוא זה שכדאי לפנות אליו קודם. אם רוצים אופציה מהירה ויעילה יותר בשימוש כגיבוי, או שמתקרבים למכסת השימוש, GPT-6 הוא מודל משני מוצק - לא תחליף. אף אחד מהם לא מנצח בהכל, ומי חשוב יותר תלוי לגמרי באיזו מארבע המשימות האלה הכי דומה לעומס העבודה האמיתי שלכם.