Harness, Loop Engineering ו-LLMOps: איך סוכני AI באמת נשלטים

בזמן האחרון קשה לפספס את המונחים agent harness, loop engineering ו-LLMOps ברשתות החברתיות. הם נשמעים מסובכים, אבל מאחורי כל אחד מהם עומד רעיון פשוט יחסית. וכשמבינים את שלושת הרעיונות האלה יחד, מקבלים תמונה ברורה של איך בונים מערכת AI שבאמת עובדת בעולם עסקי - לא רק עונה על שאלה בודדת בצ'אט.

מודל שפה חכם, אבל בלי זיכרון ובלי כיוון

מודל שפה גדול כמו GPT או קלוד יודע המון על העולם - אבל הוא לא יודע כלום עליכם, על העסק שלכם, או על איך אתם רוצים שהוא יתנהג. כל שיחה שמתחילים איתו היא נקודת התחלה חדשה: שאלה נכנסת, היסטוריית השיחה הקיימת נכנסת, ותשובה יוצאת. זהו. אין שם זיכרון אמיתי, יש רק את מה שהוזן לתוך אותה שיחה ספציפית.

זו בדיוק הבעיה שסוכני AI עסקיים צריכים לפתור. אם רוצים שסוכן AI ידע איך לדבר עם לקוח, יזכור אינטראקציות קודמות, ויפעל לפי כללים עסקיים - צריך משהו שעוטף את מודל השפה ונותן לו את כל ההקשר הזה. וזה בדיוק מה שנקרא harness.

Harness: הרתמה שהופכת מודל שפה לסוכן שימושי

המילה harness מגיעה מעולם רכיבה על סוסים - זו ערכת הרתמות שמאפשרת לשלוט בסוס חזק ולכוון אותו לאן שצריך. מודל השפה הוא הסוס: כוח עצום, אבל בלי כיוון הוא עלול "לברוח" לכל מיני תשובות אקראיות, כי מבחינה סטטיסטית הוא פשוט מנחש מה המילה הבאה הכי סבירה.

ה-harness הוא כל התשתית שסביב המודל: system prompt שמגדיר את התפקיד, זיכרון שמזין הקשר, וכלים (tools) שהסוכן יכול להפעיל כדי לבצע משימות בפועל - לתאם פגישה, לקרוא נתונים ממערכת CRM, או להפעיל תשלום. פלטפורמות כמו LangChain או LangGraph הן דוגמאות לכלים שעוזרים לבנות harness כזה, אבל העיקרון חשוב יותר מהכלי הספציפי.

שכבות הזיכרון שהופכות סוכן ל"מכיר אתכם"

כדי שה-harness יעבוד טוב, הוא צריך גישה למספר סוגי זיכרון, שכל אחד מהם נשמר במקום אחר ומתעדכן בצורה שונה:

• זיכרון פרוצדורלי - ההוראות איך הסוכן אמור להתנהג. בדרך כלל קובץ טקסט או markdown (מה שמכונה היום "skill").
• זיכרון סמנטי (עובדות קבועות) - מידע יציב על הלקוח, העסק או ההקשר, שלא משתנה כל שיחה.
• זיכרון אפיזודי - רצף כרונולוגי של אינטראקציות ואירועים מהעבר, עם חותמות זמן. כל השכבות האלה מתעדכנות דרך מסד נתונים, ולא "צצות" משום מקום. וכשיש הרבה מאוד שיחות (למשל אלפי פניות לקוחות), לא הגיוני לשמור הכל גולמי - במקום זה, אחרי כמות מסוימת של שיחות, סוכן נפרד ("סיכום") מכניס תמצות שלהן לזיכרון הסמנטי, כדי שהאחזור יהיה מהיר וזול יותר בהמשך. שילוב של חיפוש טקסטואלי (RAG) וסינון לפי תאריך הוא מה שמאפשר לסוכן למצוא בדיוק את המידע הרלוונטי, ולא להציף את עצמו בכל ההיסטוריה.

Loop Engineering: מתי הסוכן צריך לדעת לעצור

ברגע שסוכן יכול גם לקרוא זיכרון וגם להפעיל כלים, המשימה כבר לא נגמרת בקריאה אחת למודל. לפעמים צריך כמה סבבים: לבדוק נתונים, להסיק מסקנה, להפעיל כלי נוסף, לבדוק שוב. הרצף הזה הוא הלולאה (loop), וניהול שלה הוא בדיוק מה שנקרא loop engineering.

הסיכון המרכזי הוא סוכן שלא יודע מתי להפסיק - ימשיך להפעיל כלים בלי סוף, או יעצור מוקדם מדי בלי לסיים את המשימה. פתרון טוב כולל guardrails ברורים: מתי המשימה נחשבת גמורה, מתי צריך לעצור ולשאול את המשתמש (למשל "לבצע את ההחזר הכספי בפועל, או רק לדווח מי זכאי לו?"), ומתי להתריע למישהו אם הסוכן תקוע וממתין לאישור. זו לא נוסחה אחידה - הלוגיקה משתנה לפי המשימה הספציפית, אבל בלי מנגנון עצירה ברור, אין דרך לסמוך על הסוכן.

LLMOps ו-Eval: איך יודעים שהסוכן באמת עובד טוב

בניית סוכן זה שלב אחד. לדעת אם הוא מבצע את העבודה כמו שצריך זה שלב אחר לגמרי - וזה תפקידו של LLMOps (large language model operations). כל "ריצה" של הסוכן, מהשאלה ועד התשובה, נרשמת במערכת מעקב (tracing) שמתעדת כל פנייה לזיכרון, כל שימוש בכלי, זמני תגובה וכמות טוקנים שנצרכה.

מהמידע הזה בונים שתי שכבות בדיקה:

1. הערכה (evaluation) - האם הסוכן ביצע את מה שהתבקש? אפשר להשתמש במודל שפה נוסף כ"שופט" שמדרג את התשובה, או בבדיקות דטרמיניסטיות (האם הפגישה אכן נקבעה ביומן?).
2. אבחון (diagnosis) - אם משהו השתבש, למה זה קרה? אולי זמן התגובה ארוך מדי כי הסוכן שאב יותר מדי היסטוריה לזיכרון העבודה, או שאחד הכלים נכשל בשקט. כשהבדיקות עוברות, אפשר לשחרר עדכון קטן - ניסוח חדש ל-system prompt, שינוי קונפיגורציה של המודל, עדכון בכללי האחזור. כשמשהו שבור לגמרי, חוזרים אחורה, מתקנים את הבאג, ומריצים שוב את כל המחזור. זו בדיוק הלולאה שהופכת מערכת AI מפרויקט חד-פעמי למערכת שמשתפרת עם הזמן.

לסיכום

Harness, Loop Engineering ו-LLMOps הם לא שלוש טכנולוגיות נפרדות - הם שלושה חלקים של אותה מערכת: איך נותנים למודל שפה הקשר וזיכרון (harness), איך שולטים בכמה פעולות הוא מבצע לפני שהוא עוצר (loop), ואיך בודקים שהוא עובד נכון ומשתפרים עם הזמן (LLMOps). לעסק שרוצה סוכן AI אמין - לא רק צ'אטבוט שמנחש - שלושת הבלוקים האלה הם נקודת ההתחלה, לא הפרטים הטכניים שאפשר לדלג עליהם.

מקור https://github.com/ShenSeanChen/waku-agent

להמשך העבודה

לפני חיבור סוכן לנתונים וכלים, עברו על מדריך Zero Trust לאבטחת סוכני AI להגדרת הרשאות, הפרדת סודות ובקרות אנושיות.

לחיבור בין הכלים לשגרת העבודה, קראו את מדריך מחסנית Agentic Engineering: ממשקים, מנויים ו־Skills ובחנו את הבחירות מול המשימות והמגבלות שלכם.