RAG ארגוני שבאמת עובד: הלקח מהמערכת הפנימית של Cerebras

רוב ההדגמות של "מסד ידע ארגוני" נראות אותו דבר: גרף Obsidian מרשים, אולי מוח תלת-ממדי מרחף על המסך. אף אחד מהדברים האלה לא עוזר לענות על שאלה עסקית אמיתית. Cerebras, חברת שבבים שמייצרת מאיצי הסקה מהירים במיוחד ועובדת עם כמה מהחברות הגדולות בעולם, פרסמה לאחרונה פוסט טכני על מערכת הידע הפנימית שלהם - ובניגוד לרוב הדוגמאות ברשת, אין שם אף גרף מרשים אחד. יש רק צנרת נתונים אמינה שסורקת Slack, ויקי פנימי, ריפוזיטוריז של קוד ומסדי נתונים ייעודיים, וממירה את כל זה לצורה שכל עובד בחברה יכול לשאול עליה שאלה ולקבל תשובה מדויקת. המערכת עונה כיום על כ-15,000 שאלות ביום. הנה מה באמת קורה מתחתיה.

מה RAG בעצם עושה

נניח ששואלים מודל שפה "כמה גבוה ניק?" - התשובה תהיה כללית וסתמית, כי יש בעולם מאות אנשים בשם ניק והמודל מנסה לנחש למי הכוונה. אבל אם לפני השאלה מוסיפים משפט קצר - "ניק גובהו 1.88" - ואז שואלים את אותה השאלה, המודל עונה מיד ובבטחון. זה, בעצם, כל מה ש-RAG (retrieval augmented generation) עושה: הוא מוצא את פיסת המידע הרלוונטית במאגר נתונים ומזריק אותה לפני השאלה, לפני שהמודל בכלל מנסה לענות. עבור עסק, זה אומר שבמקום לשאול "מה פיטר אמר בהרצאה שבוע שעבר?" ולקבל תשובה כללית וריקה, המערכת מוצאת קודם את התמלול הרלוונטי ומזינה אותו כהקשר - ואז המודל פשוט מדווח על מה שכתוב שם.

זה לא רק טקסט - זה טקסט עם metadata, כמו תמונה עם EXIF

החלק המעניין באמת הוא שהמערכת לא שומרת רק את הטקסט הגלמי של כל הודעה או מסמך. כל פיסת מידע עוברת דרך מודל שפה שמעשיר אותה בשכבת metadata: מי אמר את זה, מתי, למי, למה זה חשוב, מה הנושא. זה בדיוק כמו קובץ תמונה דיגיטלית שנשמר עם נתוני EXIF - לא רק הפיקסלים, אלא גם הזמן, המיקום וההגדרות שבהן צולם הצילום נעשה. השכבה הזו היא מה שמאפשר למערכת לא רק לאחזר טקסט דומה, אלא לשקלל אותו נכון: מידע שהגיע מהמייסד לפני 30 שניות מקבל משקל גבוה הרבה יותר ממידע שהגיע מעובד זוטר לפני שלוש שנים. כששואלים על סמינר אחרון, המערכת לא סורקת את כל הסמינרים באופן שווה - היא נותנת עדיפות לאחרון. זה בדיוק ההבדל בין מערכת שמרגישה כמו "מוח" אמיתי לבין מאגר טקסט סטטי.

שלוש שכבות של מערכת ידע ארגונית

מבחינת מבנה, למערכת שלוש שכבות עיקריות: פלטפורמה לאיסוף ואחסון הידע הפנימי (Slack, ויקי או Confluence, ריפוזיטוריז קוד, מסדי נתונים ייעודיים - כל מה שכבר קיים בעסק אבל פזור), פלטפורמה לשליפת מידע מתוכה (שאילתה שמחזירה בדיוק את החלק הרלוונטי, לא את כל המאגר), ושכבת הרשאות וביקורת שמגבילה מי יכול לגשת לכל מקור. בדיקת הרשאות חשובה גם בעסק קטן: מסמכי לקוחות או עובדים פרטיים לא צריכים להיחשף רק מפני שנוספו למאגר ידע משותף. יש לאכוף הרשאות ברמת המסמך לפני העברת המידע שנשלף למודל, ולסנכרן אותן עם מקור המידע. מקור: תיעוד Microsoft להרשאות ברמת המסמך.

איך בונים את זה בפועל

הבנייה בפועל דומה יותר להטמעת תהליך עבודה מאשר לפרויקט תוכנה מסובך. נותנים לסוכן קוד (Claude Code, Codex, או כל מודל שיודע לבצע פעולות במחשב) את המפרט הטכני, ומבקשים ממנו לבנות ingestion pipeline לכל מקור נתונים - Slack, מייל, GitHub, כל מה שרלוונטי לעסק. הסוכן מתחבר לחשבונות קיימים, ולכל מקור שעדיין אין לו גישה אליו הוא עצמו מסביר איך להקים אותו (למשל: פתיחת פרויקט ענני, אישור OAuth, טוקן ריענון) - תהליך שלוקח בין 5 ל-10 דקות לכל מקור. ברגע שהחיבורים במקום, הסוכן בונה שלב זיקוק: כל שרשור שיחה או מסמך עובר עיבוד שמפיק ממנו שאלה, תקציר, פתרון (אם רלוונטי), ורשימת מערכות מעורבות - וזה נשמר במסד נתונים עם שכבת אחזור שמשלבת חיפוש טקסט מדויק עם חיפוש embeddings.

התוצאה שבאמת מוכיחה משהו

מה שהופך את זה מרעיון נחמד להוכחה בפועל הוא מבחן פשוט: אותו מודל, אותן 20 שאלות עסקיות - פעם אחת עם גישה למערכת הידע, פעם אחת בלעדיה. בלי המערכת: אפס תשובות נכונות. עם המערכת: 17 מתוך 20 נכונות, והשלוש הנותרות היו תשובות חלקיות והוגנות ("אין לי מספיק מידע לענות בבטחון") ולא ניחושים. וזה עם פחות מ-650 מסמכים בלבד - חלק קטן ממה שחברה גדולה כמו Cerebras מחזיקה בפועל. המסקנה החשובה: מה שקובע איכות מערכת ידע היא לא כמות המסמכים, אלא עד כמה מדויק ורלוונטי האחזור - ומשם, השקלול לפי זמן ומקור הוא מה שעושה את ההבדל.

לסיכום

מערכת ידע ארגונית טובה לא צריכה להיראות מרשימה. אין בה גרף מסתובב או מוח מרחף - יש רק צנרת נתונים אמינה, שכבת metadata עשירה, ומשקלול נכון לפי זמן ומקור. התוצאה היא שכל עובד בעסק יכול לשאול שאלה ולקבל תשובה מבוססת על הידע האמיתי שהצטבר בארגון - במקום להסתמך רק על הידע הכללי של המודל. אחזור מידע אינו מבטיח תשובה נכונה: יש לבדוק שהמקור המצוטט אכן תומך בתשובה, ולהגדיר מתי המערכת צריכה להימנע ממתן תשובה. מתכננים פרויקט מאגר ידע? קראו על תהליך הייעוץ והטמעת AI בעסק.

להמשך העבודה

לפני חיבור סוכן לנתונים וכלים, עברו על מדריך Zero Trust לאבטחת סוכני AI להגדרת הרשאות, הפרדת סודות ובקרות אנושיות.