"האם קצב הגדילה של מודלי השפה הגדולים נבלם?" – כך שאל אנליסט בסוף שיחת המשקיעים של אנבידיה בחודש שעבר. השאלה הזו הגיעה רגעים ספורים אחרי שמנכ"ל החברה, ג'נסן הואנג, סיים להציג את התוצאות המזהירות של החברה לרבעון השלישי. השאלה תפסה את הואנג לא מוכן.
העובדה כי זו הייתה השאלה הבוערת ביותר על הפרק, הדהדה דרמה לא קטנה שמתחוללת בימים אלה בעולם ה-AI. לפי שלל דיווחים, המודלים החדשים שמפתחות חברות כמו OpenAI, גוגל ואנתרופיק לא מציגים את קפיצת המדרגה שהציגו הדורות הקודמים. האם מודלי ה-AI "נתקלו בקיר"?
כשמדברים כיום על בינה מלאכותית, מתכוונים בעיקר למודלי שפה גדולים (LLM). המודלים הללו, שהמפורסם שבהם הוא כמובן ChatGPT, מבינים שאלות בשפה טבעית וגם יודעים להשיב בשפה כזו. בפועל, ה-LLM הוא תוצר של אלגוריתם מתמטי מורכב, שמנתח מאגרי דאטה עצומים ובונה מארג של קשרים סטטיסטיים בין יחידות טקסט. כך, על בסיס זיקה סטטיסטית, המודל יודע להתאים עבורנו את התשובה המתאימה ביותר לשאלה שלנו.
ברמה המתמטית, מודל השפה הראשון פותח עוד בשנות השישים של המאה הקודמת. בשנות התשעים החלו לפתח מודלי שפה ממוחשבים, אך הם היו מוגבלים וכמעט חסרי שימוש. שני מרכיבים חסרו כדי שהמודלים הללו יהיו אפקטיביים: דאטה וכוחות מחשוב. כיום, בעידן האינטרנט ומרכזי הנתונים, אלה שני משאבים שזמינים בשפע - וזה מה שהוביל לפריצת הדרך.
גדול יותר = טוב יותר?
לפי חלוצי התחום, ובראשם מייסד OpenAI סם אלטמן, קצב ההתקדמות של המודלים הללו אמור לציית לעיקרון הסקיילינג (scaling), מעין עלייה הדרגתית בקנה מידה: "גדול יותר - טוב יותר". ככל שנזין מחשב עוצמתי יותר בכמות גדולה יותר של דאטה, נקבל מודל משוכלל ומדויק יותר - עד שבעתיד הלא רחוק נגיע לאותה "בינה מלאכותית כללית" (AGI), שתהיה שקולה ברמתה האינטלקטואלית לתבונה האנושית.
הדורות הראשונים של OpenAI הפגינו את המשוואה הזו במלוא העוצמה. אם GPT-1, המודל הראשון שהשיקה OpenAI ב-2018, אומן על בסיס 7,000 ספרים וכלל 150 מיליון פרמטרים – GPT-4 שהושק כעבור חמש שנים בלבד, אומן לפי ההערכה על בסיס 10 טריליון מילים וכולל 1.75 טריליון פרמטרים.
כאן החלו העניינים לחרוק. לפי דיווחים בבלומברג, רויטרס ובאתר The Information, שהסתמכו על מקורות בתוך החברה, המודל הבא בתור, Orion, אינו מציג את קפיצת המדרגה שקיוו לה בחברה. זאת, למרות ש-Orion, שנמצא כעת בהרצות אחרונות, אומן על יותר דאטה וכוחות מחשוב. לפי אותם דיווחים, תופעה דומה חוו גם בגוגל ואנתרופיק. "עקומת השיפור השתטחה", הודה בכיר בתעשייה בשיחה עם רויטרס.
שבירת חוקיות הסקיילינג, שעליה נשען עד כה המודל העסקי של חברות ה-AI, עשויה לעצב מחדש את התעשייה. מתברר כי דאטה הוא משאב דליל מכפי שנדמה, וכי המודלים הגדולים כבר זללו את רובו. לפי אחד המחקרים, המודלים ימצו תוך שנתיים-שלוש את כלל המידע הטקסטואלי הציבורי הזמין. גם בנייתן של תשתיות מחשוב גדולות יותר ויותר לאימון מודלים אינה כלכלית עוד.
there is no wall
— Sam Altman (@sama) November 14, 2024
"אין שום קיר". סם אלטמן מזים את החששות בתעשיית ה-AI
הוזה מרוב דאטה
אחת המגבלות של ChatGPT נובעת דווקא מהעובדה שהוא שואב את ידיעותיו ממגוון של מקורות ידע מעולמות תוכן שונים - מספרי מדע וקטעי עיתונות ועד פוסטים בפורומים ורומנים רומנטיים. התמהיל הזה גורם לו לפעמים להתבלבל בין עובדות לבדיות ולהפיק תשובות תלושות מהמציאות - תופעה הקרויה "הזיות".
תופעה זו היא אולי נסלחת כשמדובר בצ'אט-בוט כללי, אך היא תהיה פחות נסבלת אם נרצה לפתח צ'אט-בוט שמספק אבחנות רפואיות או נותן עצות כיצד לנהל את תיק ההשקעות שלנו. כדי לתת לכך מענה, פותחה כעת שיטה בשם RAG, שמאפשרת להגביל את המענה של ה-LLM רק למידע בתחום מומחיות ספציפי וכך למנוע הזיות ולספק מענה מדויק ומקצועי יותר.
לדברי מיכאל זולוטוב, אחד ממייסדי Razor Labs, המפתחת פתרונות אנליטיים מבוססי AI לעולם הלוגיסטיקה הכבדה, "שיטות כמו RAG מלמדות שגם אם ה-LLM מתקרבים לקצה גבול יכולתם המחקרית, הצד היישומי נמצא רק בחיתוליו. אנחנו נחווה שיפור עצום בשירותים ובמוצרים של חברות שיאמצו LLM, וגם בחיי הפרט נהיה עדים בשנים הקרובות למהפכות רבות כתוצאה משימוש ויישום של LLM בתחומים שונים".
המטמורפוזה של AI
גם אם אנו חוזים בשבירת חוקיות הסקיילינג, אין זה אומר שהבינה המלאכותית עומדת במקום - היא משנה את צורתה ומתפתחת לאפיקים חדשים. יש כבר מודלים שפועלים מעט אחרת מ-GPT. בתחילת החודש השיקה OpenAI את המודל o1. בשונה מ-GPT, שיורה מיד את התשובה המתאימה ביותר לשאלה, o1 עוצר כדי לחשוב. הוא יוצר מעין שרשרת מחשבות כדי לבחון את הבעיה מכמה כיוונים ולהגיע לתשובה מעמיקה יותר.
בשונה מ-GPT, שהוא ידען ומצטיין בשליפת מידע, o1 הוא מודל חכם שמיועד לפתרון בעיות שמצריכות העמקה - כמו בעיות במדע, מתמטיקה או תכנות. גם אימון המודל o1 היה שונה מאימון GPT והתבסס על פחות דאטה, אך איכותי וממוקד יותר. למעשה, o1 מחקה תכונה מהותית בתבונה האנושית - שקילה (reasoning). לדברי OpenAI, יש מתאם בין זמן החשיבה לבין רמת הדיוק של התשובה.
כאשר אנו שואלים אותו שאלה, o1 מבצע יותר פעולות חישוביות בשלב "החשיבה". בשפה המקצועית שלב החשיבה של המודל נקרא שלב היישום (inference). לשינוי מרכז הכובד משלב האימון (הלמידה) לשלב היישום (החשיבה), יש השלכות גם על תשתית העיבוד.
לתוך שינוי הפרדיגמה הזה נכנסת חברת ניוריאליטי (NeuReality) הישראלית, שפיתחה מעבד ייעודי לשרתי נתונים שמסייע לייעל את תהליך היישום. בשיחה עם "ישראל היום", הסביר מייסד ומנכ"ל החברה, משה תנך, כי התעשייה מבינה כי הגודל כבר לא קובע. "ברור שהתקדמות התחום לא תוכל להישען רק על גודל. המיקוד עובר לטכניקות שמאפשרות להפיק יותר מהמודלים. באופן שבו מרכזי נתונים פועלים כיום, יש הרבה חוסר יעילות. נוצרים צווארי בקבוק והניצולת של המעבדים נמוכה. זה כבר לא בר-קיימא. המודלים הבאים ישימו דגש על שלב היישום".
טעינו? נתקן! אם מצאתם טעות בכתבה, נשמח שתשתפו אותנו