תחום הבינה המלאכותית שינה מן היסוד את האופן שבו מפתחים כיום יישומים וכותבים קוד, והוא שינה גם את הארכיטקטורה של המעבדים שמריצים את יישומי ה-AI הללו. חברת היילו (Hailo) הישראלית, שכבר זכתה לסטטוס של "יוניקורן" בשל שווייה המוערך ביותר ממיליארד דולר, מתמחה בדיוק בכך: פיתוח מעבדים ייעודיים להרצת יישומי AI.
בשונה מחברות כמו אנבידיה ו-AMD, שמפתחות בעיקר מעבדי-ענק לפיתוח והרצה של יישומי AI בחוות שרתים ובענן, היילו מתמקדת בפיתוח מעבדים קטנים וקומפקטיים שמאפשרים להריץ בצורה יעילה יישומי AI במכשיר הקצה, כמו מצלמות, סמרטפונים, רובוטים, מכשור רפואי, מכוניות ועוד.
כנס GTC 2024 של חברת אנבידיה: בינה מלאכותית לכולם, ובכל מקום. צילום: דניאלה גינזבורג
בינה מלאכותית מורכבת משני שלבים עיקריים: שלב האימון, שבו המחשב לומד מתוך אינספור דוגמאות כיצד לבצע משימה מסוימת, ויוצר בתום האימון "מודל" או "רשת נוירונים", מעט בדומה לאופן שבו המוח האנושי פועל, ושלב ההסקה (inference), שבו המחשב למעשה מיישם בפועל את מה שהוא למד על דוגמה חדשה בעולם האמיתי.
שלב האימון מצריך כוחות עיבוד ושטחי אחסון עצומים ועל כן הוא מתבצע בענן, אבל שלב ההסקה יכול להתבצע גם כן בענן המרוחק, אבל גם במכשיר הקצה - ולכך בדיוק מיועדים המעבדים של היילו.
בשיחה עם "ישראל היום", הסביר מנכ"ל ומייסד-שותף של היילו, אור דנון: "AI עובד בצורה שונה. הליבה של המעבד שלנו דומה לרשת נוירונים, והוא מאפשר להריץ מודלים של בינה מלאכותית במהירות מאוד גבוהה ובהספק מינימלי במכשירים שפרוסים בעולם מסביבנו".
מעבד הדגל של היילו, ה-Hailo-8, מסוגל לבצע 26 טריליון פעולות בשנייה (TOPS), שקול לביצועי סדרת מעבדי הג'טסון של אנבידיה אך בעשירית אנרגיה, פחות מ-2.5 וואט. השילוב הזה בין ביצועים גבוהים לצריכת הספק מינימלית הוא מה שמאפשר להטמיע את המעבדים הללו במכשירי-קצה, שפועלים בתנאי שטח על ידי סוללות מוגבלות. המעבדים של היילו מותקנים כבר במוצרים של יותר מ-300 לקוחות.
למעבדי AI למכשירי קצה יש חשיבות מכרעת עבור התפתחות תחום ה-AI, מאחר שהתבססות על ענן מרוחק מייצרת במקרים רבים בעייתיות בכל הנוגע לרוחב פס, זמן תגובה, אבטחה ופרטיות. כך למשל, מחשב של רכב, המריץ יישומי נהיגה אוטונומית, חייב לקבל החלטה בקצה, תוך שבריר שנייה, ולא יכול להסתמך על מעבד בענן מרוחק. באמצעות מעבד AI בקצה, מצלמות בגני ילדים יכולות לספק התראות על אירועים חריגים מבלי להעביר באופן רציף את המידע הרגיש החוצה.
גיוס ענק ומעבד חדש
היום (שלישי) הכריזה היילו על גיוס נוסף של כ-120 מיליון דולר, מה שמעלה את סך גיוסיה מאז הקמתה ב-2017 ל-340 מיליון דולר, ועל השקה של מעבד חדש, Hailo-10, המיועד להריץ יישומי "בינה מלאכותית יוצרת" (GenAI) במכשירי-קצה.
כיום, יישומי GenAI, כמו ChatGPT, רצים בענן. השאלות שאנחנו שואלים את ChatGPT עושות את דרכן עד לענן של OpenAI, ושם גם נוצרת התשובה. המעבד החדש של היילו עשוי לפתוח פתח לעולם חדש של יישומי GenAI במכשירי קצה.
מנכ"ל ומייסד-שותף של היילו, אור דנון: "AI מייצרת משימות כבדות, ו-GenAI על אחת כמה וכמה, עם מיליארדי פרמטרים. השוק רואה את הפוטנציאל האדיר של תחום ה-GenAI והרבה חברות, למשל מתחומי הרפואה, הרכב, התעשייה והצריכה, מחפשות איך לעשות זאת במכשירי-קצה".
כך למשל, ה-Hailo-10 מאפשר להריץ את מחולל השפה Llama2-7B-chat, הכולל 7 מיליארד פרמטרים, בצריכת הספק של 5 וואט בלבד, ולייצר תמונות באמצעות מחולל Stable Difussion 2/1 תוך 5 שניות בלבד. "זה יאפשר לנהל שיחה אינטראקטיבית וקולחת עם 'עוזרים אישיים', ללא זמן שיהוי".
טעינו? נתקן! אם מצאתם טעות בכתבה, נשמח שתשתפו אותנו