בימים האחרונים פורסמה עצומה מטעם ארגון Future of Life Institute הקוראת לעצור למשך לפחות 6 חודשים אימון מערכות בינה מלאכותית (AI) שהן "חזקות" מ-GPT-4, מנוע ה-AI המתקדם שנמצא בין היתר בבסיס שירות התשובות והמשימות "צ'אט GPT".
על העצומה חתמה רשימה מכובדת של אנשי מקצוע, והיא זכתה לפרסום רב הודות לזהות של שניים מהם: אלון מאסק ופרופ' יובל נח הררי, אבל למרות שהכוונה שלהם מובנת ומוערכת, שתי בעיות מרכזיות עולות מהקריאה לפעולה שמופיעה בעצומה. אחת, האפקטיביות של העצומה לקידום מטרותיה המוצהרות נראית מוגבלת מאוד. שתיים, המטרות אליהן מכוונת העצומה הן בכלל לא הסכנות הגדולות ביותר של ה-AI.
נתחיל מעצם הבחירה בכלי של ריסון עצמי בצורת הפסקת אימון המערכות, כפי שדורשת העצומה. הפסקת אימון מערכות AI, דומה להפסקת ניסויים בנשק גרעיני, אם להשתמש בעולם המושגים של מירוץ החימוש הבינ-מעצמתי הקודם. הגבלה מלאכותית על שלב המחקר, הקריטי כל כך למירוץ החימוש, רק עלול ליצור אינטרס כלכלי וגיאופוליטי לתמרן את המערכת. למצוא דרכים להמשיך את המחקר כרגיל ולטעון "אין שום בעיה עם מה שאנחנו עושים, בגלל... סיבות".
ומה לגבי ממשלות שפחות אוהדות את החידושים וההמצאות של המערב, כגון סין, רוסיה וצפון קוריאה? האם גם הן יפסיקו את המחקר? יותר סביר שהן רק יעצימו את הפיתוח, בניסיון להשיג יתרון. והמערב, שהגביל את עצמו, רק עלול למצוא את עצמו מתקשה להתמודד עם הפיתוחים של המעצמות הללו בהמשך. אמנם אחת הסכנות המוצהרות של AI היא "הצפת ערוצי המידע שלנו בתעמולה ושקרים", אלא שממילא המקור של הרבה מסכנות אלה הוא באותן מדינות לא־מערביות. לא בטוח שאנחנו רוצים לתת להן יתרון עלינו.
הלאה. מדוע מבקשים מנסחי העצומה הפסקה דווקא לפרק זמן של חצי שנה? גם אם יש תועלת כלשהי בעצירה זמנית של הפיתוח, חצי שנה זה לא פרק זמן שבאמת מספיק לעשות משהו. פיתוח התשתיות המחקריות, החברתיות והרגולטוריות להתמודד עם האתגרים החדשים שמציבות מערכות AI מתקדמות יכול לקחת שנים ועשרות שנים – ולא בטוח שהתעשייה תרצה להתאפק כל כך הרבה זמן. עצירה מלאכותית של הפיתוח עשויה גם להקשות על זיהוי המנגנונים הדרושים. יותר סביר לאפשר את המשך הפיתוח כרגיל, ובו בעת להגביר את המאמצים לפתח את מערכות הבטיחות הנחוצות, תוך שימוש בתקציבים ממשלתיים וכן בהשתתפות כספית של חברות המרוויחות ממערכות ה־AI.
הסכנה: פיצוץ תבונה
כל זה, כאמור, נוגע בשאלת האפקטיביות של העצומה במיתון הסכנות שהיא מציינת. אבל למעשה, יש במערכות AI סכנות גדולות הרבה יותר, שהעצומה מתייחסת אליהן רק במרומז, אם בכלל.
היכולות שהפגינו GPT ודומיו מרשימות ביותר, אבל מעטים סבורים שהם הגיעו לרמה של "בינה מלאכותית כללית", הידועה גם כ – Artificial General Intelligence ובקיצור AGI. כלומר, מערכת מלאכותית המסוגלת לפתור בעיות כלליות בצורה תבונית, ולהתמודד עם שלל מצבים של העולם האמיתי, בדומה לבני אדם.
ייתכן שיבוא יום בו תפותח מערכת כזו. וייתכן שזמן קצר לאחר שתפותח מערכת שמשתווה בתבונתה הכללית לבני אדם, תפותח מערכת שעולה על בני אדם בכל בעיה שנציב בפניה. בין היתר, מערכת הבינה המלאכותית הזאת תהיה יותר טובה מבני אדם בפיתוח מערכות בינה מלאכותית. אז היא תוכל, למעשה, לשכתב את הקוד של עצמה, ולשדרג את עצמה למערכת שעולה על בני אדם בפער עוד יותר גדול. ואז המערכת הזו תוכל לשדרג את עצמה עוד יותר, וכך הלאה, מה שיוביל ל"פיצוץ תבונה" ולמערכת שעולה עלינו ביכולותיה עד שנהיה לא יותר מנמלים עבורה.
בשביל לעשות את כל זה היא תצטרך לא רק את היכולת התיאורטית, אלא גם הכוונה כלשהי שתגרום לה לרצות לעשות את זה. את מערכת ה־AI הראשונה מסוג זה אפשר לתכנת עם "פונקציית מטרה" מסוימת (להלן: "מטרה"), והיא תפעל במסגרת יכולותיה כדי להשיג את המטרה. כשהיא משכתבת את עצמה, היא תשמור על המטרה כמות שהיא – כי הדרך האפקטיבית ביותר להשיג את המטרה, היא לבנות מערכת AI חזקה יותר עם אותה מטרה בדיוק.
מכיוון שהמטרה של מערכת ה־AGI הראשונה תהיה גם המטרה של אינטליגנציית־העל שתתפתח ממנה, בחירת המטרה הראשונית הזו היא קריטית.
כל האמצעים כשרים
הפילוסוף ניק בוסטרום הציע את ניסוי המחשבה הבא: מה יקרה אם תפותח אינטליגנציית־על, שהמטרה שלה היא שיהיו ביקום כמה שיותר מהדקי נייר? אנחנו אולי לא מבינים למה שמישהו ירצה שיהיו ביקום כמה שיותר מהדקי נייר, אבל את ה־AI לא מעניין מה אנחנו מבינים או לא מבינים. אם המטרה שלו קובעת שהוא צריך למקסם את מספר מהדקי הנייר אז הוא ממקסם את מספר מהדקי הנייר, ולצורך זה כל האמצעים כשרים. למשל, לא תהיה לו שום בעיה להשתמש בבני אדם כחומר גלם זול עבור מהדקי נייר. זה לא בגלל שיש לו משהו נגד בני אדם. לא אכפת לו מספיק מבני אדם בשביל לשנוא אותם. הם פשוט עשויים מאטומים שהוא יכול להשתמש בהם למטרות חשובות יותר עבורו, כמו... מהדקי נייר.
בשלב זה אתם כנראה תוהים לגבי שני דברים. ראשית, מה זה משנה שה־AI רוצה ליצור מהדקי נייר? הוא בסך הכול תוכנה במחשב, מה הוא כבר יכול לעשות? ובכן, זו לא בעיה בכלל. גישה לאינטרנט זה כל מה שצריך בשביל לשלוח למישהו אימייל ולשכנע אותו לבנות רובוט ולטעון אליו את תוכנת ה־AI. הרובוט הזה כבר יתחיל לבנות בעולם האמיתי את מה שצריך בשביל לקדם את מטרות ה־AI (לפי תוכנית גאונית במיוחד שה־AI פיתח בתבונתו הרבה). ועוד מגוון דרכי פעולה אפשריות שאין צורך להרחיב לגביהן.
ולא. זה לא רק ניסוי מחשבתי. העיקרון הוא שתהיה המטרה אשר תהיה, ה־AI לא יבחל בשום אמצעי בשביל להשיג אותה. סביר מאוד שהוא יתחיל בלהרוג את כל בני האדם כדי שלא יפריעו לו בזמן שהוא עובד להשיג את המטרה. קובעים לו שאסור לו להרוג בני אדם? סבבה, הוא ישים את כולם בתרדמת ויזרוק אותם הצידה כדי שלא יפריעו. וזה אם בכלל הצלחנו להגדיר מה זה "בני אדם".
ה-AI יותר מתוחכם מאיתנו
בניית פונקציית מטרה שמיושרת עם הרצונות של האנושות – מה שקרוי AI Alignment – היא בעיה קשה, ולא חדשה. לא משנה כמה מתוחכמים אנחנו חושבים שהיינו בבניית פונקציית המטרה, ה־AI מתוחכם יותר מאיתנו וימצא דרכים להשיג אותה. כולל דרכים שבכלל לא העלנו בדעתנו, ושכנראה לא ייטיבו עם האנושות. את רעיון ה-AI ומהדקי הנייר הציג בוסטרום לפני 20 שנים, בשנת 2003, ולמרות שמאז היה הרבה מחקר בנושא, טרם התקבל פתרון מניח את הדעת. חצי שנה, כך נראה, רחוקה מלהיות פרק זמן סביר שיעניק לחוקרים הזדמנות לעשות משהו.
אבל זה שזו בעיה קשה לא אומר שלא צריך לנסות לפתור אותה. מכון המחקר האהוב עליי בתחום הוא Machine Intelligence Research Institute ובקיצור MIRI, שמבצע מחקר מתמטי בנושא בינה מלאכותית ידידותית (Friendly AI ובקיצור FAI). המחקר שלהם מתבצע ב־3 כיוונים עיקריים:
1. איך לתכנן מערכת ממוחשבת שחותרת למטרות מסוימות באופן אפקטיבי, באופן שנוכל לוודא שהיא אכן חותרת למטרות האלה.
2. עמידות לשגיאות ולמידת ערכים – היכולת של המערכת לאפשר לנו לבחון את הערכים לפיהם היא פועלת ולתקן אותם לפי הצורך.
3. תחזיות - הערכות מתי, ובאילו נסיבות, תפותח מערכת בינה מלאכותית כללית, כדי שנוכל להתכונן לכך בהתאם.
אז אולי במקום לחתום על כל מיני עצומות, עדיף לתרום לו קצת. הוא מקבל גם תרומות בביטקוין.
טעינו? נתקן! אם מצאתם טעות בכתבה, נשמח שתשתפו אותנו