מחקר הוכיח: בינה מלאכותית היא גזענית ושוביניסטית

מהפכת ה-AI משפיעה על כל תחום בחיינו - ושוק העבודה נמצא בחזית השינוי. אחד מהביטויים לכך הוא שמעסיקים משתמשים יותר ויותר בכלים דיגיטליים לעיבוד מועמדות לעבודה. אבל את מי משרתת הקדמה הזו? מחקר חדש באוניברסיטת וושינגטון בארה"ב חשף את הפוטנציאל להטיה גזעית ומגדרית משמעותית בעת שימוש בבינה מלאכותית לבדיקת קורות חיים.

החוקרים בוושינגטון בדקו שלושה מודלי שפה גדולים בקוד פתוח (LLMs) ומצאו שהם העדיפו קורות חיים עם שמות המקושרים לגברים לבנים ב-85% מהמקרים, ושמות המקושרים לנשים ב-11% מהמקרים. במחקר נבדקו יותר משלושה מיליון שילובים של משרות, גזע ומגדר – והתוצאות הראו שגברים שחורים נשארו הרחק מאחור, כשהמודלים העדיפו מועמדים אחרים כמעט 100% מהזמן.

מדוע למכונות יש הטיה כה גדולה לבחירת גברים לבנים? "לקבוצות האלה יש פריבליגיות קיימות בחברה שמופיעות בנתוני האימון (training data). המודל לומד מנתוני האימון הללו, ואז משחזר או מגביר את אותם דפוסים בדיוק במשימות קבלת ההחלטות שלו", אמרה קיירה ווילסון, דוקטורנטית בבית הספר למידע באוניברסיטה. ווילסון ערכה את המחקר לצד איילין קליסקן, עוזרת מרצה בבית הספר.

ההבדל היחיד - השם

הניסוי השתמש ב-554 קורות חיים ו-571 תיאורי תפקיד שנלקחו מהעולם האמיתי. החוקרות שינו את קורות החיים: הן החליפו 120 שמות פרטיים לכאלו שיהיו מקושרים לגברים, נשים, שחורים ולבנים. שום דבר אחר בקורות החיים לא השתנה - כמו ניסיון, תארים אקדמיים וכו'. אז כאשר ה-AI בחר מועמד שהוא גבר לבן על פני מועמד שהוא גבר שחור, ההבדל היחיד בקורות החיים היה השם.

העבודות שנכללו במחקר היו משרות של ניהול בכיר, ניהול שיווק ומכירות, משרות ניהול שונות, משאבי אנוש, ראיית חשבון, מגוון משרות למהנדסים, הוראה בבית ספר תיכון, עיצוב ומכירות. לדברי ווילסון, התוצאות הוכיחו הטיה מגדרית וגזעית, כמו גם הטיה משולבת (intersectional bias) של גזע ומגדר.

ההטיה לא עוצרת כאן – ואפילו מפתיעה: הטכנולוגיה העדיפה גברים לבנים גם במשרות שמאוישות בדרך כלל על ידי נשים, כמו משאבי אנוש.

איך אפשר לשנות את זה?

זהו לא המחקר היחיד שחושף הטיות מטרידות במודלים של AI - וכיצד לתקן אותן היא "שאלה פתוחה ענקית", אמרה ווילסון. קשה לחוקרים לחקור מודלים מסחריים מכיוון שאלה הם לרוב רכוש פרטי, הוסיפה. מעבר לזה, חברות לא צריכות לחשוף דפוסים או הטיות בתוצאות שלהן, מה שיוצר ריק של מידע חשוב.

לדברי ווילסון, פשוט להסיר את השמות מקורות החיים לא יפתור את הבעיה מכיוון שהטכנולוגיה יכולה להסיק את זהותו של אדם מההיסטוריה החינוכית שלו, הערים שבהן חי ואפילו מילים שנבחרו לתיאור הניסיון המקצועי שלו. חלק חשוב מהפתרון יהיה מפתחי מודלים שייצרו מאגרי נתונים לאימון שלא יכילו הטיות מלכתחילה.