עליית המכונות!
מי כאן פוחד מרובוטים רצחניים?
(צחוק)
אני!
בעבר עבדתי בתחום הכטבמ"ים - כלי-טיס בלתי-מאויישים -
וכשהתבוננתי בהם יכולתי רק לחשוב שיום אחד
מישהו יחבר להם מקלעים
ונחילים של דברים כאלה יצודו אותי.
אני עובד בתחום הרובוטיקה באוניברסיטת בראון
ואני פוחד מרובוטים.
למען האמת, אני די מבוהל,
האם אפשר להאשים אותי?
מאז היותי ילד ראיתי רק סרטים
שתיארו את עליית התבונה המלאכותית
ואת המלחמה הבלתי-נמנעת שלנו נגדה -
"2001 אודיסיאה בחלל", "שליחות קטלנית", "מטריקס" -
שכולם מספרים סיפורים מפחידים למדי:
קבוצות מורדים אנושיים בורחות ממכונות סופר-נבונות.
זה מפחיד אותי,
ולפי הרמת הידיים - גם אתכם.
אני יודע שזה מפחיד גם את אילון מאסק.
אבל נותר לנו קצת זמן לפני שהרובוטים יתקוממו.
רובוטים כמו פי-אר2 שאני עובד עליהם
אינכם יכולים עדיין אפילו לפתוח דלת.
אז לדעתי, הדיון הזה ברובוטים סופר-נבונים
הוא בגדר הסחת-דעת ממשהו ערמומי בהרבה
שקורה עם מערכות התבונה המלאכותית בארץ כולה.
כי כיום, יש אנשים -
רופאים, שופטים, רואי-חשבון -
שמקבלים מידע ממערכות תבונה מלאכותית
ומתייחסים אליו כאל מידע שמתקבל מעמית מהימן.
האמון הזה הוא שמטריד אותי
לא מידת התכיפות שבה התבונה המלאכותית טועה;
כל החוקרים מתגאים בדיוק התוצאות שלה.
חומרת הטעויות, היא שמדאיגה אותי.
המערכות הללו אינן נכשלות באופן חינני.
הבה נראה זאת.
זהו כלב שזוהה בטעות כזאב ע"י אלגוריתם של תבונה מלאכותית.
החוקרים ביקשו לדעת
מדוע כלב ההאסקי הזה זוהה בטעות כזאב?
אז הם שיכתבו את האלגוריתם כדי שיסביר להם
מהם חלקי התמונה שהאלגוריתם התייחס אליהם
כשהוא קיבל את החלטתו.
אל מה בתמונה הזאת, לדעתכם, התייחס האלגוריתם?
למה אתם מתייחסים?
אולי העיניים, האוזניים, האף?
הנה מה שהאלגוריתם התייחס אליו:
בעיקר השלג והרקע בתמונה.
הנתונים שהוזנו אל האלגוריתם היו פשוט מוטעים.
מרבית צילומי הזאבים היו בשלג,
אז האלגוריתם חיבר את נוכחות או העדר השלג
לנוכחות או העדר זאב.
המפחיד בכך
הוא שלחוקרים לא היה כל מושג על כך
עד ששיכתבו את האלגוריתם כדי שיסביר את עצמו.
וזה העניין עם אלגוריתמים של תבונה מלאכותית,
למידה עמוקה ולמידת מכונה.
אפילו למפתחי הדברים האלה אין מושג מה הם עושים.
אז זה יכול להיות נושא נהדר למחקר,
אבל מה זה אומר בעולם האמיתי?
אלגוריתם השיפוט הפלילי "קומפס" נמצא בשימוש ב-13 מדינות
לצורך קביעת שיעור הפשיעה החוזרת,
או הסיכון לביצוע פשע שנה אחרי השחרור מהכלא.
"פרופבליקה" מצא שאם אתם אפרו-אמריקנים,
הסבירות של "קומפס" לסווג אתכם כעבריינים אלימים-בפוטנציה גדולה ב-77%
מאשר אם אתם לבנים.
מדובר במערכת אמיתית
שמשתמשים בה שופטים אמיתיים בעולם האמיתי
כדי לקבל החלטות בנוגע לחייהם של אנשים אמיתיים.
למה שהשופטים יסמכו עליה אם היא ככל הנראה מפגינה הטיה?
ובכן, הם משתמשים ב"קומפס" כי היא מופת של יעילות.
"קומפס" מאפשרת להם לעבור מהר יותר על ערימות של תיקים
במערכת המשפט הפלילי העמוסה לעייפה.
מדוע שיפקפקו בתוכנה שלהם?
היא נרכשה ע"י המדינה, אושרה ע"י משרד המשפטים שלהם;
מדוע שיפקפקו בה?
ובכן, האנשים שנשפטו בעזרת "קומפס" פקפקו בה.
והתביעות שהם הגישו צריכות לצמרר את כולנו.
בית המשפט העליון של ויסקונסין פסק
ש"קומפס" לא מנע מנתבע הליך הגנה נאות
בתנאי שהוא נעשה "נכון".
באותה פסיקה הוא קבע
שהנתבע אינו רשאי לבחון את קוד המקור של "קומפס".
חובה להשתמש בו נכון אבל אסור לבחון את קוד המקור?
ביחד, זו מערכת פסיקות מטרידה
עבור כל מי שצפוי לדין פלילי.
אולי לכם לא איכפת מכך כי אינכם צפויים לדין פלילי,
אבל מה דעתכם על כך שאלגוריתמי קופסה שחורה כאלה
משמשים כדי לקבוע אם לתת לכם הלוואה לרכישת בית,
לקבל אתכם לראיון עבודה,
לזכות בטיפול רפואי,
ואפילו עבור נהיגת מכוניות ומשאיות בכביש המהיר.
האם הייתם רוצים שהציבור יוכל לבחון את האלגוריתם
שאמור להחליט במשאית אוטונומית בין עגלת מרכול לעגלת תינוק,
כמו שהאלגוריתם של כלב/זאב ניסה לבחור
אם זה כלב או זאב?
האם אתם עלולים להיות כלב מטפורי שמזוהה בטעות כזאב
בידי אלגוריתם התבונה המלאכותית של מישהו?
כשחושבים על מורכבות האדם, זה אפשרי.
האם יש משהו שאתם יכולים לעשות כרגע בנוגע לכך?
כנראה שלא, ובכך עלינו להתמקד.
עלינו לדרוש תקנים של נשיאה באחריות,
שקיפות והיחלצות במערכות תבונה מלאכותית.
ארגון התקינה הבינלאומי, ISO, הקים לאחרונה ועדה
שתחליט מה לעשות בעניין תקנים בתבונה המלאכותית.
הם רחוקים כחמש שנים מניסוח תקן.
המערכות האלה נמצאות בשימוש היום,
לא רק למתן הלוואות אלא גם בכלי-רכב, כפי שאמרתי.
הן משמשות בדברים כמו "בקרת-שיוט סתגלנית שיתופית".
מצחיק שמכנים זאת "בקרת שיוט",
כי סוג הבקר של בקרת השיוט, בקר פי-איי-די,
היה 30 שנה בשימוש בתעשיה הכימית לפני שהגיע אל המכוניות.
סוג הבקר שבו משתמשים
במכוניות אוטונומיות ובלמידת מכונה
נחקר רק מאז 2007,
אלה הן טכנולוגיות חדשות.
עלינו לדרוש תקנים ופיקוח
כדי שלא ימכרו לנו שיקויי-פלא.
וכדאי גם שנטפח מידה של ספקנות.
ניסויי הסמכות של סטנלי מילגרם אחרי מלחמת העולם ה-2,
הוכיחו שהאדם הממוצע יציית להוראותיה של דמות סמכותית
אפילו אם זה יפגע בזולתו.
בניסוי ההוא,
אמריקנים רגילים התבקשו לתת הלם חשמלי לשחקן
מעבר לשלב שבו התלונן על בעיה,
מעבר לשלב שבו צרח מכאב
מעבר לשלב שבו דמם כאילו מת,
רק משום שמישהו
ללא שום כתב-הסכמה, בחלוק מעבדה,
השמיע גירסה כלשהי של האמירה,
"יש להמשיך בניסוי."
בתבונה המלאכותית מתגלמת הדמות הסמכותית האולטימטיבית של מילגרם.
יש לנו מערכת נטולת-חמלה שאינה חושבת על מעשיה,
שאינה מסוגלת להחלטות אחרות,
שאין ממנה מפלט,
ושתמיד תאמר
"המערכת צריכה להמשיך לפעול" או, "יש להמשיך בתהליך".
כעת אספר לכם סיפור קטן.
זהו סיפור על נסיעה שלי בדרכים.
התקרבתי לסולט-לייק-סיטי והחל לרדת גשם.
כשהמשכתי לעלות בהרים, הגשם הפך לשלג,
ומהר מאד הכל הלבין.
לא יכולתי לראות את האורות האחוריים של הרכב שלפני.
התחלתי להחליק.
הסתחררתי 360 מעלות לכאן ו-360 מעלות לשם.
חניתי בצד.
החלונות כוסו בבוץ, לא ראיתי כלום.
פחדתי שתתנגש בי מכונית.
אני מספר לכם זאת כדי לעורר אתכם למחשבה
על כך שמשהו קטן וחסר-חשיבות לכאורה
כמו קצת משקעים,
עלול בקלות לגדול ולהפוך למשהו מסוכן ביותר.
היום אנו נוסעים בגשם בעזרת תבונה מלאכותית,
והגשם עתיד להפוך לשלג,
והשלג עלול להתפתח לסופה.
עלינו לעצור לרגע,
לבחון את התנאים,
לקבוע תקני בטיחות
ולשאול את עצמנו עד כמה ברצוננו להרחיק לכת,
כי התמריצים הכלכליים לתבונה מלאכותית ולאוטומציה
שיחליפו את עבודת הכפיים
יהיו גדולים יותר מכל מה שראינו מאז המהפכה התעשייתית.
הדרישות האנושיות לשכר אינן עומדות בתחרות
עם מחיר הבסיס של החשמל.
מכשירי תבונה מלאכותית ורובוטים יחליפו שפים, מפגשי מזון מהיר
וגם רדיולוגים בבתי החולים.
מתישהו, תבונה מלאכותית תאבחן סרטן
ורובוט הוא שיבצע את הניתוח.
רק ספקנות בריאה ביחס למערכות האלה
תעזור לראות גם את בני האדם שבתמונה.
ואני בטוח שאם נצליח לשמור את בני האדם בתמונה,
אם נוכל לבנות מערכות תבונה מלאכותית שקופות כמו זו של הכלב/זאב
שתוכלנה להסביר לבני-אדם מה הן עושות,
ובני-אדם יוכלו לבחון אותן באופן אקראי,
נוכל ליצור מקומות עבודה חדשים לבני-אדם במשולב עם תבונה מלאכותית.
אם נעבוד ביחד עם התבונה המלאכותית,
נוכל אולי להתגבר על כמה מאתגרינו הגדולים ביותר.
אבל לשם כך עלינו להוביל, ולא להיות מובלים.
עלינו להחליט להיות פחות רובוטיים,
ולבנות רובוטים יותר אנושיים,
כי בסופו של דבר,
הדבר היחיד שצריך להפחיד אותנו איננו רובוטים רצחניים,
אלא העצלנות האינטלקטואלית שלנו.
הדבר היחיד שממנו כדאי שנחשוש הוא אנו-עצמנו.
תודה לכם.
(מחיאות כפיים)