0:00:13.048,0:00:16.898
עליית המכונות!

0:00:17.678,0:00:22.498
מי כאן פוחד מרובוטים רצחניים?

0:00:22.890,0:00:25.000
(צחוק)

0:00:25.362,0:00:26.962
אני!

0:00:27.976,0:00:31.646
בעבר עבדתי בתחום הכטבמ"ים -[br]כלי-טיס בלתי-מאויישים -

0:00:31.646,0:00:36.486
וכשהתבוננתי בהם[br]יכולתי רק לחשוב שיום אחד

0:00:36.883,0:00:40.653
מישהו יחבר להם מקלעים

0:00:40.653,0:00:43.603
ונחילים של דברים כאלה יצודו אותי.

0:00:44.438,0:00:47.798
אני עובד בתחום הרובוטיקה[br]באוניברסיטת בראון

0:00:47.798,0:00:49.598
ואני פוחד מרובוטים.

0:00:50.291,0:00:53.031
למען האמת, אני די מבוהל,

0:00:53.511,0:00:55.561
האם אפשר להאשים אותי?

0:00:55.561,0:00:59.251
מאז היותי ילד[br]ראיתי רק סרטים

0:00:59.251,0:01:02.761
שתיארו את עליית התבונה המלאכותית

0:01:02.761,0:01:05.561
ואת המלחמה הבלתי-נמנעת שלנו נגדה -

0:01:05.561,0:01:11.051
"2001 אודיסיאה בחלל",[br]"שליחות קטלנית", "מטריקס" -

0:01:11.550,0:01:15.950
שכולם מספרים סיפורים[br]מפחידים למדי:

0:01:15.950,0:01:20.668
קבוצות מורדים אנושיים[br]בורחות ממכונות סופר-נבונות.

0:01:21.685,0:01:23.635
זה מפחיד אותי,

0:01:23.635,0:01:26.545
ולפי הרמת הידיים -[br]גם אתכם.

0:01:26.545,0:01:29.985
אני יודע שזה מפחיד[br]גם את אילון מאסק.

0:01:30.575,0:01:34.995
אבל נותר לנו קצת זמן[br]לפני שהרובוטים יתקוממו.

0:01:34.995,0:01:38.321
רובוטים כמו פי-אר2[br]שאני עובד עליהם

0:01:38.321,0:01:41.131
אינכם יכולים עדיין[br]אפילו לפתוח דלת.

0:01:41.941,0:01:46.457
אז לדעתי, הדיון הזה[br]ברובוטים סופר-נבונים

0:01:46.457,0:01:51.747
הוא בגדר הסחת-דעת[br]ממשהו ערמומי בהרבה

0:01:51.747,0:01:55.967
שקורה עם מערכות התבונה המלאכותית[br]בארץ כולה.

0:01:56.667,0:01:59.817
כי כיום, יש אנשים -

0:01:59.817,0:02:03.977
רופאים, שופטים, רואי-חשבון -

0:02:03.977,0:02:07.707
שמקבלים מידע ממערכות תבונה מלאכותית

0:02:07.707,0:02:12.467
ומתייחסים אליו כאל מידע[br]שמתקבל מעמית מהימן.

0:02:13.681,0:02:16.651
האמון הזה הוא שמטריד אותי

0:02:16.891,0:02:19.932
לא מידת התכיפות שבה[br]התבונה המלאכותית טועה;

0:02:19.932,0:02:24.153
כל החוקרים מתגאים[br]בדיוק התוצאות שלה.

0:02:24.619,0:02:29.129
חומרת הטעויות, היא שמדאיגה אותי.

0:02:29.529,0:02:33.329
המערכות הללו אינן נכשלות באופן חינני.

0:02:33.770,0:02:36.710
הבה נראה זאת.

0:02:36.870,0:02:42.310
זהו כלב שזוהה בטעות כזאב[br]ע"י אלגוריתם של תבונה מלאכותית.

0:02:42.983,0:02:44.989
החוקרים ביקשו לדעת

0:02:44.989,0:02:49.259
מדוע כלב ההאסקי הזה[br]זוהה בטעות כזאב?

0:02:49.501,0:02:52.471
אז הם שיכתבו את האלגוריתם[br]כדי שיסביר להם

0:02:52.471,0:02:55.401
מהם חלקי התמונה[br]שהאלגוריתם התייחס אליהם

0:02:55.401,0:02:58.251
כשהוא קיבל את החלטתו.

0:02:58.789,0:03:02.499
אל מה בתמונה הזאת, לדעתכם,[br]התייחס האלגוריתם?

0:03:02.619,0:03:04.849
למה אתם מתייחסים?

0:03:05.109,0:03:10.229
אולי העיניים, האוזניים, האף?

0:03:12.791,0:03:16.281
הנה מה שהאלגוריתם התייחס אליו:

0:03:16.731,0:03:20.141
בעיקר השלג והרקע בתמונה.

0:03:20.753,0:03:25.603
הנתונים שהוזנו אל האלגוריתם[br]היו פשוט מוטעים.

0:03:26.043,0:03:30.123
מרבית צילומי הזאבים היו בשלג,

0:03:30.323,0:03:34.533
אז האלגוריתם חיבר[br]את נוכחות או העדר השלג

0:03:34.533,0:03:37.633
לנוכחות או העדר זאב.

0:03:39.662,0:03:41.777
המפחיד בכך

0:03:41.777,0:03:46.037
הוא שלחוקרים לא היה[br]כל מושג על כך

0:03:46.037,0:03:49.707
עד ששיכתבו את האלגוריתם[br]כדי שיסביר את עצמו.

0:03:50.586,0:03:53.111
וזה העניין עם אלגוריתמים[br]של תבונה מלאכותית,

0:03:53.111,0:03:55.076
למידה עמוקה ולמידת מכונה.

0:03:55.076,0:04:01.776
אפילו למפתחי הדברים האלה[br]אין מושג מה הם עושים.

0:04:02.751,0:04:07.341
אז זה יכול להיות[br]נושא נהדר למחקר,[br]

0:04:07.341,0:04:10.031
אבל מה זה אומר בעולם האמיתי?

0:04:10.361,0:04:15.591
אלגוריתם השיפוט הפלילי "קומפס"[br]נמצא בשימוש ב-13 מדינות

0:04:15.591,0:04:17.741
לצורך קביעת שיעור הפשיעה החוזרת,

0:04:17.741,0:04:22.431
או הסיכון לביצוע פשע[br]שנה אחרי השחרור מהכלא.

0:04:22.949,0:04:26.709
"פרופבליקה" מצא[br]שאם אתם אפרו-אמריקנים,

0:04:26.709,0:04:32.213
הסבירות של "קומפס" לסווג אתכם[br]כעבריינים אלימים-בפוטנציה גדולה ב-77%

0:04:32.213,0:04:33.873
מאשר אם אתם לבנים.

0:04:34.534,0:04:36.844
מדובר במערכת אמיתית

0:04:36.844,0:04:39.384
שמשתמשים בה שופטים אמיתיים[br]בעולם האמיתי

0:04:39.384,0:04:42.184
כדי לקבל החלטות בנוגע[br]לחייהם של אנשים אמיתיים.

0:04:43.865,0:04:48.955
למה שהשופטים יסמכו עליה[br]אם היא ככל הנראה מפגינה הטיה?

0:04:49.616,0:04:54.926
ובכן, הם משתמשים ב"קומפס"[br]כי היא מופת של יעילות.

0:04:55.372,0:04:59.822
"קומפס" מאפשרת להם לעבור[br]מהר יותר על ערימות של תיקים

0:04:59.822,0:05:02.742
במערכת המשפט הפלילי[br]העמוסה לעייפה.

0:05:04.627,0:05:07.047
מדוע שיפקפקו בתוכנה שלהם?

0:05:07.047,0:05:10.707
היא נרכשה ע"י המדינה,[br]אושרה ע"י משרד המשפטים שלהם;

0:05:10.707,0:05:13.107
מדוע שיפקפקו בה?

0:05:13.107,0:05:16.263
ובכן, האנשים שנשפטו בעזרת "קומפס"[br]פקפקו בה.

0:05:16.263,0:05:18.603
והתביעות שהם הגישו[br]צריכות לצמרר את כולנו.

0:05:18.993,0:05:21.873
בית המשפט העליון של ויסקונסין פסק

0:05:21.873,0:05:25.393
ש"קומפס" לא מנע מנתבע[br]הליך הגנה נאות

0:05:25.393,0:05:28.183
בתנאי שהוא נעשה "נכון".

0:05:28.713,0:05:30.438
באותה פסיקה הוא קבע

0:05:30.438,0:05:34.508
שהנתבע אינו רשאי לבחון[br]את קוד המקור של "קומפס".

0:05:35.450,0:05:39.740
חובה להשתמש בו נכון[br]אבל אסור לבחון את קוד המקור?

0:05:40.175,0:05:43.175
ביחד, זו מערכת פסיקות מטרידה

0:05:43.175,0:05:45.925
עבור כל מי שצפוי לדין פלילי.

0:05:46.375,0:05:50.455
אולי לכם לא איכפת מכך[br]כי אינכם צפויים לדין פלילי,

0:05:50.806,0:05:54.806
אבל מה דעתכם על כך[br]שאלגוריתמי קופסה שחורה כאלה

0:05:54.806,0:05:59.126
משמשים כדי לקבוע אם[br]לתת לכם הלוואה לרכישת בית,

0:05:59.894,0:06:02.594
לקבל אתכם לראיון עבודה,

0:06:03.114,0:06:05.613
לזכות בטיפול רפואי,

0:06:05.704,0:06:10.184
ואפילו עבור נהיגת[br]מכוניות ומשאיות בכביש המהיר.

0:06:10.581,0:06:14.281
האם הייתם רוצים שהציבור[br]יוכל לבחון את האלגוריתם

0:06:14.281,0:06:19.929
שאמור להחליט במשאית אוטונומית[br]בין עגלת מרכול לעגלת תינוק,

0:06:20.649,0:06:23.249
כמו שהאלגוריתם של כלב/זאב[br]ניסה לבחור

0:06:23.249,0:06:25.369
אם זה כלב או זאב?

0:06:26.032,0:06:31.212
האם אתם עלולים להיות[br]כלב מטפורי שמזוהה בטעות כזאב

0:06:31.212,0:06:34.012
בידי אלגוריתם התבונה המלאכותית[br]של מישהו?

0:06:34.618,0:06:38.078
כשחושבים על מורכבות האדם,[br]זה אפשרי.

0:06:38.561,0:06:41.781
האם יש משהו שאתם יכולים[br]לעשות כרגע בנוגע לכך?

0:06:41.781,0:06:46.591
כנראה שלא,[br]ובכך עלינו להתמקד.

0:06:47.237,0:06:50.317
עלינו לדרוש תקנים[br]של נשיאה באחריות,

0:06:50.317,0:06:55.147
שקיפות והיחלצות[br]במערכות תבונה מלאכותית.

0:06:56.206,0:07:00.784
ארגון התקינה הבינלאומי, ISO,[br]הקים לאחרונה ועדה

0:07:00.784,0:07:04.254
שתחליט מה לעשות בעניין[br]תקנים בתבונה המלאכותית.

0:07:04.673,0:07:08.489
הם רחוקים כחמש שנים[br]מניסוח תקן.

0:07:08.739,0:07:12.229
המערכות האלה נמצאות בשימוש[br]היום,

0:07:13.421,0:07:19.111
לא רק למתן הלוואות[br]אלא גם בכלי-רכב, כפי שאמרתי.

0:07:20.591,0:07:25.023
הן משמשות בדברים כמו[br]"בקרת-שיוט סתגלנית שיתופית".

0:07:25.023,0:07:27.723
מצחיק שמכנים זאת "בקרת שיוט",

0:07:27.723,0:07:32.453
כי סוג הבקר של בקרת השיוט,[br]בקר פי-איי-די,

0:07:32.453,0:07:38.073
היה 30 שנה בשימוש בתעשיה הכימית[br]לפני שהגיע אל המכוניות.

0:07:38.889,0:07:40.888
סוג הבקר שבו משתמשים

0:07:40.888,0:07:44.378
במכוניות אוטונומיות ובלמידת מכונה

0:07:44.378,0:07:48.628
נחקר רק מאז 2007,

0:07:49.430,0:07:51.980
אלה הן טכנולוגיות חדשות.

0:07:52.220,0:07:56.180
עלינו לדרוש תקנים ופיקוח

0:07:56.180,0:07:59.750
כדי שלא ימכרו לנו שיקויי-פלא.

0:08:00.569,0:08:04.809
וכדאי גם שנטפח מידה של ספקנות.

0:08:05.611,0:08:10.721
ניסויי הסמכות של סטנלי מילגרם[br]אחרי מלחמת העולם ה-2,

0:08:10.871,0:08:15.781
הוכיחו שהאדם הממוצע יציית[br]להוראותיה של דמות סמכותית

0:08:15.781,0:08:19.011
אפילו אם זה יפגע בזולתו.

0:08:20.211,0:08:22.600
בניסוי ההוא,

0:08:22.600,0:08:26.880
אמריקנים רגילים התבקשו[br]לתת הלם חשמלי לשחקן

0:08:27.439,0:08:31.019
מעבר לשלב שבו התלונן על בעיה,

0:08:31.327,0:08:35.177
מעבר לשלב שבו צרח מכאב

0:08:35.684,0:08:40.644
מעבר לשלב שבו דמם[br]כאילו מת,

0:08:41.363,0:08:43.459
רק משום שמישהו

0:08:43.849,0:08:47.719
ללא שום כתב-הסכמה,[br]בחלוק מעבדה,

0:08:47.719,0:08:50.545
השמיע גירסה כלשהי של האמירה,

0:08:50.545,0:08:54.225
"יש להמשיך בניסוי."

0:08:56.695,0:09:02.148
בתבונה המלאכותית מתגלמת[br]הדמות הסמכותית האולטימטיבית של מילגרם.

0:09:03.406,0:09:08.116
יש לנו מערכת נטולת-חמלה[br]שאינה חושבת על מעשיה,

0:09:09.120,0:09:12.390
שאינה מסוגלת להחלטות אחרות,

0:09:12.670,0:09:14.652
שאין ממנה מפלט,

0:09:14.824,0:09:16.464
ושתמיד תאמר

0:09:16.814,0:09:20.654
"המערכת צריכה להמשיך לפעול"[br]או, "יש להמשיך בתהליך".

0:09:23.063,0:09:25.633
כעת אספר לכם סיפור קטן.

0:09:25.633,0:09:29.473
זהו סיפור על נסיעה שלי בדרכים.

0:09:30.540,0:09:34.440
התקרבתי לסולט-לייק-סיטי[br]והחל לרדת גשם.

0:09:34.961,0:09:39.650
כשהמשכתי לעלות בהרים,[br]הגשם הפך לשלג,

0:09:40.130,0:09:42.330
ומהר מאד הכל הלבין.

0:09:42.330,0:09:45.470
לא יכולתי לראות את[br]האורות האחוריים של הרכב שלפני.

0:09:45.903,0:09:47.773
התחלתי להחליק.

0:09:47.773,0:09:50.783
הסתחררתי 360 מעלות לכאן[br]ו-360 מעלות לשם.

0:09:50.783,0:09:52.353
חניתי בצד.

0:09:52.353,0:09:54.333
החלונות כוסו בבוץ,[br]לא ראיתי כלום.

0:09:54.333,0:09:58.233
פחדתי שתתנגש בי מכונית.

0:09:59.674,0:10:03.614
אני מספר לכם זאת[br]כדי לעורר אתכם למחשבה

0:10:03.614,0:10:07.074
על כך שמשהו קטן[br]וחסר-חשיבות לכאורה

0:10:07.074,0:10:09.564
כמו קצת משקעים,

0:10:09.844,0:10:14.334
עלול בקלות לגדול[br]ולהפוך למשהו מסוכן ביותר.

0:10:15.159,0:10:19.539
היום אנו נוסעים בגשם[br]בעזרת תבונה מלאכותית,

0:10:20.192,0:10:23.152
והגשם עתיד להפוך לשלג,

0:10:23.637,0:10:26.757
והשלג עלול להתפתח לסופה.

0:10:27.847,0:10:29.727
עלינו לעצור לרגע,

0:10:30.287,0:10:32.267
לבחון את התנאים,

0:10:32.752,0:10:34.932
לקבוע תקני בטיחות

0:10:35.392,0:10:40.982
ולשאול את עצמנו עד כמה[br]ברצוננו להרחיק לכת,

0:10:42.017,0:10:46.187
כי התמריצים הכלכליים[br]לתבונה מלאכותית ולאוטומציה

0:10:46.187,0:10:48.113
שיחליפו את עבודת הכפיים

0:10:48.113,0:10:53.063
יהיו גדולים יותר מכל מה שראינו[br]מאז המהפכה התעשייתית.

0:10:53.793,0:10:57.790
הדרישות האנושיות לשכר[br]אינן עומדות בתחרות

0:10:57.790,0:11:00.720
עם מחיר הבסיס של החשמל.

0:11:02.230,0:11:07.665
מכשירי תבונה מלאכותית ורובוטים[br]יחליפו שפים, מפגשי מזון מהיר

0:11:07.665,0:11:10.165
וגם רדיולוגים בבתי החולים.

0:11:10.885,0:11:14.080
מתישהו, תבונה מלאכותית[br]תאבחן סרטן

0:11:14.080,0:11:17.180
ורובוט הוא שיבצע את הניתוח.

0:11:17.710,0:11:22.170
רק ספקנות בריאה[br]ביחס למערכות האלה

0:11:22.170,0:11:25.471
תעזור לראות גם[br]את בני האדם שבתמונה.

0:11:26.041,0:11:31.223
ואני בטוח שאם נצליח[br]לשמור את בני האדם בתמונה,

0:11:31.223,0:11:36.143
אם נוכל לבנות מערכות תבונה מלאכותית[br]שקופות כמו זו של הכלב/זאב

0:11:36.143,0:11:39.408
שתוכלנה להסביר לבני-אדם[br]מה הן עושות,

0:11:39.408,0:11:42.338
ובני-אדם יוכלו לבחון אותן[br]באופן אקראי,

0:11:42.338,0:11:47.188
נוכל ליצור מקומות עבודה חדשים[br]לבני-אדם במשולב עם תבונה מלאכותית.

0:11:48.323,0:11:50.793
אם נעבוד ביחד[br]עם התבונה המלאכותית,

0:11:50.793,0:11:55.313
נוכל אולי להתגבר על כמה[br]מאתגרינו הגדולים ביותר.

0:11:56.514,0:12:01.104
אבל לשם כך עלינו להוביל,[br]ולא להיות מובלים.

0:12:01.551,0:12:05.241
עלינו להחליט להיות פחות רובוטיים,

0:12:05.241,0:12:09.471
ולבנות רובוטים יותר אנושיים,

0:12:10.770,0:12:13.100
כי בסופו של דבר,

0:12:13.100,0:12:17.340
הדבר היחיד שצריך להפחיד אותנו[br]איננו רובוטים רצחניים,

0:12:18.450,0:12:21.071
אלא העצלנות האינטלקטואלית שלנו.

0:12:21.965,0:12:26.175
הדבר היחיד שממנו כדאי שנחשוש[br]הוא אנו-עצמנו.

0:12:26.739,0:12:28.191
תודה לכם.

0:12:28.191,0:12:31.381
(מחיאות כפיים)