1
00:00:13,048 --> 00:00:16,898
עליית המכונות!

2
00:00:17,678 --> 00:00:22,498
מי כאן פוחד מרובוטים רצחניים?

3
00:00:22,890 --> 00:00:25,000
(צחוק)

4
00:00:25,362 --> 00:00:26,962
אני!

5
00:00:27,976 --> 00:00:31,646
בעבר עבדתי בתחום הכטבמ"ים -
כלי-טיס בלתי-מאויישים -

6
00:00:31,646 --> 00:00:36,486
וכשהתבוננתי בהם
יכולתי רק לחשוב שיום אחד

7
00:00:36,883 --> 00:00:40,653
מישהו יחבר להם מקלעים

8
00:00:40,653 --> 00:00:43,603
ונחילים של דברים כאלה יצודו אותי.

9
00:00:44,438 --> 00:00:47,798
אני עובד בתחום הרובוטיקה
באוניברסיטת בראון

10
00:00:47,798 --> 00:00:49,598
ואני פוחד מרובוטים.

11
00:00:50,291 --> 00:00:53,031
למען האמת, אני די מבוהל,

12
00:00:53,511 --> 00:00:55,561
האם אפשר להאשים אותי?

13
00:00:55,561 --> 00:00:59,251
מאז היותי ילד
ראיתי רק סרטים

14
00:00:59,251 --> 00:01:02,761
שתיארו את עליית התבונה המלאכותית

15
00:01:02,761 --> 00:01:05,561
ואת המלחמה הבלתי-נמנעת שלנו נגדה -

16
00:01:05,561 --> 00:01:11,051
"2001 אודיסיאה בחלל",
"שליחות קטלנית", "מטריקס" -

17
00:01:11,550 --> 00:01:15,950
שכולם מספרים סיפורים
מפחידים למדי:

18
00:01:15,950 --> 00:01:20,668
קבוצות מורדים אנושיים
בורחות ממכונות סופר-נבונות.

19
00:01:21,685 --> 00:01:23,635
זה מפחיד אותי,

20
00:01:23,635 --> 00:01:26,545
ולפי הרמת הידיים -
גם אתכם.

21
00:01:26,545 --> 00:01:29,985
אני יודע שזה מפחיד
גם את אילון מאסק.

22
00:01:30,575 --> 00:01:34,995
אבל נותר לנו קצת זמן
לפני שהרובוטים יתקוממו.

23
00:01:34,995 --> 00:01:38,321
רובוטים כמו פי-אר2
שאני עובד עליהם

24
00:01:38,321 --> 00:01:41,131
אינכם יכולים עדיין
אפילו לפתוח דלת.

25
00:01:41,941 --> 00:01:46,457
אז לדעתי, הדיון הזה
ברובוטים סופר-נבונים

26
00:01:46,457 --> 00:01:51,747
הוא בגדר הסחת-דעת
ממשהו ערמומי בהרבה

27
00:01:51,747 --> 00:01:55,967
שקורה עם מערכות התבונה המלאכותית
בארץ כולה.

28
00:01:56,667 --> 00:01:59,817
כי כיום, יש אנשים -

29
00:01:59,817 --> 00:02:03,977
רופאים, שופטים, רואי-חשבון -

30
00:02:03,977 --> 00:02:07,707
שמקבלים מידע ממערכות תבונה מלאכותית

31
00:02:07,707 --> 00:02:12,467
ומתייחסים אליו כאל מידע
שמתקבל מעמית מהימן.

32
00:02:13,681 --> 00:02:16,651
האמון הזה הוא שמטריד אותי

33
00:02:16,891 --> 00:02:19,932
לא מידת התכיפות שבה
התבונה המלאכותית טועה;

34
00:02:19,932 --> 00:02:24,153
כל החוקרים מתגאים
בדיוק התוצאות שלה.

35
00:02:24,619 --> 00:02:29,129
חומרת הטעויות, היא שמדאיגה אותי.

36
00:02:29,529 --> 00:02:33,329
המערכות הללו אינן נכשלות באופן חינני.

37
00:02:33,770 --> 00:02:36,710
הבה נראה זאת.

38
00:02:36,870 --> 00:02:42,310
זהו כלב שזוהה בטעות כזאב
ע"י אלגוריתם של תבונה מלאכותית.

39
00:02:42,983 --> 00:02:44,989
החוקרים ביקשו לדעת

40
00:02:44,989 --> 00:02:49,259
מדוע כלב ההאסקי הזה
זוהה בטעות כזאב?

41
00:02:49,501 --> 00:02:52,471
אז הם שיכתבו את האלגוריתם
כדי שיסביר להם

42
00:02:52,471 --> 00:02:55,401
מהם חלקי התמונה
שהאלגוריתם התייחס אליהם

43
00:02:55,401 --> 00:02:58,251
כשהוא קיבל את החלטתו.

44
00:02:58,789 --> 00:03:02,499
אל מה בתמונה הזאת, לדעתכם,
התייחס האלגוריתם?

45
00:03:02,619 --> 00:03:04,849
למה אתם מתייחסים?

46
00:03:05,109 --> 00:03:10,229
אולי העיניים, האוזניים, האף?

47
00:03:12,791 --> 00:03:16,281
הנה מה שהאלגוריתם התייחס אליו:

48
00:03:16,731 --> 00:03:20,141
בעיקר השלג והרקע בתמונה.

49
00:03:20,753 --> 00:03:25,603
הנתונים שהוזנו אל האלגוריתם
היו פשוט מוטעים.

50
00:03:26,043 --> 00:03:30,123
מרבית צילומי הזאבים היו בשלג,

51
00:03:30,323 --> 00:03:34,533
אז האלגוריתם חיבר
את נוכחות או העדר השלג

52
00:03:34,533 --> 00:03:37,633
לנוכחות או העדר זאב.

53
00:03:39,662 --> 00:03:41,777
המפחיד בכך

54
00:03:41,777 --> 00:03:46,037
הוא שלחוקרים לא היה
כל מושג על כך

55
00:03:46,037 --> 00:03:49,707
עד ששיכתבו את האלגוריתם
כדי שיסביר את עצמו.

56
00:03:50,586 --> 00:03:53,111
וזה העניין עם אלגוריתמים
של תבונה מלאכותית,

57
00:03:53,111 --> 00:03:55,076
למידה עמוקה ולמידת מכונה.

58
00:03:55,076 --> 00:04:01,776
אפילו למפתחי הדברים האלה
אין מושג מה הם עושים.

59
00:04:02,751 --> 00:04:07,341
אז זה יכול להיות
נושא נהדר למחקר,


60
00:04:07,341 --> 00:04:10,031
אבל מה זה אומר בעולם האמיתי?

61
00:04:10,361 --> 00:04:15,591
אלגוריתם השיפוט הפלילי "קומפס"
נמצא בשימוש ב-13 מדינות

62
00:04:15,591 --> 00:04:17,741
לצורך קביעת שיעור הפשיעה החוזרת,

63
00:04:17,741 --> 00:04:22,431
או הסיכון לביצוע פשע
שנה אחרי השחרור מהכלא.

64
00:04:22,949 --> 00:04:26,709
"פרופבליקה" מצא
שאם אתם אפרו-אמריקנים,

65
00:04:26,709 --> 00:04:32,213
הסבירות של "קומפס" לסווג אתכם
כעבריינים אלימים-בפוטנציה גדולה ב-77%

66
00:04:32,213 --> 00:04:33,873
מאשר אם אתם לבנים.

67
00:04:34,534 --> 00:04:36,844
מדובר במערכת אמיתית

68
00:04:36,844 --> 00:04:39,384
שמשתמשים בה שופטים אמיתיים
בעולם האמיתי

69
00:04:39,384 --> 00:04:42,184
כדי לקבל החלטות בנוגע
לחייהם של אנשים אמיתיים.

70
00:04:43,865 --> 00:04:48,955
למה שהשופטים יסמכו עליה
אם היא ככל הנראה מפגינה הטיה?

71
00:04:49,616 --> 00:04:54,926
ובכן, הם משתמשים ב"קומפס"
כי היא מופת של יעילות.

72
00:04:55,372 --> 00:04:59,822
"קומפס" מאפשרת להם לעבור
מהר יותר על ערימות של תיקים

73
00:04:59,822 --> 00:05:02,742
במערכת המשפט הפלילי
העמוסה לעייפה.

74
00:05:04,627 --> 00:05:07,047
מדוע שיפקפקו בתוכנה שלהם?

75
00:05:07,047 --> 00:05:10,707
היא נרכשה ע"י המדינה,
אושרה ע"י משרד המשפטים שלהם;

76
00:05:10,707 --> 00:05:13,107
מדוע שיפקפקו בה?

77
00:05:13,107 --> 00:05:16,263
ובכן, האנשים שנשפטו בעזרת "קומפס"
פקפקו בה.

78
00:05:16,263 --> 00:05:18,603
והתביעות שהם הגישו
צריכות לצמרר את כולנו.

79
00:05:18,993 --> 00:05:21,873
בית המשפט העליון של ויסקונסין פסק

80
00:05:21,873 --> 00:05:25,393
ש"קומפס" לא מנע מנתבע
הליך הגנה נאות

81
00:05:25,393 --> 00:05:28,183
בתנאי שהוא נעשה "נכון".

82
00:05:28,713 --> 00:05:30,438
באותה פסיקה הוא קבע

83
00:05:30,438 --> 00:05:34,508
שהנתבע אינו רשאי לבחון
את קוד המקור של "קומפס".

84
00:05:35,450 --> 00:05:39,740
חובה להשתמש בו נכון
אבל אסור לבחון את קוד המקור?

85
00:05:40,175 --> 00:05:43,175
ביחד, זו מערכת פסיקות מטרידה

86
00:05:43,175 --> 00:05:45,925
עבור כל מי שצפוי לדין פלילי.

87
00:05:46,375 --> 00:05:50,455
אולי לכם לא איכפת מכך
כי אינכם צפויים לדין פלילי,

88
00:05:50,806 --> 00:05:54,806
אבל מה דעתכם על כך
שאלגוריתמי קופסה שחורה כאלה

89
00:05:54,806 --> 00:05:59,126
משמשים כדי לקבוע אם
לתת לכם הלוואה לרכישת בית,

90
00:05:59,894 --> 00:06:02,594
לקבל אתכם לראיון עבודה,

91
00:06:03,114 --> 00:06:05,613
לזכות בטיפול רפואי,

92
00:06:05,704 --> 00:06:10,184
ואפילו עבור נהיגת
מכוניות ומשאיות בכביש המהיר.

93
00:06:10,581 --> 00:06:14,281
האם הייתם רוצים שהציבור
יוכל לבחון את האלגוריתם

94
00:06:14,281 --> 00:06:19,929
שאמור להחליט במשאית אוטונומית
בין עגלת מרכול לעגלת תינוק,

95
00:06:20,649 --> 00:06:23,249
כמו שהאלגוריתם של כלב/זאב
ניסה לבחור

96
00:06:23,249 --> 00:06:25,369
אם זה כלב או זאב?

97
00:06:26,032 --> 00:06:31,212
האם אתם עלולים להיות
כלב מטפורי שמזוהה בטעות כזאב

98
00:06:31,212 --> 00:06:34,012
בידי אלגוריתם התבונה המלאכותית
של מישהו?

99
00:06:34,618 --> 00:06:38,078
כשחושבים על מורכבות האדם,
זה אפשרי.

100
00:06:38,561 --> 00:06:41,781
האם יש משהו שאתם יכולים
לעשות כרגע בנוגע לכך?

101
00:06:41,781 --> 00:06:46,591
כנראה שלא,
ובכך עלינו להתמקד.

102
00:06:47,237 --> 00:06:50,317
עלינו לדרוש תקנים
של נשיאה באחריות,

103
00:06:50,317 --> 00:06:55,147
שקיפות והיחלצות
במערכות תבונה מלאכותית.

104
00:06:56,206 --> 00:07:00,784
ארגון התקינה הבינלאומי, ISO,
הקים לאחרונה ועדה

105
00:07:00,784 --> 00:07:04,254
שתחליט מה לעשות בעניין
תקנים בתבונה המלאכותית.

106
00:07:04,673 --> 00:07:08,489
הם רחוקים כחמש שנים
מניסוח תקן.

107
00:07:08,739 --> 00:07:12,229
המערכות האלה נמצאות בשימוש
היום,

108
00:07:13,421 --> 00:07:19,111
לא רק למתן הלוואות
אלא גם בכלי-רכב, כפי שאמרתי.

109
00:07:20,591 --> 00:07:25,023
הן משמשות בדברים כמו
"בקרת-שיוט סתגלנית שיתופית".

110
00:07:25,023 --> 00:07:27,723
מצחיק שמכנים זאת "בקרת שיוט",

111
00:07:27,723 --> 00:07:32,453
כי סוג הבקר של בקרת השיוט,
בקר פי-איי-די,

112
00:07:32,453 --> 00:07:38,073
היה 30 שנה בשימוש בתעשיה הכימית
לפני שהגיע אל המכוניות.

113
00:07:38,889 --> 00:07:40,888
סוג הבקר שבו משתמשים

114
00:07:40,888 --> 00:07:44,378
במכוניות אוטונומיות ובלמידת מכונה

115
00:07:44,378 --> 00:07:48,628
נחקר רק מאז 2007,

116
00:07:49,430 --> 00:07:51,980
אלה הן טכנולוגיות חדשות.

117
00:07:52,220 --> 00:07:56,180
עלינו לדרוש תקנים ופיקוח

118
00:07:56,180 --> 00:07:59,750
כדי שלא ימכרו לנו שיקויי-פלא.

119
00:08:00,569 --> 00:08:04,809
וכדאי גם שנטפח מידה של ספקנות.

120
00:08:05,611 --> 00:08:10,721
ניסויי הסמכות של סטנלי מילגרם
אחרי מלחמת העולם ה-2,

121
00:08:10,871 --> 00:08:15,781
הוכיחו שהאדם הממוצע יציית
להוראותיה של דמות סמכותית

122
00:08:15,781 --> 00:08:19,011
אפילו אם זה יפגע בזולתו.

123
00:08:20,211 --> 00:08:22,600
בניסוי ההוא,

124
00:08:22,600 --> 00:08:26,880
אמריקנים רגילים התבקשו
לתת הלם חשמלי לשחקן

125
00:08:27,439 --> 00:08:31,019
מעבר לשלב שבו התלונן על בעיה,

126
00:08:31,327 --> 00:08:35,177
מעבר לשלב שבו צרח מכאב

127
00:08:35,684 --> 00:08:40,644
מעבר לשלב שבו דמם
כאילו מת,

128
00:08:41,363 --> 00:08:43,459
רק משום שמישהו

129
00:08:43,849 --> 00:08:47,719
ללא שום כתב-הסכמה,
בחלוק מעבדה,

130
00:08:47,719 --> 00:08:50,545
השמיע גירסה כלשהי של האמירה,

131
00:08:50,545 --> 00:08:54,225
"יש להמשיך בניסוי."

132
00:08:56,695 --> 00:09:02,148
בתבונה המלאכותית מתגלמת
הדמות הסמכותית האולטימטיבית של מילגרם.

133
00:09:03,406 --> 00:09:08,116
יש לנו מערכת נטולת-חמלה
שאינה חושבת על מעשיה,

134
00:09:09,120 --> 00:09:12,390
שאינה מסוגלת להחלטות אחרות,

135
00:09:12,670 --> 00:09:14,652
שאין ממנה מפלט,

136
00:09:14,824 --> 00:09:16,464
ושתמיד תאמר

137
00:09:16,814 --> 00:09:20,654
"המערכת צריכה להמשיך לפעול"
או, "יש להמשיך בתהליך".

138
00:09:23,063 --> 00:09:25,633
כעת אספר לכם סיפור קטן.

139
00:09:25,633 --> 00:09:29,473
זהו סיפור על נסיעה שלי בדרכים.

140
00:09:30,540 --> 00:09:34,440
התקרבתי לסולט-לייק-סיטי
והחל לרדת גשם.

141
00:09:34,961 --> 00:09:39,650
כשהמשכתי לעלות בהרים,
הגשם הפך לשלג,

142
00:09:40,130 --> 00:09:42,330
ומהר מאד הכל הלבין.

143
00:09:42,330 --> 00:09:45,470
לא יכולתי לראות את
האורות האחוריים של הרכב שלפני.

144
00:09:45,903 --> 00:09:47,773
התחלתי להחליק.

145
00:09:47,773 --> 00:09:50,783
הסתחררתי 360 מעלות לכאן
ו-360 מעלות לשם.

146
00:09:50,783 --> 00:09:52,353
חניתי בצד.

147
00:09:52,353 --> 00:09:54,333
החלונות כוסו בבוץ,
לא ראיתי כלום.

148
00:09:54,333 --> 00:09:58,233
פחדתי שתתנגש בי מכונית.

149
00:09:59,674 --> 00:10:03,614
אני מספר לכם זאת
כדי לעורר אתכם למחשבה

150
00:10:03,614 --> 00:10:07,074
על כך שמשהו קטן
וחסר-חשיבות לכאורה

151
00:10:07,074 --> 00:10:09,564
כמו קצת משקעים,

152
00:10:09,844 --> 00:10:14,334
עלול בקלות לגדול
ולהפוך למשהו מסוכן ביותר.

153
00:10:15,159 --> 00:10:19,539
היום אנו נוסעים בגשם
בעזרת תבונה מלאכותית,

154
00:10:20,192 --> 00:10:23,152
והגשם עתיד להפוך לשלג,

155
00:10:23,637 --> 00:10:26,757
והשלג עלול להתפתח לסופה.

156
00:10:27,847 --> 00:10:29,727
עלינו לעצור לרגע,

157
00:10:30,287 --> 00:10:32,267
לבחון את התנאים,

158
00:10:32,752 --> 00:10:34,932
לקבוע תקני בטיחות

159
00:10:35,392 --> 00:10:40,982
ולשאול את עצמנו עד כמה
ברצוננו להרחיק לכת,

160
00:10:42,017 --> 00:10:46,187
כי התמריצים הכלכליים
לתבונה מלאכותית ולאוטומציה

161
00:10:46,187 --> 00:10:48,113
שיחליפו את עבודת הכפיים

162
00:10:48,113 --> 00:10:53,063
יהיו גדולים יותר מכל מה שראינו
מאז המהפכה התעשייתית.

163
00:10:53,793 --> 00:10:57,790
הדרישות האנושיות לשכר
אינן עומדות בתחרות

164
00:10:57,790 --> 00:11:00,720
עם מחיר הבסיס של החשמל.

165
00:11:02,230 --> 00:11:07,665
מכשירי תבונה מלאכותית ורובוטים
יחליפו שפים, מפגשי מזון מהיר

166
00:11:07,665 --> 00:11:10,165
וגם רדיולוגים בבתי החולים.

167
00:11:10,885 --> 00:11:14,080
מתישהו, תבונה מלאכותית
תאבחן סרטן

168
00:11:14,080 --> 00:11:17,180
ורובוט הוא שיבצע את הניתוח.

169
00:11:17,710 --> 00:11:22,170
רק ספקנות בריאה
ביחס למערכות האלה

170
00:11:22,170 --> 00:11:25,471
תעזור לראות גם
את בני האדם שבתמונה.

171
00:11:26,041 --> 00:11:31,223
ואני בטוח שאם נצליח
לשמור את בני האדם בתמונה,

172
00:11:31,223 --> 00:11:36,143
אם נוכל לבנות מערכות תבונה מלאכותית
שקופות כמו זו של הכלב/זאב

173
00:11:36,143 --> 00:11:39,408
שתוכלנה להסביר לבני-אדם
מה הן עושות,

174
00:11:39,408 --> 00:11:42,338
ובני-אדם יוכלו לבחון אותן
באופן אקראי,

175
00:11:42,338 --> 00:11:47,188
נוכל ליצור מקומות עבודה חדשים
לבני-אדם במשולב עם תבונה מלאכותית.

176
00:11:48,323 --> 00:11:50,793
אם נעבוד ביחד
עם התבונה המלאכותית,

177
00:11:50,793 --> 00:11:55,313
נוכל אולי להתגבר על כמה
מאתגרינו הגדולים ביותר.

178
00:11:56,514 --> 00:12:01,104
אבל לשם כך עלינו להוביל,
ולא להיות מובלים.

179
00:12:01,551 --> 00:12:05,241
עלינו להחליט להיות פחות רובוטיים,

180
00:12:05,241 --> 00:12:09,471
ולבנות רובוטים יותר אנושיים,

181
00:12:10,770 --> 00:12:13,100
כי בסופו של דבר,

182
00:12:13,100 --> 00:12:17,340
הדבר היחיד שצריך להפחיד אותנו
איננו רובוטים רצחניים,

183
00:12:18,450 --> 00:12:21,071
אלא העצלנות האינטלקטואלית שלנו.

184
00:12:21,965 --> 00:12:26,175
הדבר היחיד שממנו כדאי שנחשוש
הוא אנו-עצמנו.

185
00:12:26,739 --> 00:12:28,191
תודה לכם.

186
00:12:28,191 --> 00:12:31,381
(מחיאות כפיים)