1
00:00:01,000 --> 00:00:03,216
אני אדבר על כשל באינטואיציה

2
00:00:03,240 --> 00:00:04,840
שרבים מאיתנו סובלים ממנו.

3
00:00:05,480 --> 00:00:08,520
זהו למעשה כשל בזיהוי
סכנה מסוג מסויים.

4
00:00:09,360 --> 00:00:11,096
אני אתאר תרחיש

5
00:00:11,120 --> 00:00:14,376
שאני חושב שהוא גם מבעית

6
00:00:14,400 --> 00:00:16,160
וגם סביר שיתרחש,

7
00:00:16,840 --> 00:00:18,496
וזה לא שילוב טוב,

8
00:00:18,520 --> 00:00:20,056
כפי שמסתבר.

9
00:00:20,080 --> 00:00:22,536
ולמרות זאת, במקום לפחד, רובכם תרגישו

10
00:00:22,560 --> 00:00:24,640
שמה שאני מדבר עליו הוא די מגניב.

11
00:00:25,200 --> 00:00:28,176
אני אתאר איך ההתקדמויות שלנו

12
00:00:28,200 --> 00:00:29,976
בתחום הבינה המלאכותית

13
00:00:30,000 --> 00:00:31,776
עלולות לבסוף להשמיד אותנו.

14
00:00:31,800 --> 00:00:34,770
ולמעשה, אני חושב שקשה מאוד
לראות איך הם לא ישמידו אותנו,

15
00:00:34,770 --> 00:00:36,960
או ימריצו אותנו להשמיד את עצמנו.

16
00:00:37,400 --> 00:00:39,256
ובכל זאת, אם אתם כמוני,

17
00:00:39,280 --> 00:00:41,936
אתם תגלו שכיף לחשוב על דברים כאלה.

18
00:00:41,960 --> 00:00:45,336
והתגובה הזו היא חלק מהבעיה.

19
00:00:45,360 --> 00:00:47,630
התגובה הזו צריכה להדאיג אתכם.

20
00:00:47,920 --> 00:00:50,576
אם הייתי צריך לשכנע אתכם בשיחה הזו

21
00:00:50,600 --> 00:00:54,016
שאנחנו צפויים לסבול מרעב עולמי,

22
00:00:54,040 --> 00:00:57,096
בגלל שינויי אקלים או קטסטרופה אחרת,

23
00:00:57,120 --> 00:01:03,156
ושסביר מאוד שהנכדים שלכם, 
או הנכדים שלהם, יחיו כך

24
00:01:03,200 --> 00:01:04,400
לא הייתם חושבים,

25
00:01:05,440 --> 00:01:06,776
"מעניין.

26
00:01:06,800 --> 00:01:08,390
"אני אוהב את ההרצאה הזו."

27
00:01:09,200 --> 00:01:10,720
רעב זה לא כיף.

28
00:01:11,800 --> 00:01:15,176
מוות באמצעות מדע בדיוני,
לעומת זאת, הוא כיף.

29
00:01:15,200 --> 00:01:18,540
ואחד הדברים שהכי מדאיגים אותי
בנוגע להתפתחות של בינה מלאכותית כיום,

30
00:01:18,540 --> 00:01:23,296
הוא שאנחנו לא מסוגלים לגייס
את התגובה הרגשית המתאימה

31
00:01:23,320 --> 00:01:25,136
לסכנות שצפויות לנו.

32
00:01:25,160 --> 00:01:29,210
אני לא מסוגל לגייס את התגובה הזו,
ואני מעביר את ההרצאה הזו.

33
00:01:30,120 --> 00:01:32,816
זה כאילו שאנחנו ניצבים בפני שתי דלתות.

34
00:01:32,840 --> 00:01:34,096
מאחורי דלת מספר אחת,

35
00:01:34,120 --> 00:01:37,416
אנחנו מפסיקים להתקדם
בבניית מכונות אינטליגנטיות.

36
00:01:37,440 --> 00:01:41,456
חומרות ותוכנות המחשב שלנו
מפסיקות להשתפר מסיבה כלשהי.

37
00:01:41,480 --> 00:01:44,480
עכשיו קחו לעצמכם רגע
לשקול מדוע זה יכול לקרות.

38
00:01:45,080 --> 00:01:48,736
בהתחשב בערך הרב של
אינטלגינציה ואוטומציה עבורנו,

39
00:01:48,760 --> 00:01:52,280
אנחנו נמשיך לשפר את הטכנולוגיה,
אם נהיה מסוגלים לכך.

40
00:01:53,200 --> 00:01:54,867
מה יכול לעצור אותנו מלעשות זאת?

41
00:01:55,800 --> 00:01:57,600
מלחמה גרעינית כוללת?

42
00:01:59,000 --> 00:02:00,560
מגיפה כלל-עולמית?

43
00:02:02,320 --> 00:02:03,640
פגיעת אסטרואיד?

44
00:02:05,640 --> 00:02:08,216
ג'סטין ביבר ממונה לנשיא ארה"ב?

45
00:02:08,240 --> 00:02:10,520
(צחוק)

46
00:02:12,760 --> 00:02:17,300
הנקודה היא, משהו יצטרך להשמיד
את הציוויליזציה המוכרת לנו.

47
00:02:17,360 --> 00:02:21,656
אתם חייבים לדמיין כמה נורא זה צריך להיות

48
00:02:21,680 --> 00:02:25,016
בכדי למנוע מאיתנו לבצע
שיפורים בטכנולוגיה שלנו

49
00:02:25,040 --> 00:02:26,256
לתמיד.

50
00:02:26,280 --> 00:02:28,296
דור אחרי דור.

51
00:02:28,320 --> 00:02:30,490
כמעט בהגדרה, זהו הדבר הגרוע ביותר

52
00:02:30,490 --> 00:02:32,496
שאי-פעם קרה בהיסטוריה האנושית.

53
00:02:32,520 --> 00:02:33,816
אז האלטרנטיבה היחידה,

54
00:02:33,840 --> 00:02:36,176
וזה מה שנמצא מאחורי דלת מספר שתיים,

55
00:02:36,200 --> 00:02:39,336
היא שנמשיך לשפר
את המכונות האינטליגנטיות שלנו

56
00:02:39,360 --> 00:02:40,960
שנה אחר שנה אחר שנה.

57
00:02:41,720 --> 00:02:45,360
ובנקודה מסוימת, נבנה מכונות 
שהן חכמות יותר מאיתנו,

58
00:02:46,080 --> 00:02:48,160
וברגע שיהיו לנו מכונות חכמות מאיתנו,

59
00:02:48,160 --> 00:02:50,706
הן יתחילו לשפר את עצמן.

60
00:02:50,720 --> 00:02:53,456
ואז אנחנו מסתכנים במה
שהמתמטיקאי איי. ג'יי. גוד קרא לו

61
00:02:53,480 --> 00:02:55,256
"התפוצצות אינטליגנציה",

62
00:02:55,280 --> 00:02:57,280
שהתהליך יכול לצאת משליטתנו.

63
00:02:58,120 --> 00:03:00,936
לרוב זה מתואר כפי שנראה פה,

64
00:03:00,960 --> 00:03:04,176
כפחד מצבאות של רובוטים זדוניים

65
00:03:04,200 --> 00:03:05,456
שיתקפו אותנו.

66
00:03:05,480 --> 00:03:08,176
אבל זה לא התרחיש הסביר ביותר.

67
00:03:08,200 --> 00:03:13,056
זה לא שהמכונות שלנו
יהפכו באופן ספונטני למרושעות.

68
00:03:13,080 --> 00:03:15,696
החשש האמיתי הוא שנבנה מכונות

69
00:03:15,720 --> 00:03:18,076
שמוכשרות כל כך הרבה יותר מאיתנו,

70
00:03:18,076 --> 00:03:21,576
שהסטייה הקטנה ביותר 
בין המטרות שלנו לשלהן

71
00:03:21,600 --> 00:03:22,800
עלולה להשמיד אותנו.

72
00:03:23,960 --> 00:03:26,040
רק תחשבו על היחס שלנו לנמלים.

73
00:03:26,600 --> 00:03:28,256
אנחנו לא שונאים אותן.

74
00:03:28,280 --> 00:03:30,336
אנחנו לא עושים מאמץ מיוחד לפגוע בהן.

75
00:03:30,360 --> 00:03:32,736
למעשה, לפעמים אנחנו מתאמצים
כדי שלא לפגוע בהן.

76
00:03:32,760 --> 00:03:34,776
אנחנו צועדים מעליהן במדרכות.

77
00:03:34,800 --> 00:03:36,936
אבל ברגע שהנוכחות שלהן

78
00:03:36,960 --> 00:03:39,456
נמצאת בקונפליקט רציני עם אחת המטרות שלנו,

79
00:03:39,480 --> 00:03:41,957
למשל כשאנחנו בונים בנין כמו זה,

80
00:03:41,981 --> 00:03:43,941
אנחנו משמידים אותן ללא יסורי מצפון.

81
00:03:44,480 --> 00:03:47,416
החשש הוא שיום אחד אנחנו נבנה מכונות

82
00:03:47,440 --> 00:03:50,176
אשר במודע או שלא,

83
00:03:50,200 --> 00:03:52,200
יוכלו להתייחס אלינו בזלזול דומה.

84
00:03:53,760 --> 00:03:57,290
עכשיו, אני חושד שכל זה
נשמע מופרך עבור רבים מכם.

85
00:03:57,360 --> 00:04:03,696
אני בטוח שיש בכם כאלה הספקנים לגבי האפשרות
להגיע לבינה מלאכותית סופר-אינטליגנטית כזו,

86
00:04:03,720 --> 00:04:05,376
ובוודאי לחשוב שהיא בלתי נמנעת.

87
00:04:05,400 --> 00:04:09,020
אבל אז אתם צריכים למצוא פגם
באחת מהנחות היסוד הבאות.

88
00:04:09,044 --> 00:04:10,616
ויש רק שלוש מהן.

89
00:04:11,800 --> 00:04:16,519
אינטליגנציה היא ענין של עיבוד מידע 
במערכות פיזיות.

90
00:04:17,320 --> 00:04:19,649
למעשה, זו קצת יותר מסתם הנחה.

91
00:04:19,649 --> 00:04:23,416
אנחנו כבר בנינו אינטליגנציה צרה
לתוך המכונות שלנו,

92
00:04:23,440 --> 00:04:25,456
ורבות מהמכונות האלה מתפקדות

93
00:04:25,480 --> 00:04:28,120
ברמות של אינטליגנציה על-אנושית כבר כיום.

94
00:04:28,840 --> 00:04:31,416
ואנחנו יודעים שחומר בלבד

95
00:04:31,440 --> 00:04:34,190
יכול לייצר מה שנקרא "אינטליגנציה כללית",

96
00:04:34,190 --> 00:04:37,736
היכולת לחשוב בצורה גמישה
מעבר לתחומים רבים,

97
00:04:37,760 --> 00:04:40,896
כי המוח שלנו מצליח לעשות זאת. נכון?

98
00:04:40,920 --> 00:04:44,856
הרי יש כאן רק אטומים,

99
00:04:44,880 --> 00:04:49,376
וכל עוד נמשיך לבנות מערכות של אטומים

100
00:04:49,400 --> 00:04:52,096
שמפגינות התנהגות יותר ויותר אינטליגנטית,

101
00:04:52,120 --> 00:04:54,656
בסוף, אלא אם כן יפריעו לנו,

102
00:04:54,680 --> 00:04:58,056
בסוף, נבנה אינטליגנציה כללית

103
00:04:58,080 --> 00:04:59,376
בתוך המכונות שלנו.

104
00:04:59,400 --> 00:05:03,056
זה חיוני להבין שקצב ההתקדמות אינו משנה,

105
00:05:03,080 --> 00:05:06,256
כיוון שכל התקדמות מספיקה
בכדי להביא אותנו לקו הסיום.

106
00:05:06,280 --> 00:05:10,056
אנחנו לא צריכים את חוק מור בשביל להמשיך.
אנחנו לא צריכים התקדמות אקספוננציאלית.

107
00:05:10,080 --> 00:05:11,680
אנחנו רק צריכים להמשיך.

108
00:05:13,480 --> 00:05:16,400
ההנחה השניה היא שאנחנו נמשיך.

109
00:05:17,000 --> 00:05:19,760
אנחנו נמשיך לשפר 
את המכונות האינטליגנטיות שלנו.

110
00:05:21,000 --> 00:05:25,376
ובהתחשב בחשיבות האינטליגנציה –

111
00:05:25,400 --> 00:05:28,936
אינטליגנציה היא המקור של כל מה שיקר לנו

112
00:05:28,960 --> 00:05:31,736
או שאנחנו זקוקים לה בשביל
לשמור על כל מה שיקר לנו.

113
00:05:31,760 --> 00:05:34,016
זהו המשאב הכי יקר שלנו.

114
00:05:34,040 --> 00:05:35,576
אז אנחנו רוצים לעשות את זה.

115
00:05:35,600 --> 00:05:38,936
יש לנו בעיות שאנחנו צריכים לפתור נואשות.

116
00:05:38,960 --> 00:05:42,160
אנחנו רוצים לרפא מחלות כמו אלצהיימר וסרטן.

117
00:05:42,960 --> 00:05:46,896
אנחנו רוצים להבין מערכות כלכליות.
אנחנו רוצים לשפר את מדעי האקלים.

118
00:05:46,920 --> 00:05:49,176
אז אנחנו נעשה זאת, אם נוכל.

119
00:05:49,200 --> 00:05:52,486
הרכבת כבר יצאה מהתחנה,
ואין לה מעצור שנוכל למשוך בו.

120
00:05:53,880 --> 00:05:59,336
לבסוף, אנחנו לא עומדים
בפסגת האינטליגנציה,

121
00:05:59,360 --> 00:06:01,160
או אפילו קרוב אליה, ככל הנראה.

122
00:06:01,640 --> 00:06:03,310
וזו באמת התובנה הקריטית ביותר.

123
00:06:03,310 --> 00:06:05,976
זה מה שהופך את המצב שלנו לכל כך מסוכן,

124
00:06:06,000 --> 00:06:10,040
וזה מה שהופך את האינטואיציות שלנו
לגבי הסיכון לכל כך לא אמינות.

125
00:06:11,120 --> 00:06:13,840
עכשיו, תחשבו על האדם
החכם ביותר שחי אי פעם.

126
00:06:14,640 --> 00:06:18,056
כמעט כולם כאן ישימו את
ג'ון פון נוימן איפשהו בראש הרשימה.

127
00:06:18,080 --> 00:06:21,416
הרושם שפון נוימן עשה על האנשים סביבו,

128
00:06:21,440 --> 00:06:25,496
וזה כולל כמה מהמתמטיקאים
והפיזיקאים הגדולים של זמנו,

129
00:06:25,520 --> 00:06:27,456
מתועד בצורה טובה למדי.

130
00:06:27,480 --> 00:06:31,256
אילו חצי מהסיפורים עליו היו חצי נכונים,

131
00:06:31,280 --> 00:06:32,496
אין ספק בכלל

132
00:06:32,520 --> 00:06:34,976
שהוא אחד האנשים החכמים שחיו עלי אדמות.

133
00:06:35,000 --> 00:06:37,520
אז חשבו על רצף האינטליגנציה.

134
00:06:38,320 --> 00:06:39,749
כאן נמצא ג'ון פון נוימן.

135
00:06:41,560 --> 00:06:42,894
וכאן נמצאים אתם ואני.

136
00:06:44,120 --> 00:06:45,416
ופה יש לנו תרנגולת.

137
00:06:45,440 --> 00:06:47,376
(צחוק)

138
00:06:47,400 --> 00:06:48,616
מצטער – תרנגולת.

139
00:06:48,640 --> 00:06:49,896
(צחוק)

140
00:06:49,920 --> 00:06:52,810
אין סיבה שההרצאה הזו 
תהיה מדכאת יותר מהנדרש.

141
00:06:52,810 --> 00:06:55,280
(צחוק)

142
00:06:56,339 --> 00:06:59,816
אבל סביר מאוד שרצף האינטליגנציה

143
00:06:59,840 --> 00:07:02,960
ממשיך הרבה מעבר למה שאנחנו מכירים כיום,

144
00:07:03,880 --> 00:07:07,096
ושאם נבנה מכונות
שהן יותר אינטליגנטיות מאיתנו,

145
00:07:07,120 --> 00:07:09,416
סביר מאוד שהן יחקרו את הרצף הזה

146
00:07:09,440 --> 00:07:11,296
בדרכים שאיננו יכולים לדמיין,

147
00:07:11,320 --> 00:07:13,840
ולעלות עלינו בדרכים שאיננו יכולים לדמיין.

148
00:07:15,000 --> 00:07:19,336
וחשוב להבין שזה נכון ולו רק בזכות המהירות.

149
00:07:19,360 --> 00:07:24,416
נכון? דמיינו שנבנה בינה מלאכותית 
סופר-אינטליגנטית

150
00:07:24,440 --> 00:07:27,896
שאינה חכמה יותר מצוות ממוצע של חוקרים

151
00:07:27,920 --> 00:07:30,216
בסטנפורד או ב-MIT.

152
00:07:30,240 --> 00:07:34,490
ובכן, מעגלים אלקטרוניים פועלים 
בערך פי מיליון מהר יותר ממעגלים ביוכימיים,

153
00:07:34,520 --> 00:07:37,656
אז המכונה הזו תוכל לחשוב
בערך פי מיליון מהר יותר

154
00:07:37,680 --> 00:07:39,496
מהמוחות שבנו אותה.

155
00:07:39,520 --> 00:07:41,176
אז אתם נותנים לה לרוץ שבוע,

156
00:07:41,200 --> 00:07:46,330
והיא תבצע 20,000 שנות אדם
של עבודה אינטלקטואלית,

157
00:07:46,400 --> 00:07:48,360
שבוע אחרי שבוע אחרי שבוע.

158
00:07:49,640 --> 00:07:53,006
איך נוכל להבין, לא כל שכן להגביל,

159
00:07:53,006 --> 00:07:55,430
מוח שיכול להתקדם כך?

160
00:07:56,840 --> 00:07:59,506
בכנות, הדבר הנוסף שמדאיג,

161
00:07:59,506 --> 00:08:03,976
הוא שאם תדמיינו את התרחיש הטוב ביותר,

162
00:08:04,000 --> 00:08:08,176
דמיינו שפתאום נתקלנו בתכן
של בינה מלאכותית סופר-אינטליגנטית

163
00:08:08,200 --> 00:08:09,816
שאין בו שום דאגות בטיחותיות.

164
00:08:09,816 --> 00:08:12,856
יש לנו את התכן המושלם על הפעם הראשונה.

165
00:08:12,880 --> 00:08:15,096
כאילו שקיבלנו אוֹרַקְל

166
00:08:15,120 --> 00:08:17,136
שמתנהג בדיוק כפי שאנו מצפים.

167
00:08:17,160 --> 00:08:20,880
אז המכונה הזו תהיה 
המכשיר המושלם לחיסכון בעבודה.

168
00:08:21,680 --> 00:08:24,109
היא תוכל לתכנן את המכונה
שתוכל לבנות את המכונה

169
00:08:24,133 --> 00:08:25,896
שתעשה כל עבודה פיזית,

170
00:08:25,920 --> 00:08:27,376
תופעל בכוח השמש,

171
00:08:27,400 --> 00:08:30,096
פחות או יותר במחיר של חומרי הגלם.

172
00:08:30,120 --> 00:08:33,376
אז אנחנו מדברים על סופה
של עבודת הפרך האנושית.

173
00:08:33,400 --> 00:08:36,200
אנחנו מדברים גם על סופה
של רוב העבודה האינטלקטואלית.

174
00:08:37,200 --> 00:08:40,256
אז מה קופים כמונו יעשו בנסיבות שכאלו?

175
00:08:40,280 --> 00:08:44,360
טוב, נהיה חופשיים לשחק פריסבי
ולהעניק אחד לשני עיסויים.

176
00:08:45,840 --> 00:08:48,696
תוסיפו קצת אל.אס.די
ובחירת לבוש מפוקפקת,

177
00:08:48,720 --> 00:08:51,516
וכל העולם יראה כמו אירוע של ברנינג מאן.

178
00:08:51,516 --> 00:08:52,560
(צחוק)

179
00:08:54,320 --> 00:08:56,320
עכשיו, זה אולי נשמע די טוב,

180
00:08:57,280 --> 00:08:59,656
אבל תשאלו את עצמכם מה יקרה

181
00:08:59,680 --> 00:09:02,416
תחת הסדר הכלכלי והפוליטי שלנו היום?

182
00:09:02,440 --> 00:09:04,856
נראה סביר שאנחנו נחזה

183
00:09:04,880 --> 00:09:09,016
ברמות של אי-שויון כלכלי ואבטלה

184
00:09:09,040 --> 00:09:10,536
שלא נצפו קודם לכן מעולם.

185
00:09:10,560 --> 00:09:13,176
ללא רצון להשקיע מיד את כל העושר הזה

186
00:09:13,200 --> 00:09:14,680
לרווחת המין האנושי כולו,

187
00:09:15,640 --> 00:09:19,256
מספר טריליונרים יוכלו לקשט
את השערים של כתבי העת העסקיים

188
00:09:19,280 --> 00:09:21,720
בזמן ששאר העולם יהיה חופשי לרעוב.

189
00:09:22,320 --> 00:09:24,616
ומה הרוסים והסינים יעשו

190
00:09:24,640 --> 00:09:27,256
אם הם ישמעו שחברה כלשהי בעמק הסיליקון

191
00:09:27,280 --> 00:09:30,016
עומדת להשיק בינה מלאכותית 
סופר-אינטליגנטית?

192
00:09:30,040 --> 00:09:32,896
המכונה הזו תוכל לנהל מלחמה,

193
00:09:32,920 --> 00:09:35,136
בין אם ארצית או במרחב הסייבר,

194
00:09:35,160 --> 00:09:36,840
בעוצמה ללא תקדים.

195
00:09:38,120 --> 00:09:39,976
זה תרחיש שבו המנצח לוקח הכל.

196
00:09:40,000 --> 00:09:43,136
להקדים את התחרות הזו בשישה חודשים

197
00:09:43,160 --> 00:09:46,730
משמעו להקדים את העולם ב-500,000 שנה לפחות.

198
00:09:47,480 --> 00:09:52,216
אז נראה שאפילו שמועות על פריצת דרך שכזו

199
00:09:52,240 --> 00:09:54,616
יכולות לגרום למין שלנו להשתגע.

200
00:09:54,640 --> 00:09:57,536
עכשיו, אחד הדברים המפחידים ביותר,

201
00:09:57,560 --> 00:10:00,336
לראות עיני, ברגע הזה,

202
00:10:00,360 --> 00:10:04,656
אלה הדברים שחוקרי בינה מלאכותית אומרים

203
00:10:04,680 --> 00:10:06,240
כשהם רוצים להרגיע אותנו.

204
00:10:07,000 --> 00:10:10,456
והסיבה הנפוצה ביותר שאומרים
לנו שאין סיבה לדאגה היא זמן.

205
00:10:10,480 --> 00:10:12,536
זה עוד רחוק מאוד, אתם יודעים.

206
00:10:12,560 --> 00:10:15,000
זה כנראה רחוק מאיתנו ב-50 או 100 שנים.

207
00:10:15,720 --> 00:10:16,976
חוקר אחד אמר,

208
00:10:17,000 --> 00:10:18,576
"לדאוג מהבטיחות של בינה מלאכותית

209
00:10:18,600 --> 00:10:20,880
"זה כמו לדאוג מצפיפות אוכלוסין על המאדים."

210
00:10:22,116 --> 00:10:23,736
זו הגרסה של עמק הסיליקון

211
00:10:23,760 --> 00:10:26,496
ל"אל תטרידו את עצמכם בזה."

212
00:10:26,496 --> 00:10:27,496
(צחוק)

213
00:10:27,520 --> 00:10:29,416
נראה שאף אחד לא שם לב

214
00:10:29,440 --> 00:10:32,056
שההתייחסות לאופק הזמן

215
00:10:32,080 --> 00:10:34,656
מהווה נון סקוויטר מוחלט.

216
00:10:34,680 --> 00:10:37,936
אם אינטליגנציה היא רק ענין של עיבוד מידע,

217
00:10:37,960 --> 00:10:40,616
ואנחנו ממשיכים לשפר את המכונות שלנו,

218
00:10:40,640 --> 00:10:44,230
אנחנו נייצר סוג כלשהו של סופר-אינטליגנציה.

219
00:10:44,320 --> 00:10:47,976
ואין לנו מושג כמה זמן ייקח לנו

220
00:10:48,000 --> 00:10:50,400
לייצר את התנאים כדי
לעשות זאת באופן בטיחותי.

221
00:10:52,200 --> 00:10:53,496
תרשו לי להגיד את זה שוב.

222
00:10:53,520 --> 00:10:57,336
אין לנו מושג כמה זמן ייקח לנו

223
00:10:57,360 --> 00:11:00,090
לייצר את התנאים כדי
לעשות זאת באופן בטיחותי.

224
00:11:00,920 --> 00:11:04,376
ואם לא שמתם לב,
50 שנה זה לא מה שזה היה פעם.

225
00:11:04,400 --> 00:11:06,856
אלה 50 שנים מחולקים לחודשים.

226
00:11:06,880 --> 00:11:08,720
זו כמות הזמן שיש לנו אייפונים.

227
00:11:09,440 --> 00:11:12,040
זו כמות הזמן ש"הסימפסונים"
משודרים בטלויזיה.

228
00:11:12,680 --> 00:11:15,056
חמישים שנים זה לא הרבה זמן

229
00:11:15,080 --> 00:11:18,240
כדי להתמודד עם אחד האתגרים
הגדולים ביותר שהמין שלנו יתקל בהם.

230
00:11:19,640 --> 00:11:23,656
שוב, נראה שאנחנו לא מצליחים
לייצר את התגובה הרגשית המתאימה

231
00:11:23,680 --> 00:11:26,376
למשהו שאין לנו ספק שהוא מגיע.

232
00:11:26,400 --> 00:11:30,376
למדען המחשבים סטיוארט ראסל
יש אנלוגיה נחמדה בנושא זה.

233
00:11:30,400 --> 00:11:35,296
הוא אמר, דמיינו שקיבלנו מסר
מתרבות חוצנית כלשהי,

234
00:11:35,320 --> 00:11:37,016
שאומר:

235
00:11:37,040 --> 00:11:38,576
"תושבי כדור הארץ,

236
00:11:38,600 --> 00:11:40,960
"אנחנו נגיע לכוכב שלכם בעוד 50 שנים.

237
00:11:41,800 --> 00:11:43,376
תתכוננו."

238
00:11:43,400 --> 00:11:47,656
ועכשיו אנחנו רק סופרים את החודשים
עד שספינת האם תנחת?

239
00:11:47,680 --> 00:11:50,680
אנחנו נרגיש קצת יותר דחיפות
ממה שאנחנו מרגישים היום.

240
00:11:52,680 --> 00:11:54,536
סיבה נוספת שאומרים לנו לא לדאוג

241
00:11:54,560 --> 00:11:57,576
היא שהמכונות הללו
בהכרח יחלֵקו את הערכים שלנו

242
00:11:57,600 --> 00:12:00,216
כי הן יהיו, הלכה למעשה, שלוחות של עצמנו.

243
00:12:00,240 --> 00:12:02,056
הן יושתלו למוחות שלנו,

244
00:12:02,080 --> 00:12:04,440
ואנחנו נהפוך למעשה למערכת הלימבית שלהן.

245
00:12:05,120 --> 00:12:06,536
קחו רגע נוסף בכדי לשקול

246
00:12:06,560 --> 00:12:11,116
אם ההתקדמות הבטוחה והשקולה היחידה המומלצת,

247
00:12:11,120 --> 00:12:13,920
היא להשתיל את הטכנולוגיה הזו
ישירות לתוך המוח שלנו.

248
00:12:14,600 --> 00:12:17,976
עכשיו, זו אולי באמת הדרך
השקולה והבטוחה להתקדם,

249
00:12:18,000 --> 00:12:22,766
אבל מומלץ לטפל היטב בבטיחות טכנולוגיה

250
00:12:22,766 --> 00:12:25,226
לפני שתוקעים אותה לתוך הראש שלכם.

251
00:12:25,226 --> 00:12:26,776
(צחוק)

252
00:12:26,800 --> 00:12:32,136
הבעיה העמוקה יותר היא שבניית 
בינה מלאכותית סופר-אינטליגנטית לבדה

253
00:12:32,160 --> 00:12:33,896
נראית קלה יותר

254
00:12:33,920 --> 00:12:35,776
מבניית בינה מלאכותית סופר-אינטליגנטית

255
00:12:35,800 --> 00:12:37,976
וגם הבנה מלאה במדעי המוח

256
00:12:37,976 --> 00:12:40,740
שתאפשר לנו לשלב באופן מושלם 
אותה עם מוחנו.

257
00:12:40,800 --> 00:12:43,976
ובהתחשב בכך שחברות וממשלות
שעושות את העבודה הזו

258
00:12:44,000 --> 00:12:47,656
כנראה יראו את עצמן במרוץ כנגד כל האחרות,

259
00:12:47,680 --> 00:12:50,936
ובהתחשב שנצחון במרוץ הזה 
משמעותו לזכות בעולם,

260
00:12:50,960 --> 00:12:53,416
בתנאי שלא תהרסו אותו ברגע שאחרי,

261
00:12:53,440 --> 00:12:56,056
אז נראה סביר שמה שקל יותר לעשות

262
00:12:56,080 --> 00:12:57,560
ייעשה קודם.

263
00:12:58,560 --> 00:13:01,416
למרבה הצער, אין לי פתרון לבעיה הזו,

264
00:13:01,440 --> 00:13:03,710
מלבד להמליץ שיותר מאיתנו יחשבו עליה.

265
00:13:03,710 --> 00:13:06,456
אני חושב שאנחנו צריכים משהו
כמו פרויקט מנהטן

266
00:13:06,480 --> 00:13:08,496
לנושא של בינה מלאכותית.

267
00:13:08,520 --> 00:13:11,256
לא כדי לבנות אותה, כי לדעתי 
זה בלתי נמנע שנעשה זאת,

268
00:13:11,280 --> 00:13:14,616
אלא כדי להבין איך נמנעים ממרוץ חימוש

269
00:13:14,640 --> 00:13:18,136
וכדי לבנות אותה באופן שעולה 
בקנה אחד עם האינטרסים שלנו.

270
00:13:18,160 --> 00:13:20,296
כשמדברים על בינה מלאכותית סופר-אינטליגנטית

271
00:13:20,320 --> 00:13:22,576
שיכולה לשנות את עצמה,

272
00:13:22,600 --> 00:13:27,216
נראה שיש לנו רק הזדמנות אחת
ליצור תנאי פתיחה נכונים,

273
00:13:27,240 --> 00:13:29,296
ואפילו אז נצטרך לספוג

274
00:13:29,320 --> 00:13:32,360
את ההשלכות הפוליטיות והכלכליות
שקשורות בכך.

275
00:13:33,760 --> 00:13:35,816
אבל ברגע שנודה בכך

276
00:13:35,840 --> 00:13:39,840
שעיבוד מידע הוא המקור לאינטליגנציה,

277
00:13:40,720 --> 00:13:45,520
שמערכת חישובית מתאימה 
היא הבסיס לאינטליגנציה,

278
00:13:46,360 --> 00:13:50,120
ונקבל שאנחנו נמשיך לשפר
את המערכות האלו ללא הפסקה,

279
00:13:51,280 --> 00:13:55,736
ונקבל שככל הנראה אופק הקוגניציה רחוק בהרבה

280
00:13:55,760 --> 00:13:56,960
מזה שאנו מכירים כיום,

281
00:13:58,120 --> 00:13:59,336
אז עלינו לקבל

282
00:13:59,360 --> 00:14:02,000
שאנחנו בתהליך של בניית אל כלשהו.

283
00:14:03,400 --> 00:14:04,976
ועכשיו יהיה זמן טוב

284
00:14:05,000 --> 00:14:06,953
לוודא שזה אל שנוכל לחיות איתו.

285
00:14:08,120 --> 00:14:09,656
תודה רבה לכם.

286
00:14:09,680 --> 00:14:14,773
(מחיאות כפיים)