WEBVTT

00:00:01.000 --> 00:00:03.216
אני אדבר על כשל באינטואיציה

00:00:03.240 --> 00:00:04.840
שרבים מאיתנו סובלים ממנו.

00:00:05.480 --> 00:00:08.520
זהו למעשה כשל בזיהוי
סכנה מסוג מסויים.

00:00:09.360 --> 00:00:11.096
אני אתאר תרחיש

00:00:11.120 --> 00:00:14.376
שאני חושב שהוא גם מבעית

00:00:14.400 --> 00:00:16.160
וגם סביר שיתרחש,

00:00:16.840 --> 00:00:18.496
וזה לא שילוב טוב,

00:00:18.520 --> 00:00:20.056
כפי שמסתבר.

00:00:20.080 --> 00:00:22.536
ולמרות זאת, במקום לפחד, רובכם תרגישו

00:00:22.560 --> 00:00:24.640
שמה שאני מדבר עליו הוא די מגניב.

NOTE Paragraph

00:00:25.200 --> 00:00:28.176
אני אתאר איך ההתקדמויות שלנו

00:00:28.200 --> 00:00:29.976
בתחום הבינה המלאכותית

00:00:30.000 --> 00:00:31.776
עלולות לבסוף להשמיד אותנו.

00:00:31.800 --> 00:00:34.770
ולמעשה, אני חושב שקשה מאוד
לראות איך הם לא ישמידו אותנו,

00:00:34.770 --> 00:00:36.960
או ימריצו אותנו להשמיד את עצמנו.

00:00:37.400 --> 00:00:39.256
ובכל זאת, אם אתם כמוני,

00:00:39.280 --> 00:00:41.936
אתם תגלו שכיף לחשוב על דברים כאלה.

00:00:41.960 --> 00:00:45.336
והתגובה הזו היא חלק מהבעיה.

00:00:45.360 --> 00:00:47.630
התגובה הזו צריכה להדאיג אתכם.

00:00:47.920 --> 00:00:50.576
אם הייתי צריך לשכנע אתכם בשיחה הזו

00:00:50.600 --> 00:00:54.016
שאנחנו צפויים לסבול מרעב עולמי,

00:00:54.040 --> 00:00:57.096
בגלל שינויי אקלים או קטסטרופה אחרת,

00:00:57.120 --> 00:01:03.156
ושסביר מאוד שהנכדים שלכם, 
או הנכדים שלהם, יחיו כך

00:01:03.200 --> 00:01:04.400
לא הייתם חושבים,

00:01:05.440 --> 00:01:06.776
"מעניין.

00:01:06.800 --> 00:01:08.390
"אני אוהב את ההרצאה הזו."

NOTE Paragraph

00:01:09.200 --> 00:01:10.720
רעב זה לא כיף.

00:01:11.800 --> 00:01:15.176
מוות באמצעות מדע בדיוני,
לעומת זאת, הוא כיף.

00:01:15.200 --> 00:01:18.540
ואחד הדברים שהכי מדאיגים אותי
בנוגע להתפתחות של בינה מלאכותית כיום,

00:01:18.540 --> 00:01:23.296
הוא שאנחנו לא מסוגלים לגייס
את התגובה הרגשית המתאימה

00:01:23.320 --> 00:01:25.136
לסכנות שצפויות לנו.

00:01:25.160 --> 00:01:29.210
אני לא מסוגל לגייס את התגובה הזו,
ואני מעביר את ההרצאה הזו.

NOTE Paragraph

00:01:30.120 --> 00:01:32.816
זה כאילו שאנחנו ניצבים בפני שתי דלתות.

00:01:32.840 --> 00:01:34.096
מאחורי דלת מספר אחת,

00:01:34.120 --> 00:01:37.416
אנחנו מפסיקים להתקדם
בבניית מכונות אינטליגנטיות.

00:01:37.440 --> 00:01:41.456
חומרות ותוכנות המחשב שלנו
מפסיקות להשתפר מסיבה כלשהי.

00:01:41.480 --> 00:01:44.480
עכשיו קחו לעצמכם רגע
לשקול מדוע זה יכול לקרות.

00:01:45.080 --> 00:01:48.736
בהתחשב בערך הרב של
אינטלגינציה ואוטומציה עבורנו,

00:01:48.760 --> 00:01:52.280
אנחנו נמשיך לשפר את הטכנולוגיה,
אם נהיה מסוגלים לכך.

00:01:53.200 --> 00:01:54.867
מה יכול לעצור אותנו מלעשות זאת?

00:01:55.800 --> 00:01:57.600
מלחמה גרעינית כוללת?

00:01:59.000 --> 00:02:00.560
מגיפה כלל-עולמית?

00:02:02.320 --> 00:02:03.640
פגיעת אסטרואיד?

00:02:05.640 --> 00:02:08.216
ג'סטין ביבר ממונה לנשיא ארה"ב?

NOTE Paragraph

00:02:08.240 --> 00:02:10.520
(צחוק)

NOTE Paragraph

00:02:12.760 --> 00:02:17.300
הנקודה היא, משהו יצטרך להשמיד
את הציוויליזציה המוכרת לנו.

00:02:17.360 --> 00:02:21.656
אתם חייבים לדמיין כמה נורא זה צריך להיות

00:02:21.680 --> 00:02:25.016
בכדי למנוע מאיתנו לבצע
שיפורים בטכנולוגיה שלנו

00:02:25.040 --> 00:02:26.256
לתמיד.

00:02:26.280 --> 00:02:28.296
דור אחרי דור.

00:02:28.320 --> 00:02:30.490
כמעט בהגדרה, זהו הדבר הגרוע ביותר

00:02:30.490 --> 00:02:32.496
שאי-פעם קרה בהיסטוריה האנושית.

NOTE Paragraph

00:02:32.520 --> 00:02:33.816
אז האלטרנטיבה היחידה,

00:02:33.840 --> 00:02:36.176
וזה מה שנמצא מאחורי דלת מספר שתיים,

00:02:36.200 --> 00:02:39.336
היא שנמשיך לשפר
את המכונות האינטליגנטיות שלנו

00:02:39.360 --> 00:02:40.960
שנה אחר שנה אחר שנה.

00:02:41.720 --> 00:02:45.360
ובנקודה מסוימת, נבנה מכונות 
שהן חכמות יותר מאיתנו,

00:02:46.080 --> 00:02:48.160
וברגע שיהיו לנו מכונות חכמות מאיתנו,

00:02:48.160 --> 00:02:50.706
הן יתחילו לשפר את עצמן.

00:02:50.720 --> 00:02:53.456
ואז אנחנו מסתכנים במה
שהמתמטיקאי איי. ג'יי. גוד קרא לו

00:02:53.480 --> 00:02:55.256
"התפוצצות אינטליגנציה",

00:02:55.280 --> 00:02:57.280
שהתהליך יכול לצאת משליטתנו.

NOTE Paragraph

00:02:58.120 --> 00:03:00.936
לרוב זה מתואר כפי שנראה פה,

00:03:00.960 --> 00:03:04.176
כפחד מצבאות של רובוטים זדוניים

00:03:04.200 --> 00:03:05.456
שיתקפו אותנו.

00:03:05.480 --> 00:03:08.176
אבל זה לא התרחיש הסביר ביותר.

00:03:08.200 --> 00:03:13.056
זה לא שהמכונות שלנו
יהפכו באופן ספונטני למרושעות.

00:03:13.080 --> 00:03:15.696
החשש האמיתי הוא שנבנה מכונות

00:03:15.720 --> 00:03:18.076
שמוכשרות כל כך הרבה יותר מאיתנו,

00:03:18.076 --> 00:03:21.576
שהסטייה הקטנה ביותר 
בין המטרות שלנו לשלהן

00:03:21.600 --> 00:03:22.800
עלולה להשמיד אותנו.

NOTE Paragraph

00:03:23.960 --> 00:03:26.040
רק תחשבו על היחס שלנו לנמלים.

00:03:26.600 --> 00:03:28.256
אנחנו לא שונאים אותן.

00:03:28.280 --> 00:03:30.336
אנחנו לא עושים מאמץ מיוחד לפגוע בהן.

00:03:30.360 --> 00:03:32.736
למעשה, לפעמים אנחנו מתאמצים
כדי שלא לפגוע בהן.

00:03:32.760 --> 00:03:34.776
אנחנו צועדים מעליהן במדרכות.

00:03:34.800 --> 00:03:36.936
אבל ברגע שהנוכחות שלהן

00:03:36.960 --> 00:03:39.456
נמצאת בקונפליקט רציני עם אחת המטרות שלנו,

00:03:39.480 --> 00:03:41.957
למשל כשאנחנו בונים בנין כמו זה,

00:03:41.981 --> 00:03:43.941
אנחנו משמידים אותן ללא יסורי מצפון.

00:03:44.480 --> 00:03:47.416
החשש הוא שיום אחד אנחנו נבנה מכונות

00:03:47.440 --> 00:03:50.176
אשר במודע או שלא,

00:03:50.200 --> 00:03:52.200
יוכלו להתייחס אלינו בזלזול דומה.

NOTE Paragraph

00:03:53.760 --> 00:03:57.290
עכשיו, אני חושד שכל זה
נשמע מופרך עבור רבים מכם.

00:03:57.360 --> 00:04:03.696
אני בטוח שיש בכם כאלה הספקנים לגבי האפשרות
להגיע לבינה מלאכותית סופר-אינטליגנטית כזו,

00:04:03.720 --> 00:04:05.376
ובוודאי לחשוב שהיא בלתי נמנעת.

00:04:05.400 --> 00:04:09.020
אבל אז אתם צריכים למצוא פגם
באחת מהנחות היסוד הבאות.

00:04:09.044 --> 00:04:10.616
ויש רק שלוש מהן.

NOTE Paragraph

00:04:11.800 --> 00:04:16.519
אינטליגנציה היא ענין של עיבוד מידע 
במערכות פיזיות.

00:04:17.320 --> 00:04:19.649
למעשה, זו קצת יותר מסתם הנחה.

00:04:19.649 --> 00:04:23.416
אנחנו כבר בנינו אינטליגנציה צרה
לתוך המכונות שלנו,

00:04:23.440 --> 00:04:25.456
ורבות מהמכונות האלה מתפקדות

00:04:25.480 --> 00:04:28.120
ברמות של אינטליגנציה על-אנושית כבר כיום.

00:04:28.840 --> 00:04:31.416
ואנחנו יודעים שחומר בלבד

00:04:31.440 --> 00:04:34.190
יכול לייצר מה שנקרא "אינטליגנציה כללית",

00:04:34.190 --> 00:04:37.736
היכולת לחשוב בצורה גמישה
מעבר לתחומים רבים,

00:04:37.760 --> 00:04:40.896
כי המוח שלנו מצליח לעשות זאת. נכון?

00:04:40.920 --> 00:04:44.856
הרי יש כאן רק אטומים,

00:04:44.880 --> 00:04:49.376
וכל עוד נמשיך לבנות מערכות של אטומים

00:04:49.400 --> 00:04:52.096
שמפגינות התנהגות יותר ויותר אינטליגנטית,

00:04:52.120 --> 00:04:54.656
בסוף, אלא אם כן יפריעו לנו,

00:04:54.680 --> 00:04:58.056
בסוף, נבנה אינטליגנציה כללית

00:04:58.080 --> 00:04:59.376
בתוך המכונות שלנו.

NOTE Paragraph

00:04:59.400 --> 00:05:03.056
זה חיוני להבין שקצב ההתקדמות אינו משנה,

00:05:03.080 --> 00:05:06.256
כיוון שכל התקדמות מספיקה
בכדי להביא אותנו לקו הסיום.

00:05:06.280 --> 00:05:10.056
אנחנו לא צריכים את חוק מור בשביל להמשיך.
אנחנו לא צריכים התקדמות אקספוננציאלית.

00:05:10.080 --> 00:05:11.680
אנחנו רק צריכים להמשיך.

NOTE Paragraph

00:05:13.480 --> 00:05:16.400
ההנחה השניה היא שאנחנו נמשיך.

00:05:17.000 --> 00:05:19.760
אנחנו נמשיך לשפר 
את המכונות האינטליגנטיות שלנו.

00:05:21.000 --> 00:05:25.376
ובהתחשב בחשיבות האינטליגנציה –

00:05:25.400 --> 00:05:28.936
אינטליגנציה היא המקור של כל מה שיקר לנו

00:05:28.960 --> 00:05:31.736
או שאנחנו זקוקים לה בשביל
לשמור על כל מה שיקר לנו.

00:05:31.760 --> 00:05:34.016
זהו המשאב הכי יקר שלנו.

00:05:34.040 --> 00:05:35.576
אז אנחנו רוצים לעשות את זה.

00:05:35.600 --> 00:05:38.936
יש לנו בעיות שאנחנו צריכים לפתור נואשות.

00:05:38.960 --> 00:05:42.160
אנחנו רוצים לרפא מחלות כמו אלצהיימר וסרטן.

00:05:42.960 --> 00:05:46.896
אנחנו רוצים להבין מערכות כלכליות.
אנחנו רוצים לשפר את מדעי האקלים.

00:05:46.920 --> 00:05:49.176
אז אנחנו נעשה זאת, אם נוכל.

00:05:49.200 --> 00:05:52.486
הרכבת כבר יצאה מהתחנה,
ואין לה מעצור שנוכל למשוך בו.

NOTE Paragraph

00:05:53.880 --> 00:05:59.336
לבסוף, אנחנו לא עומדים
בפסגת האינטליגנציה,

00:05:59.360 --> 00:06:01.160
או אפילו קרוב אליה, ככל הנראה.

00:06:01.640 --> 00:06:03.310
וזו באמת התובנה הקריטית ביותר.

00:06:03.310 --> 00:06:05.976
זה מה שהופך את המצב שלנו לכל כך מסוכן,

00:06:06.000 --> 00:06:10.040
וזה מה שהופך את האינטואיציות שלנו
לגבי הסיכון לכל כך לא אמינות.

NOTE Paragraph

00:06:11.120 --> 00:06:13.840
עכשיו, תחשבו על האדם
החכם ביותר שחי אי פעם.

00:06:14.640 --> 00:06:18.056
כמעט כולם כאן ישימו את
ג'ון פון נוימן איפשהו בראש הרשימה.

00:06:18.080 --> 00:06:21.416
הרושם שפון נוימן עשה על האנשים סביבו,

00:06:21.440 --> 00:06:25.496
וזה כולל כמה מהמתמטיקאים
והפיזיקאים הגדולים של זמנו,

00:06:25.520 --> 00:06:27.456
מתועד בצורה טובה למדי.

00:06:27.480 --> 00:06:31.256
אילו חצי מהסיפורים עליו היו חצי נכונים,

00:06:31.280 --> 00:06:32.496
אין ספק בכלל

00:06:32.520 --> 00:06:34.976
שהוא אחד האנשים החכמים שחיו עלי אדמות.

00:06:35.000 --> 00:06:37.520
אז חשבו על רצף האינטליגנציה.

00:06:38.320 --> 00:06:39.749
כאן נמצא ג'ון פון נוימן.

00:06:41.560 --> 00:06:42.894
וכאן נמצאים אתם ואני.

00:06:44.120 --> 00:06:45.416
ופה יש לנו תרנגולת.

NOTE Paragraph

00:06:45.440 --> 00:06:47.376
(צחוק)

NOTE Paragraph

00:06:47.400 --> 00:06:48.616
מצטער – תרנגולת.

NOTE Paragraph

00:06:48.640 --> 00:06:49.896
(צחוק)

NOTE Paragraph

00:06:49.920 --> 00:06:52.810
אין סיבה שההרצאה הזו 
תהיה מדכאת יותר מהנדרש.

NOTE Paragraph

00:06:52.810 --> 00:06:55.280
(צחוק)

NOTE Paragraph

00:06:56.339 --> 00:06:59.816
אבל סביר מאוד שרצף האינטליגנציה

00:06:59.840 --> 00:07:02.960
ממשיך הרבה מעבר למה שאנחנו מכירים כיום,

00:07:03.880 --> 00:07:07.096
ושאם נבנה מכונות
שהן יותר אינטליגנטיות מאיתנו,

00:07:07.120 --> 00:07:09.416
סביר מאוד שהן יחקרו את הרצף הזה

00:07:09.440 --> 00:07:11.296
בדרכים שאיננו יכולים לדמיין,

00:07:11.320 --> 00:07:13.840
ולעלות עלינו בדרכים שאיננו יכולים לדמיין.

NOTE Paragraph

00:07:15.000 --> 00:07:19.336
וחשוב להבין שזה נכון ולו רק בזכות המהירות.

00:07:19.360 --> 00:07:24.416
נכון? דמיינו שנבנה בינה מלאכותית 
סופר-אינטליגנטית

00:07:24.440 --> 00:07:27.896
שאינה חכמה יותר מצוות ממוצע של חוקרים

00:07:27.920 --> 00:07:30.216
בסטנפורד או ב-MIT.

00:07:30.240 --> 00:07:34.490
ובכן, מעגלים אלקטרוניים פועלים 
בערך פי מיליון מהר יותר ממעגלים ביוכימיים,

00:07:34.520 --> 00:07:37.656
אז המכונה הזו תוכל לחשוב
בערך פי מיליון מהר יותר

00:07:37.680 --> 00:07:39.496
מהמוחות שבנו אותה.

00:07:39.520 --> 00:07:41.176
אז אתם נותנים לה לרוץ שבוע,

00:07:41.200 --> 00:07:46.330
והיא תבצע 20,000 שנות אדם
של עבודה אינטלקטואלית,

00:07:46.400 --> 00:07:48.360
שבוע אחרי שבוע אחרי שבוע.

00:07:49.640 --> 00:07:53.006
איך נוכל להבין, לא כל שכן להגביל,

00:07:53.006 --> 00:07:55.430
מוח שיכול להתקדם כך?

NOTE Paragraph

00:07:56.840 --> 00:07:59.506
בכנות, הדבר הנוסף שמדאיג,

00:07:59.506 --> 00:08:03.976
הוא שאם תדמיינו את התרחיש הטוב ביותר,

00:08:04.000 --> 00:08:08.176
דמיינו שפתאום נתקלנו בתכן
של בינה מלאכותית סופר-אינטליגנטית

00:08:08.200 --> 00:08:09.816
שאין בו שום דאגות בטיחותיות.

00:08:09.816 --> 00:08:12.856
יש לנו את התכן המושלם על הפעם הראשונה.

00:08:12.880 --> 00:08:15.096
כאילו שקיבלנו אוֹרַקְל

00:08:15.120 --> 00:08:17.136
שמתנהג בדיוק כפי שאנו מצפים.

00:08:17.160 --> 00:08:20.880
אז המכונה הזו תהיה 
המכשיר המושלם לחיסכון בעבודה.

00:08:21.680 --> 00:08:24.109
היא תוכל לתכנן את המכונה
שתוכל לבנות את המכונה

00:08:24.133 --> 00:08:25.896
שתעשה כל עבודה פיזית,

00:08:25.920 --> 00:08:27.376
תופעל בכוח השמש,

00:08:27.400 --> 00:08:30.096
פחות או יותר במחיר של חומרי הגלם.

00:08:30.120 --> 00:08:33.376
אז אנחנו מדברים על סופה
של עבודת הפרך האנושית.

00:08:33.400 --> 00:08:36.200
אנחנו מדברים גם על סופה
של רוב העבודה האינטלקטואלית.

NOTE Paragraph

00:08:37.200 --> 00:08:40.256
אז מה קופים כמונו יעשו בנסיבות שכאלו?

00:08:40.280 --> 00:08:44.360
טוב, נהיה חופשיים לשחק פריסבי
ולהעניק אחד לשני עיסויים.

00:08:45.840 --> 00:08:48.696
תוסיפו קצת אל.אס.די
ובחירת לבוש מפוקפקת,

00:08:48.720 --> 00:08:51.516
וכל העולם יראה כמו אירוע של ברנינג מאן.

NOTE Paragraph

00:08:51.516 --> 00:08:52.560
(צחוק)

NOTE Paragraph

00:08:54.320 --> 00:08:56.320
עכשיו, זה אולי נשמע די טוב,

00:08:57.280 --> 00:08:59.656
אבל תשאלו את עצמכם מה יקרה

00:08:59.680 --> 00:09:02.416
תחת הסדר הכלכלי והפוליטי שלנו היום?

00:09:02.440 --> 00:09:04.856
נראה סביר שאנחנו נחזה

00:09:04.880 --> 00:09:09.016
ברמות של אי-שויון כלכלי ואבטלה

00:09:09.040 --> 00:09:10.536
שלא נצפו קודם לכן מעולם.

00:09:10.560 --> 00:09:13.176
ללא רצון להשקיע מיד את כל העושר הזה

00:09:13.200 --> 00:09:14.680
לרווחת המין האנושי כולו,

00:09:15.640 --> 00:09:19.256
מספר טריליונרים יוכלו לקשט
את השערים של כתבי העת העסקיים

00:09:19.280 --> 00:09:21.720
בזמן ששאר העולם יהיה חופשי לרעוב.

NOTE Paragraph

00:09:22.320 --> 00:09:24.616
ומה הרוסים והסינים יעשו

00:09:24.640 --> 00:09:27.256
אם הם ישמעו שחברה כלשהי בעמק הסיליקון

00:09:27.280 --> 00:09:30.016
עומדת להשיק בינה מלאכותית 
סופר-אינטליגנטית?

00:09:30.040 --> 00:09:32.896
המכונה הזו תוכל לנהל מלחמה,

00:09:32.920 --> 00:09:35.136
בין אם ארצית או במרחב הסייבר,

00:09:35.160 --> 00:09:36.840
בעוצמה ללא תקדים.

00:09:38.120 --> 00:09:39.976
זה תרחיש שבו המנצח לוקח הכל.

00:09:40.000 --> 00:09:43.136
להקדים את התחרות הזו בשישה חודשים

00:09:43.160 --> 00:09:46.730
משמעו להקדים את העולם ב-500,000 שנה לפחות.

NOTE Paragraph

00:09:47.480 --> 00:09:52.216
אז נראה שאפילו שמועות על פריצת דרך שכזו

00:09:52.240 --> 00:09:54.616
יכולות לגרום למין שלנו להשתגע.

NOTE Paragraph

00:09:54.640 --> 00:09:57.536
עכשיו, אחד הדברים המפחידים ביותר,

00:09:57.560 --> 00:10:00.336
לראות עיני, ברגע הזה,

00:10:00.360 --> 00:10:04.656
אלה הדברים שחוקרי בינה מלאכותית אומרים

00:10:04.680 --> 00:10:06.240
כשהם רוצים להרגיע אותנו.

00:10:07.000 --> 00:10:10.456
והסיבה הנפוצה ביותר שאומרים
לנו שאין סיבה לדאגה היא זמן.

00:10:10.480 --> 00:10:12.536
זה עוד רחוק מאוד, אתם יודעים.

00:10:12.560 --> 00:10:15.000
זה כנראה רחוק מאיתנו ב-50 או 100 שנים.

00:10:15.720 --> 00:10:16.976
חוקר אחד אמר,

00:10:17.000 --> 00:10:18.576
"לדאוג מהבטיחות של בינה מלאכותית

00:10:18.600 --> 00:10:20.880
"זה כמו לדאוג מצפיפות אוכלוסין על המאדים."

00:10:22.116 --> 00:10:23.736
זו הגרסה של עמק הסיליקון

00:10:23.760 --> 00:10:26.496
ל"אל תטרידו את עצמכם בזה."

NOTE Paragraph

00:10:26.496 --> 00:10:27.496
(צחוק)

NOTE Paragraph

00:10:27.520 --> 00:10:29.416
נראה שאף אחד לא שם לב

00:10:29.440 --> 00:10:32.056
שההתייחסות לאופק הזמן

00:10:32.080 --> 00:10:34.656
מהווה נון סקוויטר מוחלט.

00:10:34.680 --> 00:10:37.936
אם אינטליגנציה היא רק ענין של עיבוד מידע,

00:10:37.960 --> 00:10:40.616
ואנחנו ממשיכים לשפר את המכונות שלנו,

00:10:40.640 --> 00:10:44.230
אנחנו נייצר סוג כלשהו של סופר-אינטליגנציה.

00:10:44.320 --> 00:10:47.976
ואין לנו מושג כמה זמן ייקח לנו

00:10:48.000 --> 00:10:50.400
לייצר את התנאים כדי
לעשות זאת באופן בטיחותי.

00:10:52.200 --> 00:10:53.496
תרשו לי להגיד את זה שוב.

00:10:53.520 --> 00:10:57.336
אין לנו מושג כמה זמן ייקח לנו

00:10:57.360 --> 00:11:00.090
לייצר את התנאים כדי
לעשות זאת באופן בטיחותי.

NOTE Paragraph

00:11:00.920 --> 00:11:04.376
ואם לא שמתם לב,
50 שנה זה לא מה שזה היה פעם.

00:11:04.400 --> 00:11:06.856
אלה 50 שנים מחולקים לחודשים.

00:11:06.880 --> 00:11:08.720
זו כמות הזמן שיש לנו אייפונים.

00:11:09.440 --> 00:11:12.040
זו כמות הזמן ש"הסימפסונים"
משודרים בטלויזיה.

00:11:12.680 --> 00:11:15.056
חמישים שנים זה לא הרבה זמן

00:11:15.080 --> 00:11:18.240
כדי להתמודד עם אחד האתגרים
הגדולים ביותר שהמין שלנו יתקל בהם.

00:11:19.640 --> 00:11:23.656
שוב, נראה שאנחנו לא מצליחים
לייצר את התגובה הרגשית המתאימה

00:11:23.680 --> 00:11:26.376
למשהו שאין לנו ספק שהוא מגיע.

NOTE Paragraph

00:11:26.400 --> 00:11:30.376
למדען המחשבים סטיוארט ראסל
יש אנלוגיה נחמדה בנושא זה.

00:11:30.400 --> 00:11:35.296
הוא אמר, דמיינו שקיבלנו מסר
מתרבות חוצנית כלשהי,

00:11:35.320 --> 00:11:37.016
שאומר:

00:11:37.040 --> 00:11:38.576
"תושבי כדור הארץ,

00:11:38.600 --> 00:11:40.960
"אנחנו נגיע לכוכב שלכם בעוד 50 שנים.

00:11:41.800 --> 00:11:43.376
תתכוננו."

00:11:43.400 --> 00:11:47.656
ועכשיו אנחנו רק סופרים את החודשים
עד שספינת האם תנחת?

00:11:47.680 --> 00:11:50.680
אנחנו נרגיש קצת יותר דחיפות
ממה שאנחנו מרגישים היום.

NOTE Paragraph

00:11:52.680 --> 00:11:54.536
סיבה נוספת שאומרים לנו לא לדאוג

00:11:54.560 --> 00:11:57.576
היא שהמכונות הללו
בהכרח יחלֵקו את הערכים שלנו

00:11:57.600 --> 00:12:00.216
כי הן יהיו, הלכה למעשה, שלוחות של עצמנו.

00:12:00.240 --> 00:12:02.056
הן יושתלו למוחות שלנו,

00:12:02.080 --> 00:12:04.440
ואנחנו נהפוך למעשה למערכת הלימבית שלהן.

00:12:05.120 --> 00:12:06.536
קחו רגע נוסף בכדי לשקול

00:12:06.560 --> 00:12:11.116
אם ההתקדמות הבטוחה והשקולה היחידה המומלצת,

00:12:11.120 --> 00:12:13.920
היא להשתיל את הטכנולוגיה הזו
ישירות לתוך המוח שלנו.

00:12:14.600 --> 00:12:17.976
עכשיו, זו אולי באמת הדרך
השקולה והבטוחה להתקדם,

00:12:18.000 --> 00:12:22.766
אבל מומלץ לטפל היטב בבטיחות טכנולוגיה

00:12:22.766 --> 00:12:25.226
לפני שתוקעים אותה לתוך הראש שלכם.

NOTE Paragraph

00:12:25.226 --> 00:12:26.776
(צחוק)

NOTE Paragraph

00:12:26.800 --> 00:12:32.136
הבעיה העמוקה יותר היא שבניית 
בינה מלאכותית סופר-אינטליגנטית לבדה

00:12:32.160 --> 00:12:33.896
נראית קלה יותר

00:12:33.920 --> 00:12:35.776
מבניית בינה מלאכותית סופר-אינטליגנטית

00:12:35.800 --> 00:12:37.976
וגם הבנה מלאה במדעי המוח

00:12:37.976 --> 00:12:40.740
שתאפשר לנו לשלב באופן מושלם 
אותה עם מוחנו.

00:12:40.800 --> 00:12:43.976
ובהתחשב בכך שחברות וממשלות
שעושות את העבודה הזו

00:12:44.000 --> 00:12:47.656
כנראה יראו את עצמן במרוץ כנגד כל האחרות,

00:12:47.680 --> 00:12:50.936
ובהתחשב שנצחון במרוץ הזה 
משמעותו לזכות בעולם,

00:12:50.960 --> 00:12:53.416
בתנאי שלא תהרסו אותו ברגע שאחרי,

00:12:53.440 --> 00:12:56.056
אז נראה סביר שמה שקל יותר לעשות

00:12:56.080 --> 00:12:57.560
ייעשה קודם.

NOTE Paragraph

00:12:58.560 --> 00:13:01.416
למרבה הצער, אין לי פתרון לבעיה הזו,

00:13:01.440 --> 00:13:03.710
מלבד להמליץ שיותר מאיתנו יחשבו עליה.

00:13:03.710 --> 00:13:06.456
אני חושב שאנחנו צריכים משהו
כמו פרויקט מנהטן

00:13:06.480 --> 00:13:08.496
לנושא של בינה מלאכותית.

00:13:08.520 --> 00:13:11.256
לא כדי לבנות אותה, כי לדעתי 
זה בלתי נמנע שנעשה זאת,

00:13:11.280 --> 00:13:14.616
אלא כדי להבין איך נמנעים ממרוץ חימוש

00:13:14.640 --> 00:13:18.136
וכדי לבנות אותה באופן שעולה 
בקנה אחד עם האינטרסים שלנו.

00:13:18.160 --> 00:13:20.296
כשמדברים על בינה מלאכותית סופר-אינטליגנטית

00:13:20.320 --> 00:13:22.576
שיכולה לשנות את עצמה,

00:13:22.600 --> 00:13:27.216
נראה שיש לנו רק הזדמנות אחת
ליצור תנאי פתיחה נכונים,

00:13:27.240 --> 00:13:29.296
ואפילו אז נצטרך לספוג

00:13:29.320 --> 00:13:32.360
את ההשלכות הפוליטיות והכלכליות
שקשורות בכך.

NOTE Paragraph

00:13:33.760 --> 00:13:35.816
אבל ברגע שנודה בכך

00:13:35.840 --> 00:13:39.840
שעיבוד מידע הוא המקור לאינטליגנציה,

00:13:40.720 --> 00:13:45.520
שמערכת חישובית מתאימה 
היא הבסיס לאינטליגנציה,

00:13:46.360 --> 00:13:50.120
ונקבל שאנחנו נמשיך לשפר
את המערכות האלו ללא הפסקה,

00:13:51.280 --> 00:13:55.736
ונקבל שככל הנראה אופק הקוגניציה רחוק בהרבה

00:13:55.760 --> 00:13:56.960
מזה שאנו מכירים כיום,

00:13:58.120 --> 00:13:59.336
אז עלינו לקבל

00:13:59.360 --> 00:14:02.000
שאנחנו בתהליך של בניית אל כלשהו.

00:14:03.400 --> 00:14:04.976
ועכשיו יהיה זמן טוב

00:14:05.000 --> 00:14:06.953
לוודא שזה אל שנוכל לחיות איתו.

NOTE Paragraph

00:14:08.120 --> 00:14:09.656
תודה רבה לכם.

NOTE Paragraph

00:14:09.680 --> 00:14:14.773
(מחיאות כפיים)