אני אדבר על כשל באינטואיציה
שרבים מאיתנו סובלים ממנו.
זהו למעשה כשל בזיהוי סכנה מסוג מסויים.
אני אתאר תרחיש
שאני חושב שהוא גם מבעית
וגם סביר שיתרחש,
וזה לא שילוב טוב,
כפי שמסתבר.
ולמרות זאת, במקום להיות מפוחדים, רבים מכם ירגישו
שמה שאני מדבר עליו הוא די מגניב.
אני אתאר איך ההתקדמויות שלנו
בתחום הבינה המלאכותית
עלולות לבסוף להשמיד אותנו.
ולמעשה, אני חושב שקשה מאוד לראות איך הם לא ישמידו אותנו
או ימריצו אותנו להשמיד את עצמנו.
ובכל זאת, אם אתם כמוני,
אתם תגלו שכיף לחשוב על דברים כאלה.
והתגובה הזו היא חלק מהבעיה.
התגובה הזו צריכה להדאיג אתכם.
אם הייתי צריך לשכנע אתכם בשיחה הזו
שאנחנו צפויים לסבול מרעב עולמי,
בגלל שינויי אקלים או קטסטרופה אחרת,
ושסביר מאוד שהנכדים שלכם, או הנכדים שלהם, יחיו כך
לא הייתם חושבים,
"מעניין.
"אני אוהב את ההרצאה הזו."
רעב זה לא כיף.
מוות באמצעות מדע בדיוני, לעומת זאת, הוא כיף,
ואחד הדברים שהכי מדאיגים אותי בנוגע להתפתחות של בינה מלאכותית כיום,
הוא שאנחנו לא מסוגלים לגייס את התגובה הרגשית המתאימה
לסכנות שצפויות לנו.
אני לא מסוגל לגייס את התגובה הזו, ואני מעביר את ההרצאה הזו.
זה כאילו שאנחנו ניצבים בפני שתי דלתות.
מאחורי דלת מספר אחת,
אנחנו מפסיקים להתקדם בבניית מכונות אינטליגנטיות.
חומרות ותוכנות המחשב שלנו פשוט מפסיקות להשתפר מסיבה כלשהי.
עכשיו קחו לעצמכם רגע לשקול מדוע זה יכול לקרות.
כלומר, בהתחשב בערך הרב של אינטלגינציה ואוטומציה עבורנו,
אנחנו נמשיך לשפר את הטכנולוגיה, אם נהיה מסוגלים לכך.
מה יכול לעצור אותנו מלעשות זאת?
מלחמה גרעינית כוללת?
מגיפה כלל-עולמית?
פגיעת אסטרואיד?
ג'סטין ביבר ממונה לנשיא ארה"ב?
(צחוק)
הנקודה היא, משהו יצטרך להשמיד את הציוויליזציה כפי שאנחנו מכירים אותה.
אתם צריכים לדמיין כמה נורא זה צריך להיות
בשביל למנוע מאיתנו לבצע שיפורים בטכנולוגיה שלנו
לתמיד,
דור אחרי דור.
כמעט בהגדרה, זהו הדבר הגרוע ביותר
שאי-פעם קרה בהיסטוריה האנושית.
אז האלטרנטיבה היחידה,
וזה מה שנמצא מאחורי דלת מספר שתיים,
היא שאנחנו נמשיך לשפר את המכונות האינטליגנטיות שלנו
שנה אחר שנה אחר שנה.
ובנקודה מסוימת, אנחנו נבנה מכונות שהן חכמות יותר מאיתנו,
וברגע שיהיו לנו מכונות חכמות מאיתנו,
הן יתחילו לשפר את עצמן.
ואז אנחנו מסתכנים במה שהמתמטיקאי איי. ג'יי. גוד קרא לו
"התפוצצות אינטליגנציה",
שהתהליך יכול לצאת משליטתנו.
עכשיו, לרוב זה מתואר, כפי שנראה פה,
כפחד מצבאות של רובוטים זדוניים
שיתקפו אותנו.
אבל זה לא התרחיש הסביר.
זה לא שהמכונות שלנו יהפכו באופן ספוטני למרושעות.
החשש האמיתי הוא שנבנה מכונות
שמוכשרות כל כך הרבה יותר מאיתנו,
שהסטייה הקטנה ביותר בין המטרות שלנו לשלהן
עלולה להשמיד אותנו.
רק תחשבו על היחס שלנו לנמלים.
אנחנו לא שונאים אותן.
אנחנו לא עושים מאמץ מיוחד לפגוע בהן.
למעשה, לפעמים, אנחנו מתאמצים כדי שלא לפגוע בהן.
אנחנו צועדים מעליהן במדרכות.
אבל ברגע שהנוכחות שלהן
נמצאת בקונפליקט רציני עם המטרות שלנו,
למשל כאשר אנחנו בונים בנין כמו זה,
אנחנו משמידים אותן ללא יסורי מצפון.
החשש הוא שיום אחד אנחנו נבנה מכונות
אשר, בין אם במודע ובין אם לא,
יוכלו להתייחס אלינו בזלזול דומה.
עכשיו, אני חושד שכל זה נראה רחוק מהמציאות עבור רבים מכם.
אני בטוח שיש בכם כאלה הספקנים לגבי האפשרות להגיע לבינה מלאכותית סופר-אינטליגנטית כזו,
ובוודאי לחשוב שהיא בלתי נמנעת.
אבל אז אתם צריכים למצוא פגם באחת מהנחות היסוד הבאות.
ויש רק שלוש מהן.
אינטליגנציה היא ענין של עיבוד מידע במערכות פיזיות.
למעשה, זו קצת יותר מסתם הנחה.
אנחנו כבר בנינו אינטליגנציה צרה לתוך המכונות שלנו,
ורבות מהמכונות האלה מתפקדות
ברמות של אינטליגנציה על-אנושית כבר כיום.
ואנחנו יודעים שחומר בלבד
יכול לייצר מה שנקרא "אינטליגנציה כללית",
היכולת לחשוב בצורה גמישה מעבר לתחומים רבים,
כי המוח שלנו מצליח לעשות זאת. נכון?
הרי יש כאן רק אטומים,
וכל עוד נמשיך לבנות מערכות של אטומים
שמפגינות התנהגות יותר ויותר אינטליגנטית,
בסוף, אלא אם כן יפריעו לנו,
בסוף, נבנה אינטליגנציה כללית
בתוך המכונות שלנו.
זה חיוני להבין שקצב ההתקדמות אינו משנה,
כיוון שכל התקדמות מספיקה בכדי להביא אותנו לקו הסיום.
אנחנו לא צריכים את חוק מור בשביל להמשיך. אנחנו לא צריכים התקדמות אקספוננציאלית.
אנחנו רק צריכים להמשיך.
ההנחה השניה היא שאנחנו נמשיך.
אנחנו נמשיך לשפר את המכונות האינטליגנטיות שלנו.
ובהתחשב בחשיבות האינטליגנציה –
אינטליגנציה היא המקור של כל מה שיקר לנו
או שאנחנו זקוקים לה בשביל לשמור על כל מה שיקר לנו.
זהו המשאב הכי יקר שלנו.
אז אנחנו רוצים לעשות את זה.
יש לנו בעיות שאנחנו צריכים לפתור נואשות.
אנחנו רוצים לרפא מחלות כמו אלצהיימר וסרטן.
אנחנו רוצים להבין מערכות כלכליות. אנחנו רוצים לשפר את מדעי האקלים.
אז אנחנו נעשה זאת, אם נוכל.
הרכבת כבר יצאה מהתחנה, ואין לה מעצור שנוכל למשוך בו.
לבסוף, אנחנו לא עומדים בפסגת האינטליגנציה,
או אפילו קרוב אליה, ככל הנראה.
וזו באמת התובנה הקריטית ביותר.
זה מה שהופך את המצב שלנו לכל כך מסוכן,
וזה מה שהופך את האינטואיציות שלנו לגבי הסיכון לכל כך לא אמינות.
עכשיו, תחשבו על האדם החכם ביותר שחי אי פעם.
כמעט כולם כאן ישימו את ג'ון פון נוימן איפשהו בראש הרשימה.
הרושם שפון נוימן עשה על האנשים סביבו,
וזה כולל כמה מהמתמטיקאים והפיזיקאים הגדולים של זמנו,
מתועד בצורה טובה למדי.
אילו חצי מהסיפורים עליו היו חצי נכונים,
אין ספק בכלל
שהוא אחד האנשים החכמים שחיו עלי אדמות.
אז חשבו על רצף האינטליגנציה.
כאן נמצא ג'ון פון נוימן.
וכאן נמצאים אתם ואני.
ופה יש לנו תרנגולת.
(צחוק)
מצטער, תרנגולת.
(צחוק)
אין סיבה שההרצאה הזו תהיה מדכאת יותר מהנדרש.
(צחוק)
אבל סביר מאוד שרצף האינטליגנציה
ממשיך הרבה מעבר למה שאנחנו מכירים כיום,
ושאם אנחנו נבנה מכונות שהן יותר אינטליגנטיות מאיתנו,
סביר מאוד שהן יחקרו את הרצף הזה
בדרכים שאיננו יכולים לדמיין,
ולעלות עלינו בדרכים שאיננו יכולים לדמיין.
וחשוב להבין שזה נכון ולו רק בזכות המהירות.
נכון? עכשיו דמיינו שאנחנו נבנה בינה מלאכותית סופר-אינטליגנטית
שאינה חכמה יותר מצוות ממוצע של חוקרים
בסטנפורד או ב-MIT.
טוב, מעגלים אלקטרוניים מתפקדים כמיליון פעמים מהר יותר
ממעגלים ביוכימיים,
אז המכונה הזו תוכל לחשוב בערך פי מיליון מהר יותר
מאשר המוחות שבנו אותה.
אז אתם נותנים לה לרוץ שבוע,
והיא תבצע 20,000 שנות אדם של עבודה אינטלקטואלית,
שבוע אחרי שבוע אחרי שבוע.
איך נוכל להבין, לא כל שכן להגביל,
מוח שיכול להתקדם כך?
בכנות, הדבר הנוסף שמדאיג,
הוא שאם תדמיינו את התרחיש הטוב ביותר,
דמיינו שפתאום נתקלנו בתכן של בינה מלאכותית סופר-אינטליגנטית
שאין בו שום דאגות בטיחותיות.
יש לנו את התכן המושלם על הפעם הראשונה.
זה כאילו שקיבלנו אוֹרַקְל
שמתנהג בדיוק כפי שאנו מצפים.
אז המכונה הזו תהיה המכשיר המושלם לחיסכון בעבודה.
היא תוכל לתכנן את המכונה שתוכל לבנות את המכונה
שתעשה כל עבודה פיזית,
תופעל בכוח השמש,
פחות או יותר במחיר של חומרי הגלם.
אז אנחנו מדברים על סופה של עבודת הפרך האנושית.
אנחנו מדברים גם על סופה של רוב העבודה האינטלקטואלית.
אז מה קופים כמונו יעשו בנסיבות שכאלו?
טוב, אנחנו נהיה חופשיים לשחק מטקות ולהעניק אחד לשני עיסויים.
תוסיפו קצת אל.אס.די ובחירת לבוש מפוקפקת,
וכל העולם יראה כמו אירוע של ברנינג מאן.
(צחוק)
עכשיו, זה אולי נשמע די טוב,
אבל תשאלו את עצמכם מה יקרה
תחת הסדר הכלכלי והפוליטי שלנו היום?
נראה סביר שאנחנו נחזה
ברמות של אי-שויון כלכלי ואבטלה
שלא נצפו קודם לכן מעולם.
ללא רצון להשקיע מיד את כל העושר הזה
לרווחת המין האנושי כולו,
מספר טריליונרים יוכלו לקשט את השערים של כתבי העת העסקיים
בזמן ששאר העולם יהיה חופשי לרעוב.
ומה הרוסים והסינים יעשו
אם הם ישמעו שחברה כלשהי בעמק הסיליקון
עומדת להשיק בינה מלאכותית סופר-אינטליגנטית?
המכונה הזו תוכל לנהל מלחמה,
בין אם ארצית או במרחב הסייבר,
בעוצמה ללא תקדים.
זה תרחיש שבו המנצח לוקח הכל.
להקדים את התחרות הזו בשישה חודשים
משמעו להקדים את העולם ב-500,000 שנה לפחות.
אז נראה שאפילו שמועות על פריצת דרך שכזו
יכולות לגרום למין שלנו להשתגע.
עכשיו, אחד הדברים המפחידים ביותר,
לראות עיני, ברגע הזה,
אלה הדברים שחוקרי בינה מלאכותית אומרים
כשהם רוצים להרגיע אותנו.
והסיבה הנפוצה ביותר שאומרים לנו שאין סיבה לדאגה היא זמן.
זה הכל עוד רחוק מאוד, אתם יודעים.
זה כנראה רחוק מאיתנו ב-50 או 100 שנים.
חוקר אחד אמר,
"לדאוג מהבטיחות של בינה מלאכותית
"זה כמו לדאוג מצפיפות אוכלוסין על המאדים."
זו הגרסה של עמק הסיליקון
ל"אל תטרידו את עצמכם בזה."
(צחוק)
נראה שאף אחד לא שם לב
שההתייחסות לאופק הזמן
מהווה כשל לוגי מוחלט.
אם אינטליגנציה היא רק ענין של עיבוד מידע,
ואנחנו ממשיכים לשפר את המכונות שלנו,
אנחנו נייצר סוג כלשהו של סופר-אינטליגנציה.
ואין לנו מושג כמה זמן ייקח לנו
לייצר את התנאים כדי לעשות זאת באופן בטיחותי.
תרשו לי להגיד את זה שוב.
אין לנו מושג כמה זמן ייקח לנו
לייצר את התנאים כדי לעשות זאת באופן בטיחותי.
ואם לא שמתם לב, 50 שנה זה לא מה שזה היה פעם.
אלה 50 שנים מחולקים לחודשים.
זו כמות הזמן שיש לנו אייפונים.
זו כמות הזמן ש"הסימפסונים" משודרים בטלויזיה.
חמישים שנים זה לא הרבה זמן
כדי להתמודד עם אחד האתגרים הגדולים ביותר שהמין שלנו יתקל בהם.
שוב, נראה שאנחנו לא מצליחים לייצר את התגובה הרגשית המתאימה
למשהו שאין לנו ספק שהוא מגיע.
למדען המחשבים סטיוארט ראסל יש אנלוגיה נחמדה בנושא זה.
הוא אמר, דמיינו שאנחנו נקבל מסר מתרבות חוצנית כלשהי,
שאומר:
"תושבי כדור הארץ,
אנחנו נגיע לכוכב שלכם בעוד 50 שנים.
תתכוננו."
ועכשיו אנחנו רק סופרים את החודשים עד שספינת האם תנחת?
אנחנו נרגיש קצת יותר דחיפות ממה שאנחנו מרגישים היום.
סיבה נוספת שאומרים לנו לא לדאוג
היא שהמכונות הללו בהכרח יחלקו את הערכים שלנו
מכיוון שהן יהיו, הלכה למעשה, שלוחות של עצמנו.
הם יהיו מושתלים לתוך המוחות שלנו,
ואנחנו נהפוך למעשה למערכת הלימבית שלהן.
קחו רגע נוסף בכדי לשקול
שהדרך הבטוחה ביותר, והיחידה שהיא שקולה, קדימה,
המומלצת,
היא להשתיל את הטכנולוגיה הזו ישירות לתוך המוח שלנו.
עכשיו, זו אולי באמת הדרך השקולה והבטוחה קדימה,
אבל לרוב שיקולי הבטיחות בנוגע לטכנולוגיה
צריכים להיות די מטופלים לפני שאתם תוקעים אותה לתוך הראש שלכם.
(צחוק)
הבעיה העמוקה יותר היא שבניית בינה מלאכותית סופר-אינטליגנטית בפני עצמה
נראית קלה יותר
מבניית בינה מלאכותית סופר-אינטליגנטית
בנוסף ליכולת המלאה במדעי המוח
בכדי לאפשר לנו לבצע שילוב מושלם של המוח שלנו איתה.
ובהתחשב בכך שחברות וממשלות שעושות את העבודה הזו
כנראה יראו את עצמן במרוץ כנגד כל האחרות,
ובהתחשב שנצחון במרוץ הזה משמעותו לזכות בעולם,
בתנאי שאתם לא תהרסו אותו ברגע שאחרי,
אז נראה סביר שמה שקל יותר לעשות
ייעשה קודם.
עכשיו, למרבה הצער, אין לי פתרון לבעיה הזו,
מלבד להמליץ שיותר מאיתנו יחשבו עליה.
אני חושב שאנחנו צריכים משהו כמו פרויקט מנהטן
לנושא של בינה מלאכותית.
לא בכדי לבנות אותה, כי אני חושב שבלתי נמנע שנעשה זאת,
אלא בכדי להבין איך נמנעים ממרוץ חימוש
ובכדי לבנות אותה באופן שעולה בקנה אחד עם האינטרסים שלנו.
כאשר אנחנו מדברים על בינה מלאכותית סופר-אינטליגנטית
שיכולה לעשות שינויים בעצמה,
נראה שיש לנו רק הזדמנות אחת לייצר את תנאי הפתיחה נכון,
ואפילו אז אנחנו נצטרך לספוג
את ההשלכות הפוליטיות והכלכליות שקשורות בלייצר אותן נכון.
אבל ברגע שאנחנו נודה בכך
שעיבוד מידע הוא המקור לאינטליגנציה,
שמערכת חישובית מתאימה היא הבסיס למה שאינטליגנציה מייצגת,
ואנחנו מקבלים שאנחנו נמשיך לשפר את המערכות האלו ללא הפסקה,
ואנחנו מקבלים שהאופק של ההכרה סביר מאוד שעובר בהרבה
את מה שאנחנו יודעים כיום,
אז עלינו לקבל
שאנחנו בתהליך של בניית סוג כלשהו של אל.
ועכשיו יהיה זמן טוב
לוודא שזה אל שאנחנו יכולים לחיות איתו.
תודה רבה לכם.
(מחיאות כפיים)