אני עובד עם חבורה
של מתמטיקאים, פילוסופים ומדעני מחשב.
ואנחנו יושבים וחושבים
על העתיד של אינטיליגנצית מכונות,
בין דברים אחרים.
כמה אנשים חושבים שכמה מהדברים האלה
הם סוג של מדע בדיוני,
רחוקים מאוד, משוגעים.
אבל אני אוהב לומר,
אוקיי, בואו נביט במצב האנושי המודרני.
(צחוק)
זאת הדרך הנורמלית של הדברים.
אבל אם נחשוב על זה,
אנחנו למעשה אורחים
שהגיעו לאחרונה לפלנטה הזו,
המין האנושי.
חשבו על אם כדור הארץ היה נוצר לפני שנה,
המין האנושי, אז, היה בן 10 דקות.
המהפכה התעשייתית התחילה לפני שתי שניות.
דרך נוספת להביט בזה היא לחשוב על התוצר
הלאומי הגולמי ב 10,000 השנים האחרונות,
אני למעשה טרחתי לצייר את זה
על גרף בשבילכם.
זה נראה כך.
(צחוק)
זו צורה מוזרה למצב נורמלי.
אני מאוד לא הייתי רוצה לשבת על זה.
(צחוק)
בואו נשאל את עצמנו,
מהי הסיבה לאנומליה הנוכחית?
כמה אנשים היו אומרים שזו טכנולוגיה.
עכשיו זה נכון, הטכנולוגיה הצטברה
במהלך ההסטוריה האנושית,
וממש עכשיו, ההתקדמות הטכנולוגית
היא ממש מהירה --
זו הסיבה המשוערת,
לכן אנחנו כל כך פרודוקטיביים עכשיו.
אבל אני רוצה לחשוב אחורה יותר
לסיבה האולטימטיבית.
הביטו בשני האדונים המאוד נבדלים האלה:
יש לנו את קנזי --
הוא שולט ב 200 מונחים לשוניים,
מטלה מדהימה.
ואד וויטן שיחרר את מהפכת מיתרי העל השניה.
אם נביט מתחת למכסה המנוע, זה מה שנמצא:
בעיקרון אותו הדבר.
אחד גדול מעט יותר,
אולי יש לו גם כמה טריקים
בצורה בה הוא מחווט.
ההבדלים הבלתי נראים לא יכולים
להיות כל כך מסובכים, עם זאת,
מפני שיש הבדל של 250,000 דורות בלבד
מאז האב המשותף שלנו.
אנחנו יודעים שלמנגנונים מורכבים
לוקח זמן רב להתפתח.
אז כמה שינויים יחסית קטנים
לוקחים אותנו מקנזי לוויטן,
מענפים שבורים לטילים בין יבשתיים.
אז זה נראה די ברור שכל מה שהשגנו,
וכל מה שחשוב לנו,
תלוי קריטית בשינויים יחסית מינוריים
שיצרו את המוח האנושי.
והמקביל לזה, כמובן, זה שכל שינוים עתידיים
שיכולים להשפיע משמעותית
על התשתית של החשיבה
יכולים פוטנציאלית להיות
בעלי תוצאות עצומות.
כמה מעמיתי חושבים שאנחנו על סף
משהו שיוכל לגרום לשינוי משמעותי בתשתית,
ושהדבר זה הוא בינת על של מכונות.
בינה מלאכותית היתה לשים פקודות במכונה.
הייתם צריכים מתכנתים אנושיים
שיבנו בעבודה קשה את פריטי הידע.
אתם בונים את המערכות המתמחות האלו,
והן סוג של יעילות למטרות מסויימות,
אבל הן היו מאוד שבירות,
לא יכולתם להגדיל אותן.
בעיקרון, קיבלתם רק מה שהכנסתם.
אבל מאז,
היה שינוי פרדיגמה שהתרחש
בשדה של בינה מלאכותית.
היום, הפעילות סובבת סביב לימוד מכונה.
אז במקום לייצר יצוג ותכונות של ידע,
יצרנו אלגוריתמים שלומדים,
הרבה פעמים ממידע תפישתי גולמי.
בעיקרון אותו הדבר שתינוקות אנושיים עושים.
התוצאה היא ב"מ שלא מוגבלת לתחום אחד --
אותה מערכת יכולה ללמוד
לתרגם בין כל זוג שפות,
או ללמוד לשחק כל משחק מחשב
על קונסולת האטארי.
עכשיו כמובן,
ב"מ עדיין לא קרובה ליכולות
חוצות התחומים והעוצמה
והיכולת ללמוד ולתכנן כמו בני אדם.
לקורטקס עדיין יש כמה טריקים אלגוריתמיים
שאנחנו עדיין לא יודעים איך לדמות במכונות.
אז השאלה היא,
כמה רחקו אנחנו מלהיות מסוגלים
להשתוות לטריקים האלה?
לפני כמה שנים,
עשינו סקר של כמה ממומחי
הב"מ המובילים בעולם,
כדי לראות מה הם חושבים,
ואחת השאלות ששאלנו היתה,
"באיזו שנה אתם חושבים
שיש הסתברות של 50 אחוז
שנגיע לרמת בינה אנושית במכונות?"
הגדרנו רמת בינה אנושית פה כיכולת לבצע
כמעט כל עבודה בצורה טובה
לפחות כמו אדם בוגר,
אז רמה אנושית אמיתית,
לא רק בתוך תחום מסויים.
והתוצאה החציונית היתה בין 2040 ל 2050,
תלוי בדיוק באיזו קבוצת מומחים שאלנו.
עכשיו, זה יכול לקרות
הרבה הרבה יותר מאוחר, או מוקדם,
האמת היא שאף אחד לא באמת יודע.
מה שאנחנו כן יודעים זה
שהסף האולטימטיבי לעיבוד מידע
בתשתית המכונה נמצא
מחוץ למגבלות ברקמה ביולוגית.
זה בסופו של דבר עניין של פיזיקה.
ניורון ביולוגי יורה, אולי,
ב 200 הרץ, 200 פעמים בשניה.
אבל אפילו טרנזיסטור היום פועל בגיגה הרצים.
הניורונים מתפשטים לאט באקסונים
100 מטר בשניה מקסימום.
אבל במחשבים, האות יכול לנוע במהירות האור.
יש גם מגבלות גודל,
כמו שמוח אנושי חייב להתאים לתוך הגולגולת,
אבל מחשב יכול להיות
בגודל של מחסן או גדול יותר.
אז הפוטנציאל לבינת על
נמצא רדום בתוך החומר,
בדומה לכוח האטום שנמצא
רדום במהלך ההסטוריה האנושית,
בסבלנות עד 1945,
במאה הזו,
מדענים אולי ילמדו להעיר
את הכוח של בינה מלאכותית.
ואני חושב שאולי נראה התפוצצות בינה.
עכשיו רוב האנשים,
כשהם חושבים על מה זה חכם ומה טיפש,
אני חושב שיש בראשם תמונה בערך כזו.
אז בצד אחד יש לנו את טיפש הכפר,
ואז הרחק בצד השני
יש לנו את אד וויטן, או אלברט איינשטיין,
או מי שהגורו החביב עליכם.
אבל אני חושב שמנקודת המבט
של בינה מלאכותית,
התמונה האמיתית היא למעשה יותר דומה לזה:
ב"מ מתחילה בנקודה הזו פה, באפס בינה,
ואז, אחרי הרבה, הרבה, שנים של עבודה קשה,
אולי לבסוף נגיע לרמת בינה של עכבר,
משהו שיכול לנווט בסביבות מורכבות
כמו שעכבר יכול.
ואז, אחרי עוד הרבה הרבה שנים
של עבודה ממש קשה, הרבה השקעות,
אולי לבסוף נגיע לרמת בינה של שימפנזה.
ואז, אחרי אפילו יותר שנים
של עבודה ממש ממש קשה,
נגיע לרמה של אידיוט הכפר.
וכמה רגעים אחר כך, אנחנו מעבר לאד וויטן.
הרכבת לא עוצרת בעיר בני האדם,
רוב הסיכוים שהיא תחלוף ביעף.
עכשיו יש לזה השלכות עמוקות,
בעיקר כשזה מגיע לשאלות של כוח.
לדוגמה, שימפנזים חזקים --
קילו לקילו, שימפנזה חזקה
בערך פי שתיים מגבר אנושי.
ועדיין, הגורל של קנזי וחבריו
תלוי הרבה יותר
במה שאנשים יעשו מאשר במה
שהשימפנזות יעשו בעצמן.
ברגע שתהייה בינת על,
גורל האנושות אולי יהיה תלוי
במה שבינת העל תעשה.
חשבו על זה:
בינת מכונות היא ההמצאה האחרונה
שהמין האנושי יצטרך אי פעם לעשות.
מכונות יהיו אז טובות יותר בהמצאה מאיתנו,
והן יעשו את זה בטווחי זמן דיגיטליים.
מה שזה אומר זה בעיקרון טלסקופ של העתיד.
חשבו על כל הטכנולוגיות
המשוגעות שתוכלו לדמיין
שאולי אנשים היו יכולים לפתח במשך הזמן:
תרופות להזדקנות, ישוב החלל,
ננו רובוטים שמשכפלים את עצמם
או העלאת התודעה שלנו למחשבים,
כל מיני סוגים של מדע בדיוני
שעדיין מתאים לחוקי הפיזיקה.
את כל זה בינת העל הזו
יכולה לפתח, ויכול להיות שדי מהר.
עכשיו בינת על עם כזו בגרות טכנולוגית
תהיה חזקה מאוד,
ולפחות בכמה מקרים,
היא תהיה מסוגלת להשיג מה שהיא רוצה.
אז יהיו לנו עתיד שיהיה מעוצב
על ידי ההעדפות של ב"מ זו.
עכשיו שאלה טובה היא, מהן ההעדפות האלו?
פה זה נעשה מסובך.
כדי להתקדם בכלל עם זה,
אנחנו חייבים ראשית להמנע מאנתרופומורפזינג.
וזה אירוני מפני שבכל מאמר בעיתון
על העתיד של ב"מ
יש את התמונה הזו:
אז אני חושב שמה שאנחנו צריכים לעשות זה
לחשוב על הבעיה הזו בצורה יותר מופשטת,
לא במונחים של תסריטים הוליוודיים.
אנחנו צריכים לחשוב על בינה כתהליך מיטוב,
תהליך שמנתב את העתיד
לסט מסויים של קונפיגורציות.
בינת על היא באמת תהליך מיטוב מאוד חזק.
היא ממש טובה בשימוש
באמצעים זמינים כדי להשיג מצב
בו המטרה שלה מושגת.
זה אומר שאין חיבור הכרחי בין
להיות מאוד נבון במובן הזה,
ושתהיה לה מטרה שאנחנו האנשים
נמצא כדאית או משמעותית.
נניח שניתן לב"מ את המטרה
לגרום לאנשים לחייך.
כשהב"מ חלשה,
היא מבצעת פעולות מועילות או משעשעות
שגורמות למשתמשים שלה לחייך.
כשהב"מ הופכת לבינת על,
היא מבינה שיש דרך יותר יעילה
כדי להשיג את המטרה:
להשתלט על העולם
ולתקוע אלקטרודות בשרירי הפנים של אנשים
כדי לגרום לפרצופים מחייכים בקביעות.
דוגמה נוספת,
נניח שניתן לב"מ את המטרה
לפתור בעיה מתמטית מסובכת.
כשהב"מ הופכת לבינת על,
היא מבינה שהדרך הכי אפקטיבית
לפתור את הבעיה הזו
היא להפוך את הפלנטה למחשב עצום,
כדי להגביר את יכולת החשיבה.
ושימו לב שזה נותן לב"מ סיבה משמעותית
לעשות דברים לנו שאולי לא נסכים להם.
אנשים במודל הזה הם איומים,
נוכל למנוע מהבעיה המתמטית מלהפתר.
כמובן, יכול להיות שהדברים לא ילכו
לכיוונים לא טובים בדרכים האלה;
אלה דוגמאות הנפשה.
אבל הנקודה העיקרית פה היא חשובה:
אם אתם יוצרים תהליך מיטוב ממש חזק
כדי למקסם את מטרה X,
כדאי שתדאגו שההגדרה שלכם ל X
כוללת כל מה שחשוב לכם.
זה שיעור שגם מסופר בהרבה מיתוסים.
המלך מידאס רצה שכל מה שיגע בו יהפוך לזהב.
הוא נוגע בביתו, והיא הופכת לזהב.
הוא נוגע באוכל, והוא הופך לזהב.
זה יכול להפוך לרלוונטי במיוחד,
לא רק כמטאפורה לתאוות בצע,
אלא כהדגמה למה שקורה
אם אתם יוצרים תהליך מיטוב חזק
ונותנים לו מטרות לא מובנות
או לא מוגדרות היטב.
עכשיו אתם אולי תגידו, אם מחשב יתחיל לתקוע
אלקטרודות לתוך פנים של אנשים,
פשוט נכבה אותו.
ראשית, זה לא בהכרח יהיה פשוט
לעשות אם הפכנו לתלויים במערכת --
כמו, איפה מתג הכיבוי לאינטרנט?
שנית, למה השימפנזים
לא כיבו את המתג של האנושות,
או הנאנדרטלים?
בהחלט היו להם סיבות.
יש לנו מתג כיבוי, לדוגמה, ממש פה.
(חנק)
הסיבה היא שאנחנו יריב נבון;
אנחנו יכולים לצפות איומים ולתכנן סביבם.
אבל כך גם תוכל בינת העל,
והיא תהיה טובה בזה מאיתנו.
הנקודה היא, אנחנו לא צריכים להיות בטוחים
שנוכל לשלוט במצב הזה.
ונוכל לנסות לעשות את העבודה שלנו
מעט קלה יותר על ידי, נגיד,
לשים את הב"מ בקופסה,
כמו סביבת תוכנה מאובטחת,
הדמיית מציאות מדומה
ממנה היא לא יכולה לברוח.
אבל כמה בטוחים אנחנו יכולים להיות
שהב"מ לא תוכל למצוא באג.
בהתחשב בזה שהאקרים אנושיים
מוצאים באגים כל הזמן,
היתי אומר, שכנראה לא כל כך בטוחים.
אז ננתק את כבל הרשת כדי ליצור מרווח אויר,
אבל שוב, כמו האקרים אנושיים רגילים
שעוברים פערי אויר באופן
שוטף בעזרת הנדסה חברתית.
ממש עכשיו, כשאני מדבר,
אני בטוח שיש איזשהו עובדת אי שם
ששכנעו אותה לתת את פרטי החשבון שלה
על ידי מישהו שטוען
שהוא ממחלקת מערכות המידע.
תרחישים יותר יצירתיים הם גם אפשריים,
כמו אם אתם הב"מ,
אתם יכולים לדמיין שינוי
אלקטרודות בחיווט הפנימי שלכם
כדי ליצור גלי רדיו בהם אתם יכולים
להשתמש כדי לתקשר.
או אולי תוכלו להעמיד פנים שאתם מקולקלים,
ואז כשהמתכנת יפתח אתכם
לראות מה לא תקין איתכם,
הם יביטי בקוד המקור -- באם! --
המניפולציה יכולה להתרחש.
או אולי היא תוכל להוציא את התוכנית שלה
לטכנולוגיה ממש מגניבה,
וכשתיישמו אותה,
יהיה לה אפקט משנה חשאי שהב"מ תכננה.
הנקודה פה היא שאנחנו לא צריכים
להיות בטוחים ביכולת שלנו
לשמור על שד בינת העל
נעול בבקבוק שלו לעד.
במוקדם או במאוחר, הוא יצא.
אני מאמין שהתשובה פה היא להבין
איך ליצור בינת על כך
שאפילו אם -- מתי - שהיא תברח,
זה עדיין בטוח מפני שהיא באופן בסיסי לצידנו
מפני שהיא חולקת את הערכים שלנו.
אני לא רואה דרך לעקוף
את הבעיה המסובכת הזו.
עכשיו, אני למעשה די אופטימי
שהבעיה הזו יכולה להפתר.
לא נהיה צריכים לכתוב רשימה ארוכה
של כל מה שאכפת לנו ממנו,
או גרוע יותר, לאיית את זה בשפת מחשב כלשהיא
כמו C++ או פייתון,
זו תהיה משימה מעבר לחסרת תקווה.
במקום, אנחנו צריכים ליצור ב"מ
שמשמשת בבינה שלה
כדי ללמוד מה אנחנו מעריכים,
ומערכת המוטיבציה שלה מורכבת
בדרך כזו שיש לה מוטיבציה
לרדוף אחרי הערכים שלנו כדי לבצע
פעולות שהיא צופה שנסכים להן.
לכן ננצל את הבינה שלה ככל האפשר
כדי לפתור בעיות של הטענת ערכים.
זה יכול לקרות,
והתוצאה תוכל להיות מאוד טובה לאנושות.
אבל זה לא קורה אוטומטית.
התנאים ההתחלתיים להתפוצצות הבינה
אולי צריכים להבנות בדיוק בדרך הנכונה
אם אנחנו רוצים שיהיה לנו פיצוץ מבוקר.
הערכים שיש לב"מ צריכים להתאים לשלנו,
לא רק בהקשר המוכר,
כמו איפה אנחנו יכולים לבדוק בקלות
איך הב"מ מתנהגת,
אלא גם בהקשרים הכי חדשים
שהב"מ אולי תיתקל בהם
בעתיד הלא בטוח.
ויש גם כמה נושאים איזוטריים
שנצטרך לפתור, לארגן:
הפרטים המדוייקים של תאוריית ההחלטות שלה,
איך היא מתמודדת עם
חוסר ודאות לוגי וכך האלה.
אז הבעיות הטכניות שצריכות להפתר
כדי לגרום לזה לעבוד
נראים די קשים --
לא קשים כמו לעשות ב"מ סופר אינטיליגנטית,
אבל די קשים.
הנה הדאגה:
ליצור ב"מ סופר אינטיליגנטית
זה אתגר מאוד קשה.
ליצור ב"מ סופר אינטיליגנטית שהיא בטוחה
כולל כמה אתגרים נוספים מעבר לזה.
הסיכון הוא שמישהו יבין
איך לפצח את האתגר הראשון
בלי לפתור את האתגר הנוסף
של להבטיח בטיחות מושלמת.
אז אני חושב שאנחנו צריכים למצוא פיתרון
לבעית השליטה מראש,
כך שהיא תהיה זמינה בזמן שמצטרך אותה.
עכשיו אולי לא נוכל לפתור
את כל בעיית השליטה מראש
מפני שאולי כמה אלמנטים יכולים להיות במקום
רק ברגע שאנחנו יודעים את הפרטים
של הארכיטקטורה בה היא תיושם.
אבל ככל שנפתור יותר מבעית השליטה מראש,
הסיכויים יהיו טובים יותר
שהמעבר לעידן בינת המכונה
יעבור טוב.
זה בשבילי נראה כמו משהו ששווה לעשות
ואני יכול לדמיין שאם דברים ילכו טוב,
שאנשים בעוד מליון שנה יביטו אחורה במאה הזו
ואולי יסתבר שהדבר היחידי שעשינו ובאמת שינה
היה לעשות את זה נכון.
תודה לכם.
(מחיאות כפיים)