אז, אני מוביל צוות בגוגל שעובד על למידה חישובית;
כלומר, תחום ההנדסה שגורם למחשבים ומכשירים
לעשות כמה מהדברים שמוחותינו עושים.
וזה גורם לנו להתעניין במוחות אמיתיים
וגם במדעי המוח,
ובמיוחד בדברים שבביצועם מוחותינו
עדיין עולים בהרבה על מחשבים.
מבחינה היסטורית, אחד התחומים האלה הוא תפיסה,
ההליך שדרכו כל הדברים שיש בעולם החיצוני --
צלילים ותמונות --
נעשים למושגים בשכל.
זה חיוני למוחות שלנו,
וגם די שימושי במחשב.
האלגוריתמים לתפיסה חישובית, לדוגמא, שהצוות שלנו מוציא,
הם מה שמאפשר לתמונותיכם בגוגל פוטוז להיות ניתנות-חיפוש,
על פי תוכנן.
הפן השני של תפיסה הוא יצירתיות:
הפיכת מושג לעצם בעולם.
וכך במשך השנה האחרונה, עבודתנו על תפיסה חישובית
התחברה באופן לא צפוי לעולם היצירתיות החישובית,
ולאמנות ממוחשבת.
אני חושב שלמיכלאלג'לו הייתה תובנה חודרת
לגבי היחס הדואלי הזה שבין תפיסה ליצירתיות.
זאת ציטטה מפורסמת שלו:
"לכל אבן יש פסל בתוכה,
ועבודת הפסל לגלות אותו."
אז, אני חושב שמיכלאנג'לו התכוון לזה
שאנחנו יוצרים באמצעות תפיסה,
ושתפיסה עצמה היא מעשה של דמיון
והיא חומר היצירתיות.
האיבר שמבצע את כל המחשבה והתפיסה והדמיון,
הוא כמובן המוח.
ואני רוצה לפתוח בקטע קצר של היסטוריה
על מה שאנחנו יודעים על המוח.
כי לא כמו, כגון, הלב או המעיים,
אי אפשר לומר הרבה על המוח פשוט מלהסתכל עליו,
לפחות, בעין בלתי מזויינת.
האנטומיסטים המוקדמים שהסתכלו על מוחות
קראו למבנים השטחיים של הדבר הזה בכל מיני שמות דמיוניים,
כגון היפוקמפוס, שמשמעו "חסילון קטן."
אך בבירור דבר מסוג זה לא מספר לנו הרבה
על מה שבאמת קורה בפנים.
האדם הראשון, לדעתי, שבפועל פיתח איזה מין של הבנה
של מה שבאמת קורה בתוך המוח
היה הניורואנטומיסט הספרדי הגדול, סנטיאגו רמון אי קחאל,
במאה התשע-עשרה,
שהשתמש במיקרוסקופ וצבעים מיוחדים
שיכלו לדמות בבררנות ובניגוד גבוה
תאים יחידים במוח,
כדי להתחיל להבין את המורפולוגיה שלהם.
ואלה סוגי הציורים שהוא צייר של תאי עצב
במאה התשע-עשרה.
זה מתוך מוח של ציפור.
ותראו את המגוון המדהים הזה של תאים מסוגים שונים,
אפילו תיאוריית התא עצמה הייתה חדשה למדי בעת הזו
והמבנים האלה,
התאים האלה שיש להם הסתעפויות כאלה
וענפים כאלה שמסוגלים להאריך מרחקים רבים --
זה היה מאד חדשני ומקורי בתקופה זו.
הם מזכירים חוטים כמובן.
אפשר שכבר תפסו כך כמה אנשים במאה התשע-עשרה;
מהפכות החיווט והחישמול בדיוק החלו.
אבל מבחינות רבות,
הציורים המיקרו-אנטומיים האלה של רמון אי קחאל, כגון זה,
מבחינת-מה עוד לא הושגו.
ואנחנו מאה שנים אחרי כן,
מנסים לגמור את העבודה בו רמון אי קחאל החל.
אלה הם נתונים לא-מעובדים ממשתפי הפעולה שלנו
במכון מקס פלאנק למדעי מוח.
ומה שמשתפי הפעולה שלנו עשו
זה לדמת חלקיקים קטנים של רקמה מוחית.
כל הדגימה הינה קרובה בגודלה למילימטר מעוקב אחד,
ואני מראה לכם חלק מאד קטן ממנה פה.
הפס הזה שלצד שמאל בגודל מיקרון אחד בערך.
המבנים שאתם רואים הם מיטוכונדריה
ששווים בגודלם לחיידק.
ואלה פרוסות עוקבות
בתוך הגוש הקטנטן מאד הזה של רקמה.
רק לשם השוואה,
קוטר קווצה ממוצעת של שיער היא כמאה מיקרון.
וכך אנחנו מתבוננים במשהו הרבה יותר זעיר
משערה אחת.
ועל פי כל הסוגים האלה של פרוסות סדרתיות מוגדלות מיקרוסקופ-אלקטרוני,
אפשר להתחיל בשיחזורים תלת-ממדיים של תאי עצב, הנראים ככה.
ובכן, אלה נוהגים על פי אותו סגנון בקירוב של רמון אי קחאל.
רק תאי עצב אחדים נדלקו,
אחרת לא היינו יכולים לראות פה שום דבר.
יהיה כל כך צפוף,
כל כך מלא מבנים,
מלא חיווט המקשר תאי עצב אחד לשני.
אז רמון אי קחאל במידה הקדים את זמנו,
והתקדמות בהבנת המוח
התקדמה לאט לאט במשך העשורים הבאים.
אבל ידענו שתאי עצב עשו שימוש בחשמל,
ועד מלחמת העולם השנייה, הטכנולוגיה שלנו התקדמה דיה
כדי להתחיל ניסויים חשמליים אמיתיים בתאי עצב חיים
בשביל להבין טוב יותר כיצד הם עבדו.
זה אותו הזמן שמחשבים הומצאו לראשונה,
ממש בהתבסס על הרעיון של בניית דגם המוח --
של "מנגנון נבון," כמו שאלן טיורינג כינה אותו,
אחד מאבות מדעי המחשב.
ווארן מקולוק ווואלטר פיטס הביטו בציורו של רמון אי קחאל
של קליפת הראייה,
שאותו אני מראה פה.
זאת הקליפה שמעבדת דימויים המגיעים מהעין.
ומבחינתם, זה נראה כמו דיאגרמת מעגל חשמלי.
לכן יש הרבה פרטים בדיאגרמת המעגל של מקולוק ופיטס
שאינם לגמרי נכונים.
אבל הרעיון המרכזי הזה
שקליפת הראייה עובדת כסדרה של רכיבים חישוביים
המעבירים מידע אחד לרעהו במפל,
בעיקרו של דבר נכון.
בואו נדבר רגע
על מה שדגם לעיבוד מידע חזותי צריך לעשות.
המשימה היסודית של תפיסה
היא החזקת תמונה כזו שמשמאל ולאמר כי
"זאת ציפור,"
היא דבר מאד פשוט לעשות בעזרת מוחותינו.
אבל צריכים להבין שעבור מחשבים,
זה היה כמעט בלתי אפשרי רק לפני כמה שנים.
במסגרת הפרדיגמה החישובית הקלאסית
אין זאת משימה קלת-ביצוע.
אז מה שקורה בין הפיקסלים,
בין דמות הציפור לבין המילה "ציפור,"
ביסוד הוא התקשרות בין מערכת תאי עצב מקושרים
זה לזה ברשת עצבית,
כפי שאני משרטט פה.
הרשת העצבית יכולה להיות ביולוגית, בתוך קליפתנו הראייתית,
או, כיום, מתחילה להיות לנו היכולת
לבנות דגמים של רשתות אלה במחשב.
ואראה לכם איך זה נראה באמת.
אז אתם יכולים לחשוב על הפיקסלים כשכבה הראשונה של ניורונים,
וזה, למעשה, איך שזה עובד בעין --
אלה הניורונים ברשתית.
ואלה מזינים הלאה
לתוך שכבה אחת אחרי אחרת אחרי הבאה של ניורונים,
כולם מחוברים על ידי סינפסות במשקלים שונים.
ההתנהגות של הרשת הזו
מאופיינת על ידי הכוחות של כל הסינפסות האלה.
אלה מאפיינים את התכונות המחשוביות של הרשת הזו.
ובסופו של יום,
יש לכם ניורון או קבוצה קטנה של ניורונים
שנדלקים, ואומרים, "ציפור."
עכשיו אני עומד לייצג את שלושת הדברים האלה --
פיקסל הקלט והסינפסות ברשתות העצביות,
וציפור, הפלט --
על ידי שלושה משתנים: X, W ו Y.
יש אולי מליון Xים בערך --
מליון פיקסלים בתמונה הזו.
יש מיליארדים או טריליונים של W,
שמייצגים את המשקל של כל הסינפסות האלו ברשתות העצביות.
ויש מספר מאוד קטן של Y,
של פלטים שיש לרשת הזו.
"ציפור " היא רק חמש אותיות, נכון?
אז בואו נעמיד פנים שזו רק נוסחה פשוטה,
x "x" w = y.
אני שם את הכפול בגרשיים
בגלל שמה שבאמת מתרחש פה, כמובן,
זה סדרה מאוד מורכבת של פעולות מתמטיות.
זו משוואה אחת.
יש שלושה משתנים.
וכולנו יודעים שאם יש לכם משוואה אחת,
אתם יכולים לפתור משתנה אחד אם יודעים את שני הדברים האחרים.
אז הבעיה של הסקה,
שהיא, להבין שהתמונה של הציפור היא ציפור,
היא זו:
פה Y הוא המשתנה ו W ו X ידועים.
אתם יודעים את הרשת העצבית, אתם יודעים את הפיקסלים.
כמו שאתם יכולים לראות, זו למעשה בעיה די פשוטה.
אתם מכפילים שתיים כפול שלוש וסיימתם.
אני אראה לכם רשת עצבית מלאכותית
שבנינו לאחרונה, ועשינו בדיוק את זה.
זה רץ בזמן אמת על טלפון נייד,
וזה, כמובן, מדהים בפני עצמו,
הטלפונים הניידים יכולים לעשות כל כך הרבה מליארדים וטריליונים של פעולות
לשניה.
מה שאתם רואים זה טלפון
מביט בתמונות של ציפורים אחת אחרי השניה,
ולמעשה לא רק אומר, "כן, זו ציפור,"
אלא מזהה את המין של הציפור עם רשת מסוג כזה.
אז בתמונה הזו,
ה X וה W ידועים, וה Y לא ידוע.
אני מרפרף על החלקים הממש קשים כמובן,
שזה איך בעצם אנחנו מגלים את ה W,
המוח שיכול לעשות כזה דבר?
איך אי פעם נלמד מודל כזה?
אז התהליך הזה של למידה, או פתירת ה W,
אם היינו עושים את זה עם משוואות פשוטות
בהן אנחנו חושבים על אלה כמספרים,
אנחנו יודעים בדיוק איך לעשות את זה: 6 = 2 *w,
ובכן, אנחנו מחלקים בשניים וסיימנו.
הבעיה היא עם הפעולה הזו.
אז, חלוקה --
השתמשו בחלוקה בגלל שהיא ההפך מכפל,
אבל כמו שכרגע אמרתי,
ההכפלה היא מעט שקר פה.
זו פעולה מאוד מאוד מורכבת, מאוד לא לינארית;
אין לה פעולה הופכית.
אז אנחנו צריכים למצוא דרך לפתור את המשוואה
בלי פעולת החילוק.
והדרך לעשות את זה היא די ישירה.
אתם פשוט אומרים, בואו נשחק בטריק אלגבראי פשוט,
ונעביר את השש לצד ימין של המשוואה.
עכשיו, אנחנו עדיין משתמשים בכפל.
והאפס הזה -- בואו נחשוב עליו כשגיאה.
במילים אחרות, אם פתרנו עבור W נכון,
אז השגיאה תהיה אפס.
ואם זה לא יצא לנו ממש נכון,
השגיאה תהיה גדולה מאפס.
אז עכשיו אנחנו יכולים פשוט לנחש כדי להקטין את השגיאה,
וזה סוג הדבר שמחשבים ממש טובים בו.
אז לקחתם ניחוש ראשוני:
מה אם W=0?
ובכן, אז השגיאה היא 6.
מה עם W =1? השגיאה היא 4.
ואז המחשב יכול לשחק סוג של מרקו פולו,
ולהוריד את השגיאה קרוב לאפס.
וכשהוא עושה את זה, הוא מקבל קרובים עוקבים ל W.
ובאופן טיפוסי, הוא לעולם לא ממש מגיע לשם, אבל אחרי בערך שנים עשר צעדים,
אנחנו מגיעים ל W = 2.999, שזה קרוב מספיק.
וזה תהליך הלמידה.
אז זכרו שמה שמתרחש פה
זה שלקחנו הרבה X ידועים ו Y ידועים
ופתרנו עבור W במרכז דרך תהליך לולאתי.
זו בדיוק אותה דרך שאנחנו עושים את הלמידה בעצמנו.
יש לנו הרבה הרבה תמונות כתינוקות
ואומרים לנו, "זו ציפור; זו לא ציפור."
ובמשך הזמן, דרך חזרה,
אנחנו פותרים עבור W, אנחנו פותרים עבור החיבורים העצביים האלה.
אז עכשיו, החזקנו את X ואת W קבועים כדי לפתור עבור Y;
זו תפישה מהירה, יום יומית.
הבנו איך אנחנו יכולים לפתור עבור W,
זה למידה, שהיא הרבה יותר קשה,
בגלל שאנחנו צריכים לעשות מזעור שגיאות,
בשימוש בהרבה דוגמאות אימון.
ולפני בערך שנה, אלכס מורדבינטסב, בצוות שלנו,
החליט להתנסות עם מה שקורה אם אנחנו מנסים לפתור עבור X,
בהתחשב ב W ו Y ידועים.
במילים אחרות,
אתם יודעים שזו ציפור,
וכבר יש לכם את הרשת העצבית שאימנתם על ציפורים,
אבל מה היא התמונה של הציפור?
מסתבר שבשימוש בדיוק באותו תהליך מזעור שגיאות,
שאפשר לעשות עם רשת שמאומנת להכיר ציפורים,
ומסתבר שהתוצאה היא...
תמונה של ציפורים.
אז זו תמונה של ציפורים שמייוצרת לגמרי על ידי רשת עצבית
שאומנה להכיר ציפורים,
פשוט על ידי פיתרון ל X במקום לפתור ל Y,
ולעשות את זה בחזרתיות.
הנה דוגמה כיפית נוספת.
זו היתה עבודה שנעשתה על ידי מייק טייקה בקבוצה שלנו,
שנקראה "תהלוכת החיות."
זה מזכיר לי מעט את האמנות של ווליאם קמטרידג',
בה הוא יוצר איורים, מוחק אותם,
יוצר איורים, מוחק אותם,
ויוצר סרט בדרך זו.
במקרה הזה,
מה שמייק עושה זה לשנות את Y במרחב של חיות שונות,
ברשת שמתוכננת להכיר ולהבחין
בין חיות שונות.
ואתם מקבלים את הסוג במוזר הזה של שינויים כמו של אשר, מחיה אחת לאחרת.
פה הוא ואלכס יחד ניסו להפחית
את ה Y לחלל של רק שני מימדים,
לכן הם יוצרים מפה מהחלל של כל הדברים
שמוכרים על ידי הרשת הזו.
לעשות סוג כזה של סינטזה
או יצירה של תמונות על פני כל המשטח,
שמשנים את Y על המשטח, אתם עושים סוג של מפה --
מפה ויזואלית של כל הדברים שהרשת יודעת איך להכיר.
החיות כולן פה; "ארמדילו" בדיוק בנקודה הזו בנקודה ההיא.
אתם יכולים לעשות זאת גם עם סוגים אחרים של רשתות.
זו רשת שמתוכננת להכיר פרצופים,
כדי להבחין בין פרצוף אחד לאחר.
ופה, אנחנו שמים את ה Y שאומר, "אני,"
הפרמטרים של הפנים שלי.
וכשהדבר הזה פותר ל X,
הוא יוצר תמונה די משוגעת,
סוג של תמונה קוביסטית, סוראליסטית, ופסיכדלית שלי
ממספר נקודות צפיה יחד.
הסיבה שזה נראה כמו מספר רב של נקודות מבט יחד
זה בגלל שהרשת הזו מעוצבת להפתר מדו-משמעות
של פנים שבפוזה אחת או אחרת,
כשמסתכלים עליהם עם סוג אחד של תאורה, או סוג אחר של תאורה.
אז כשאתם עושים סוג זה של בנייה מחדש,
אם אתם לא משתמשים בסוג מסווים של תמונת הנחייה
או סטטיסטיקה מנחה,
אז אתם תקבלו סוג של בלבול מנקודות מבט שונות,
בגלל שזה דו משמעי.
זה מה שקורה אם אלכס משתמש בפנים של עצמו כתמונה מנחה
במהלך תהליך האופטימיזציה כדי לבנות מחדש את הפנים שלי.
אז אתם יכולים לראות שזה לא מושלם.
יש עדיין די הרבה עבודה לעשות
על איך אנחנו עושים מיטוב של תהליך המיטוב.
אבל אתם מתחילים לקבל משהו יותר כמו פנים ברורות,
שמצויירות בשימוש בפנים שלי כהנחיה.
אתם לא צריכים להתחיל עם קאנבס ריק
או עם צליל לבן.
כשאתם פותרים עבור X,
אתם יכולים להתחיל עם X, שהוא בעצמו כבר תמונה אחרת.
זו מה שההדגמה הקטנה הזו.
זו רשת שמתוכננת לקטלג
כל מיני אובייקטים שונים -- מבנים מעשה ידי אדם, חיות...
פה אנחנו מתחילים עם רק תמונה של עננים,
וכשאנחנו ממטבים,
בעיקרון, הרשת הזו מבינה מה היא רואה בעננים.
וככל שאתם מבלים יותר זמן בלהביט בהם,
אתם גם תראו הרבה יותר דברים בעננים.
אתם תוכלו גם להשתמש ברשת הפנים כדי להזות לתוך זה,
ואתם מקבלים דברים די מטורפים.
(צחוק)
או, מייק עשה כמה ניסויים אחרים
בהם הוא לוקח את תמונת העננים ההיא,
הוזה, עושה זום, הוזה, זום, הוזה, זום.
ובדרך זו,
אתם יכולים לקבל סוג של מצב של פוגה של הרשת, אני מניח,
או סוג של אסוציאציה חופשית,
בה הרשת אוכלת את הזנב של עצמה.
אז כל תמונה היא עכשיו הבסיס,
ל"מה אני חושב שאני רואה עכשיו?
מה אני חושב שאני רואה עכשיו? מה אני חושב שאני רואה עכשיו?"
הראתי את זה בפעם הראשונה בציבור
לקבוצה בהרצאה בסיאטל שנקראה "חינוך גבוה יותר" --
זה היה מייד אחרי שמריחואנה הפכה לחוקית.
(צחוק)
אז הייתי רוצה לסיים במהירות
פשוט בלהעיר שהטכנולוגיה הזו לא מוגבלת.
הראתי לכם דוגמאות ויזאוליות לגמרי בגלל שבאמת כיף להביט בהן.
זו לא טכנולוגיה ויזואלית לגמרי.
האמן ששיתף איתנו פעולה, רוס גודווין,
עשה ניסויים שכללו מצלמה שמצלמת תמונות,
ואז המחשב בתיק שלו כותב פואמה בשימוש ברשתות עצביות,
בהתבסס על התוכן של התמונה.
והרשת העצבית הזו של השירה אומנה
על קורפוס גדול של השירה של המאה ה20.
והשירה היא, אתם יודעים,
אני חושב, סוג של לא רעה, למעשה.
(צחוק)
לסיכום.
אני חושב שעבור מיכאלאנג'לו,
אני חושב שהוא צדק;
תפישה ויצירתיות מחוברות מאוד אינטימית.
מה שכרגע ראינו הן רשתות עצביות
שלגמרי מאומנות להפלות,
או להכיר דברים שונים בעולם,
מסוגלת להיות מורצת אחורנית, כדי לייצר.
אחד הדברים שמראים לי
הם לא רק שמיכאלאנג'לו באמת ראה
את הפסל בתוך בלוק האבן,
אלא שכל יצור, כל ישות, כל חייזר
שמסוגל לעשות פעולות תפישתיות מסוג כלשהו
גם מסוגל ליצור
בגלל שזה בדיוק אותו מנגנון שבשימוש בשני המקרים.
כמו כן ,אני חושב שתפישה ויצירתיות הן בשום צורה
לא רק אנושיות.
מתחילים להיות לנו מודלים ממוחשבים שיכולים לעשות בדיוק דברים מהסוג הזה.
וזה לא צריך להפתיע; המוח הוא חישובי.
ולבסוף,
מחשוב החל כתרגיל בעיצוב מכונות חכמות.
הוא מודל אחר הרעיון
של איך אנחנו יכולים ליצור מכונות חכמות.
ואנחנו לבסוף מתחילים להגשים עכשיו
כמה מההבטחות של החלוצים הראשונים האלה,
של טיורינג וואן ניומן
ומקקולוך ופיטס.
ואני חושב שמחשוב לא נוגע רק לחשבונאות
או לשחק קנדי קראש או משהו.
מההתחלה, מידלנו אותם לפי המוח שלנו.
והם נותנים לנו גם את היכולת להבין את המוחות שלנו טוב יותר
ולהרחיב אותם.
תודה רבה לכם.
(מחיאות כפיים)