אני כותב מותחנים של מדע בדיוני,

אז אם אני אומר "רובוטים רצחניים",

אתם בטח חושבים על משהו כמו זה.

אבל האמת היא שאני כאן לא בכדי לדבר על מדע בדיוני.

אני כאן בכדי לדבר על רובוטים רצחניים מאוד אמיתיים,

כטב"מים אוטונומיים קרביים.

עכשיו, אני לא מדבר על הכטב"מים "פרדטור" ו"ריפר" ,

שבהם האדם הוא שמחליט לגבי המטרות.

אני מדבר על כלי נשק רובוטיים לגמרי אוטונומיים

שמקבלים החלטות קטלניות על בני אדם

לגמרי בעצמם.

יש למעשה מונח טכני לזה: אוטונומיה קטלנית.

עכשיו, רובוטים קטלניים אוטונומיים

לובשים צורות רבות: טסים, נוהגים,

או סתם נמצאים במארב.

ולמעשה, הם נהפכים למציאות מהר מאוד.

אלו שתי תחנות צליפה אוטומטית

שמוצבות כיום באזור המפורז שבין צפון קוריאה לדרום קוריאה.

לשתי המערכות יכולות אוטונומיות

לזיהוי מטרה אנושית ויירוטה,

זו משמאל ממרחק של למעלה מקילומטר.

עכשיו, בשני המקרים, יש עדיין בן אדם באמצע

שמקבל את ההחלטה הקטלנית לירות,

אבל זו אינה דרישה טכנית. זו בחירה.

ובדיוק בבחירה הזו אני רוצה להתמקד,

כי בזמן שאנחנו מעבירים את קבלת ההחלטות הקטלניות

מבני האדם לתוכנה,

אנחנו מסתכנים לא רק בכך שנוציא את האנושיות מהמלחמה,

אלא גם בכך שאנחנו נשנה לחלוטין את הנוף החברתי שלנו,

גם הרבה מעבר לשדה הקרב.

וזאת כי האופן שבו בני אדם פותרים סיכסוכים

מעצב את הנוף החברתי שלנו.

וכך זה היה תמיד, לאורך כל ההיסטוריה.

למשל, אלו היו כלי הנשק הכי מתקדמים

ב-1400 לספירה.

הם היו מאוד יקרים הן לבניה והן לתחזוקה,

אבל באמצעותם יכולת לשלוט בעם,

והפיזור של הכוח הפוליטי בחברה הפיאודלית שיקף זאת.

הכוח היה מרוכז ממש בקודקוד.

ומה השתנה? חדשנות טכנולוגית.

אבק השריפה, תותחים.

ומהר מאוד, השריון והטירות הפכו מיושנים,

וכבר היה חשוב פחות את מי הבאת לשדה הקרב

לעומת כמה אנשים הבאת לשדה הקרב.

וככל שצבאות גדלו במספרים, קמו מדינות-הלאום

כצורך פוליטי ולוגיסטי של ההגנה.

וככל שמנהיגים נאלצו לסמוך על יותר מבני העם שלהם,

כך הם החלו לחלוק בכוח.

ממשלים ייצוגיים החלו להיווצר.

אז שוב, הכלים בהם אנחנו משתמשים כדי לפתור סכסוכים

מעצבים את הנוף החברתי שלנו.

כלי נשק רובוטיים אוטונומיים הם כלי כזה,

אלא שבכך שהם מצריכים מעט מאוד אנשים שיצאו למלחמה,

הם יוצרים את הסיכון שהכוח ישוב ויתרכז בקרב מעט מאוד ידיים,

ואולי אף יחזירו אחורה מגמה בת 500 שנה של התקדמות לעבר דמוקרטיה.

עכשיו, לדעתי, כשיודעים את זה,

אפשר לנקוט בצעדים החלטיים כדי לשמר את המוסדות הדמוקרטיים שלנו,

ולעשות את מה שבני האדם עושים הכי טוב, וזה להסתגל.

אבל הזמן הוא מרכיב חשוב.

שבעים אומות מפתחות בעצמן כטב"מים

שנשלטים מרחוק,

וכפי שתראו, כטב"מים קרביים שנשלטים מרחוק

הם נושאי הבשורה לכלי הנשק הרובוטיים האוטונומיים.

וזה כי מרגע שפרסת כטב"מים בשליטה מרחוק,

ישנם שלושה גורמים מרכזיים שדוחקים את קבלת ההחלטות

מידי בני האדם ואל מערכת הנשק עצמה.

הראשון שבהם הוא מבול הווידיאו שהכטב"מים מייצרים.

למשל, ב-2004, צי הכטב"מים של ארה"ב הפיק

בסה"כ 71 שעות של צילומי מעקב לניתוח.

ב-2011, הנתון עלה ל 300,000 שעות,

ובכך עקף את היכולת האנושית לצפייה בכל זה,

אבל אפילו המספר הזה עוד יעלה משמעותית.

התוכניות של הפנטגון "גורגון סטר" וארגוס"

יציבו כ-65 עדשות מצלמה שמנוהלות כל אחת בנפרד

על הפלטפורמה של כל כטב"ם,

וזה יעלה משמעותית על היכולת האנושית לצפות בתוצרים.

והמשמעות היא שידרשו תוכנות בינה ויזואלית

על מנת לסרוק ולאתר מוקדי עניין.

וזה אומר שבקרוב מאוד

כטב"מים יגידו לבני האדם על מה להסתכל,

ולא להיפך.

אבל יש תמריץ חזק שני שדוחף

את קבלת ההחלטות מידי בני האדם לעבר המכונות,

וזה השיבוש האלקטרומגנטי,

שמנתק את הקשר שבין הכטב"ם

למפעיל שלו.

ראינו דוגמה לזה ב- 2011

כאשר הכטב"ם סנטינל RQ-170 האמריקאי

התבלבל קצת מעל איראן בשל מתקפת שיבוש GPS,

אבל כל כטב"ם הנשלט מרחוק חשוף לסוג כזה של מתקפה,

וזה אומר שכטב"מים

יצטרכו לקבל יותר אחריות על קבלת החלטות.

הם ידענו מה מטרת המשימה,

והם יגיבו לנסיבות חדשות ללא קבלת הנחיות מבן אנוש.

הם יתעלמו מאותות רדיו חיצוניים

וישלחו מעט מאוד אותות משלהם.

מה שמביא אותנו, למעשה, לתמריץ השלישי

והחזק ביותר שדוחק את קבלת ההחלטות

מידי בני האדם ולעבר כלי הנשק:

הכחשה סבירה.

אנחנו חיים כיום בכלכלה גלובלית.

ברוב היבשות מתקיים ייצור של טכנולוגיה מתקדמת.

ריגול קיברנטי מוביל לתפוצה של תוכניות פיתוח

למקומות בלתי ידועים,

ובאווירה כזו, מאוד סביר

שתוכנית ייצור של כטב"ם מוצלח תועתק במפעלים השותפים,

ותשגשג במהירות בשוק האפור.

ובמצב כזה, בחיפוש בין ההריסות

של מתקפת כטב"ם מתאבד, יהיה מאוד קשה לומר

מי שלח את כלי הנשק הזה.

זה מעלה את האפשרות המאוד ממשית

של מלחמה אנונימית.

זה יכול להטות לחלוטין את המאזן הגיאופולטי,

ולהקשות מאוד על מדינה להפנות את כוחה הצבאי

כנגד התוקף, וזה עשוי להטות את האיזון

במאה ה-21 מהגנה להתקפה.

זה עשוי להפוך את הפעולה הצבאית לאפשרות מעשית

לא רק עבור מדינות קטנות,

אלא גם עבור ארגוני פשע, תאגידים פרטיים,

ואפילו אזרחים פרטיים בעלי כוח.

זה עשוי ליצור נוף של אדוני מלחמה יריבים

שמערערים את שלטון החוק ואת החברה האזרחית.

עכשיו אם אחריות ושקיפות

הן אבני הפינה של השלטון הייצוגי,

כלי נשק רובוטיים אוטונומיים עלולים לערער את שתי אלו.

עכשיו אתם אולי חושבים

שלאזרחים במדינות בעלות טכנולוגיה מתקדמת

יהיה יתרון בכל מלחמה רובוטית,

שאזרחים במדינות כאלו יהיו פגיעים פחות,

בעיקר מול מדינות מתפתחות.

אבל אני חושב שהאמת היא בדיוק הפוכה.

אני חושב שאזרחים במדינות בעלות טכנולוגיה מתקדמת

חשופים יותר לפגיעה של כלי נשק רובוטיים,

והסיבה לכך היא במילה אחת: נתונים.

נתונים הם המנוע של חברות טכנולוגיות.

מיקום גיאוגרפי בטלפונים ניידים, נתוני טלקומוניקציה,

מדיה חברתית, דוא"ל, נתוני עסקות פיננסיות,

נתוני שינוע, זהו עושר של נתונים בזמן אמת

על תנועות ואינטראקציות חברתיות בין אנשים.

בקצרה, אנחנו יותר נראים למכונות

בהשוואה לכל אדם בהיסטוריה,

וזה מתאים במדויק לצרכי איתור המטרה של כלי הנשק האוטונומיים.

מה שאתם רואים כאן

זה מפת ניתוח קשרים של קבוצה חברתית.

הקווים מעידים על קישור חברתי בין פרטים.

ומפות מסוג כזה אפשר לחולל אוטומטית

על בסיס עקבות המידע שהאדם המודרני משאיר אחריו.

עכשיו בדר"כ זה משמש לשיווק סחורות ושירותים

לקבוצת אוכלוסייה ייעודית, אבל זו טכנולוגיה דו-שימושית,

כי איתור מטרה משמש גם בהקשר אחר.

שימו לב שחלק מהפרטים מודגשים.

אלו הם מעין מוקדים של רשתות חברתיות.

אלו הם מארגנים, קובעי דעת-קהל, מנהיגים,

וגם האנשים האלו יכולים להיות מזוהים אוטומטית

על פי דפוסי התקשורת שלהם.

עכשיו, אם אתה משווק, אתה יכול להפוך אותם למטרה

לדוגמיות של מוצרים, לנסות להפיץ את המותג שלך

דרך הקבוצה החברתית שלהם.

אבל אם אתה משטר דיכוי

שמחפש אויבים פוליטיים, אתה עלול במקום זה להוריד אותם,

לחסל אותם, לזעזע את הקבוצה החברתית שלהם,

והנותרים מאבדים את הלכידות החברתית

ואת הארגון.

עכשיו בעולם של נשק רובוטי זול ונפוץ,

גבולות יוכלו לספק מעט מאוד הגנה

למבקרים של ממשלות רחוקות

או ארגוני פשע חוצי-עולם.

קבוצות עממיות שפועלות למען שינוי

יהיו ניתנות לזיהוי מוקדם והמנהיגים שלהם יחוסלו

לפני שהרעיונות שלהם יצברו מאסה קריטית.

השגת מאסה קריטית לרעיונות

זו המהות של אקטיביזם פוליטי בשלטון עממי.

כלי נשק קטלניים אנונימיים עשויים להפוך פעולה קטלנית

לאפשרות קלה עבור כל מני אינטרסים מתחרים.

וזה ייבש את חופש הביטוי

ופעילות פוליטית עממית, שהם לב ליבה של הדמוקרטיה.

וזו הסיבה לכך שאנחנו צריכים אמנה בינלאומית

בנושא נשק רובוטי, ובפרט איסור גלובלי

על פיתוח ופריסה של רובוטים קטלניים.

יש לנו כבר אמנות בינלאומיות

בנושא נשק גרעיני וביולוגי, ולמרות שהן לא מושלמות,

בגדול הן עובדות.

אבל כלי נשק רובוטיים עלולים להיות מסוכנים לא פחות,

כי כמעט בוודאות ייעשה בהם שימוש,

והם יהיו הרסניים גם למוסדות הדמוקרטיים שלנו.

בנובמבר 2012 מחלקת ההגנה של ארה"ב

פירסמה הנחיה שדורשת

שבן אדם יהיה נוכח בכל ההחלטות הקטלניות.

למעשה זה אסר באופן זמני שימוש בכלי נשק אוטונומיים בצבא ארה"ב,

אבל ההנחיה הזו צריכה להפוך לקבועה.

והיא יכולה לשמש כפתיח לפעולה גלובלית.

כי אנחנו זקוקים למסגרת חוקית בינלאומית

לכלי נשק רובוטיים.

ואנחנו זקוקים לה עכשיו, לפני שתהיה מתקפה הרסנית

או אירוע טרור שיגרום לאומות העולם

למהר ולאמץ את כלי הנשק הללו

לפני שהספיקו לחשוב לעומק על ההשלכות.

כלי נשק רובוטיים אוטונומיים מרכזים יותר מדי כוח

בקרב מעט מדי ידיים, והם מעמידים בסכנה את הדמוקרטיה עצמה.

עכשיו, אל תבינו אותי לא נכון, אני חושב שיש המון

שימושים נפלאים לכטב"מים אזרחיים לא חמושים:

ניטור סביבתי, חיפוש והצלה, לוגיסטיקה.

אם תהיה לנו אמנה בינלאומית בנושא כלי נשק רובוטיים,

איך נשיג את התועלות שבכטב"מים אוטונומיים

וכלי רכב תוך הגנה על עצמנו

מפני נשק רובוטי בלתי חוקי?

אני חושב שהסוד יהיה בשקיפות.

אסור שאף רובוט יצפה לפרטיות

במקום ציבורי.

(מחיאות כפיים)

לכל רובוט וכטב"ם צריך להיות

זיהוי של חתימה מוצפנת שנצרב בו במפעל

ושיכול לשמש למעקב אחר תנועתו במרחב הציבורי.

יש לנו לוחות רישוי על רכבים, מספר זנב על כלי טיס.

זה לא שונה.

ולכל אזרח צריכה להיות האפשרות להוריד אפליקציה

שמציגה את אוכלוסיית הכטב"מים האוטונומיים

שנעים במרחב הציבורי שמסביבו,

גם עכשיו וגם בעבר.

ומנהיגים אזרחיים צריכים לפרוס סנסורים וכטב"מים אזרחיים

שיזהו כטב"מים אסורים,

ובמקום לשלוח כטב"ם קטלני משלהם כדי ליירט אותם,

הם צריכים ליידע את בני האדם על נוכחותם.

ובאזורים ביטחוניים מסוימים,

כטבמים אזרחיים אולי יציבו להם מלכודת

וימשכו אותם לעבר מתקן מיוחד לסילוק פצצות.

אבל שימו לב, זה יותר מערכת חיסון

מאשר מערכת נשק.

היא תאפשר לנו להפיק תועלת מהשימוש

בכלים אוטונומיים וכטב"מים

ובו בזמן לשמר את החברה האזרחית הפתוחה שלנו.

אנחנו חייבים לאסור את הפריסה והפיתוח

של רובוטים קטלניים.

בואו לא ניכנע לפיתוי של מיכון המלחמות.

ממשלות אוטוקרטיות וארגוני פשיעה

ללא ספק יעשו זאת, אבל בואו לא נצטרף אליהם.

כלי נשק רובוטיים אוטונומיים

ירכזו יותר מדי כוח

בקרב מספר מועט מדי של ידיים בלתי נראות,

וזה יהיה הרסני לשלטון הייצוגי.

בואו נוודא, לפחות לגבי דמוקרטיות,

שרובוטים קטלניים יישארו בגדר מדע בדיוני.

תודה לכם.

(מחיאות כפיים)

תודה לכם. (מחיאות כפיים)