Η απόφαση θανάτωσης δεν θα πρέπει να ανήκει σε ρομπότ

Ως συγγραφέας, ο Ντάνιελ Σουάρεζ γνέθει δυστοπικές ιστορίες του μέλλοντος. Αλλά, στη σκηνή του TEDGlobal, μας εξηγεί ένα ρεαλιστικό σενάριο για το οποίο όλοι μας χρειάζεται να γνωρίζουμε περισσότερα: η άνοδος των αυτόνομων ρομποτικών όπλων πολέμου. Εισηγείται ότι προηγμένα μη επανδρωμένα μέσα, αυτοματοποιημένα όπλα κι εργαλεία συλλογής πληροφοριών με τη χρήση τεχνητής νοημοσύνης θα μπορούσαν να πάρουν την απόφαση κήρυξης πολέμου μέσα από τα χέρια των ανθρώπων.

Γράφω θρίλερ επιστημονικής φαντασίας,

οπότε εάν πω «ρομπότ δολοφόνοι»,

πιθανότατα θα σκεφτείτε κάτι σαν αυτό.

Αλλά, δεν είμαι εδώ για να μιλήσω
για επιστημονική φαντασία.

Είμαι εδώ για να μιλήσω για πολύ πραγματικά ρομπότ δολοφόνους,

αυτόνομα μη επανδρωμένα μέσα μάχης.

Τώρα, δεν αναφέρομαι στα μη επανδρωμένα
αεροσκάφη Predator και Reaper,

στα οποία κάποιος άνθρωπος παίρνει
αποφάσεις στοχοποίησης.

Μιλάω για πλήρως αυτόνομα ρομποτικά όπλα

που παίρνουν θανατηφόρες αποφάσεις
σχετικές με τον άνθρωπο

τελείως μόνα τους.

Για την ακρίβεια υπάρχει ένας τεχνικός όρος
γι' αυτό: θανατηφόρα αυτονομία.

Τώρα, τα θανατηφόρα αυτόνομα ρομπότ δολοφόνοι

θα μπορούσαν να πάρουν πολλές μορφές
-ιπτάμενα, εποχούμενα

ή απλά ευρισκόμενα σε αναμονή.

Και μάλιστα, γίνονται πολύ γρήγορα πραγματικότητα.

Αυτοί είναι δύο αυτόματοι σταθμοί ελεύθερου σκοπευτή

που τώρα παρατάσσονται στην αποστρατικοποιημένη ζώνη μεταξύ Β. & Ν. Κορέας.

Και τα δύο αυτά μηχανήματα είναι σε θέση
ν' αναγνωρίσουν

αυτόματα έναν ανθρώπινο στόχο και
να ρίξουν σε αυτόν,

αυτό στα αριστερά σε απόσταση
μεγαλύτερη του ενός χιλιομέτρου.

Τώρα, και στις δύο περιπτώσεις, υπάρχει ακόμη κάποιος άνθρωπος στη διαδικασία

για να παρθεί αυτή η απόφαση θανάσιμης βολής,

αλλά δεν είναι μια τεχνολογική απαίτηση.
Είναι μια επιλογή.

Και είναι αυτή η επιλογή στην οποία
θα ήθελα να εστιάσω,

γιατί καθώς μεταφέρουμε
τη λήψη θανατηφόρων αποφάσεων

από τους ανθρώπους στο λογισμικό,

κινδυνεύουμε όχι μόνο να θέσουμε
την ανθρωπιά εκτός πολέμου,

αλλά, ν' αλλάξουμε επίσης
το κοινωνικό μας τοπίο εξ' ολοκλήρου,

μακριά από το πεδίο της μάχης.

Αυτό γιατί ο τρόπος με τον οποίο
οι άνθρωποι επιλύουν τις διαφορές τους

διαμορφώνει το κοινωνικό μας τοπίο.

Και πάντα αυτό ήταν το ζήτημα, σε όλη την Ιστορία.

Για παράδειγμα, αυτά ήταν
τα τελευταίας τεχνολογίας οπλικά συστήματα

το 1400 μ.Χ..

Ήταν και τα δύο πολύ ακριβά να κατασκευαστούν
και να διατηρηθούν,

αλλά με αυτά θα μπορούσατε
να εξουσιάσετε τον λαό

κι αυτό αντικατοπτρίστηκε στην κατανομή
της πολιτικής εξουσίας στην φεουδαρχική κοινωνία.

Η εξουσία ήταν συγκεντρωμένη στην κορυφή.

Και τι άλλαξε; Η τεχνολογική καινοτομία.

Μπαρούτι, κανόνι.

Κι αρκετά σύντομα, πανοπλίες και κάστρα απαρχαιώθηκαν

και είχε λιγότερη σημασία ποιον φέρνατε
στο πεδίο της μάχης

σε αντίθεση με τον αριθμό των ατόμων
που φέρνατε στο πεδίο της μάχης.

Και καθώς οι στρατοί μεγάλωναν σε μέγεθος, προέκυψε το έθνος-κράτος

ως μια πολιτική και υλικοτεχνική
απαίτηση της άμυνας.

Και καθώς οι ηγέτες έπρεπε να βασίζονται περισσότερο στον λαό τους,

άρχισαν να μοιράζουν την εξουσία.

Άρχισε να δημιουργείται η αντιπροσωπευτική κυβέρνηση.

Έτσι και πάλι, τα εργαλεία που χρησιμοποιούμε
για την επίλυση διαφορών

διαμορφώνουν το κοινωνικό μας τοπίο.

Τα αυτόνομα ρομποτικά όπλα
είναι ένα τέτοιο εργαλείο,

εκτός απ' το ότι, απαιτώντας
πολύ λίγους ανθρώπους να πάνε στον πόλεμο,

ρισκάρουν την επανακεντρικοποίηση της εξουσίας
σε ελάχιστα χέρια,

αντιστρέφοντας ενδεχομένως μια τάση πέντε αιώνων
προς τη δημοκρατία.

Τώρα, πιστεύω ότι, γνωρίζοντας αυτό,

μπορούμε να λάβουμε αποφασιστικά μέτρα για να διατηρήσουμε τους δημοκρατικούς μας θεσμούς,

να κάνουμε αυτό που ο άνθρωπος κάνει καλύτερα, που είναι η προσαρμογή.

Αλλά ο χρόνος είναι ένας παράγοντας.

Εβδομήντα χώρες αναπτύσσουν δικά τους τηλεκατευθυνόμενα

μη επανδρωμένα μέσα μάχης

κι όπως θα δείτε, τα τηλεκατευθυνόμενα μη επανδρωμένα μέσα

είναι ο πρόδρομος των αυτόματων ρομποτικών όπλων.

Αυτό συμβαίνει γιατί άπαξ κι αναπτυχθούν τηλεκατευθυνόμενα μη επανδρωμένα μέσα,

υπάρχουν τρεις ισχυροί παράγοντες
που σπρώχνουν τη λήψη αποφάσεων

μακριά από τον άνθρωπο και
προς την ίδια την οπλική πλατφόρμα.

Ο πρώτος από αυτούς είναι ο κατακλυσμός
από βίντεο που παράγουν τα μη επανδρωμένα μέσα.

Για παράδειγμα, το 2004, ο στόλος των μη επανδρωμένων μέσων των ΗΠΑ παρήγαγε

ένα γενικό σύνολο 71 ωρών βιντεοεπιτήρησης
για ανάλυση.

Μέχρι το 2011, αυτό είχε ανέβει στις 300.000 ώρες,

ξεπερνώντας την ανθρώπινη ικανότητα
για την ολική του αξιολόγηση,

αλλά ακόμη κι αυτός ο αριθμός
είναι έτοιμος ν' αυξηθεί δραστικά.

Τα προγράμματα Gorgon Stare και Argus
του Πενταγώνου

θα θέσουν μέχρι 65 λειτουργικώς ανεξάρτητα
μάτια καμερών

σε κάθε πλατφόρμα μη επανδρωμένου μέσου

κι αυτό θα ξεπερνούσε κατά πολύ
την ανθρώπινη ικανότητα για αξιολόγηση.

Αυτό σημαίνει ότι το λογισμικό οπτικής νοημοσύνης
θα πρέπει

να το εξετάζει για στοιχεία
που παρουσιάζουν ενδιαφέρον.

Κι αυτό σημαίνει ότι πολύ σύντομα

τα μη επανδρωμένα μέσα
θα λένε στους ανθρώπους τι να κοιτάξουν,

όχι το αντίστροφο.

Αλλά υπάρχει ένα δεύτερο ισχυρό κίνητρο που ωθεί

τη λήψη αποφάσεων μακριά από τους ανθρώπους και προς τις μηχανές

κι αυτό είναι οι ηλεκτρομαγνητικές παρεμβολές

που διακόπτουν τη σύνδεση μεταξύ
του μη επανδρωμένου μέσου

και του χειριστή του.

Είδαμε ένα τέτοιο παράδειγμα το 2011

όταν ένα αμερικανικό μη επανδρωμένο αεροσκάφος RQ-170 Sentinel

μπερδεύτηκε λίγο πάνω από το Ιράν, λόγω μιας επίθεσης εξαπάτησης του GPS, αλλά

οποιοδήποτε τηλεκατευθυνόμενο μη επανδρωμένο μέσο είναι ευπαθές σε αυτού του είδους την επίθεση

κι αυτό σημαίνει ότι τα μη επανδρωμένα μέσα

θα πρέπει να αναλάβουν περισσότερες
λήψεις αποφάσεων.

Θα γνωρίζουν τον αντικειμενικό σκοπό της αποστολής τους

και θα αντιδρούν στα νέα δεδομένα
χωρίς ανθρώπινη καθοδήγηση.

Θα αγνοούν εξωτερικά ραδιοσήματα

και θα στέλνουν ελάχιστα δικά τους.

Αυτό μας φέρνει, πραγματικά, στο τρίτο

και πιο ισχυρό κίνητρο πίεσης της λήψης αποφάσεων

μακριά από τον άνθρωπο και προς τα όπλα:

την εύλογη δυνατότητα άρνησης.

Ζούμε σε μια παγκόσμια οικονομία.

Κατασκευές υψηλής τεχνολογίας πραγματοποιούνται
στις περισσότερες ηπείρους.

Η κυβερνοκατασκοπεία διακτινίζει
προηγμένα σχέδια μακριά

σε άγνωστα μέρη

και σε αυτό το περιβάλλον, είναι πολύ πιθανό

ότι ένας επιτυχής σχεδιασμός μη επανδρωμένου μέσου θα ξεφύγει από τα εργοστάσια της σύμβασης,

θα εξαπλωθεί στην γκρίζα αγορά.

Και σε αυτή την περίπτωση, σε μια προσεκτική εξέταση των συντριμμιών

μιας επίθεσης αυτοκτονίας μη επανδρωμένου μέσου, πολύ δύσκολα θα μπορεί να ειπωθεί

ποιος έστειλε το εν λόγω όπλο.

Αυτό εγείρει την πολύ πραγματική πιθανότητα

του ανώνυμου πολέμου.

Αυτό θα μπορούσε να ταρακουνήσει
τις γεωπολιτικές ισορροπίες κατακέφαλα,

να καταστήσει πολύ δύσκολο σε ένα έθνος
να στρέψει τη δύναμη πυρός του

εναντίον ενός εισβολέα και αυτό θα μπορούσε
να μετατοπίσει την ισορροπία

του 21ου αιώνα, μακριά από την άμυνα
και προς την επίθεση.

Θα μπορούσε να κάνει τη στρατιωτική δράση μία βιώσιμη επιλογή

όχι μόνο για τα μικρά έθνη,

αλλά για εγκληματικές οργανώσεις,
ιδιωτικές επιχειρήσεις,

ακόμη και ισχυρών ατόμων.

Αυτό θα μπορούσε να δημιουργήσει ένα πεδίο
από αντίπαλους πολέμαρχους

υπονομεύοντας το κράτος δικαίου
και την κοινωνία των πολιτών.

Εάν η υπευθυνότητα και η διαφάνεια

είναι δύο από τους ακρογωνιαίους λίθους
της αντιπροσωπευτικής κυβέρνησης,

τα αυτόνομα ρομποτικά όπλα θα μπορούσαν
να υποσκάψουν και τα δύο.

Μπορεί να σκέφτεστε ότι

οι πολίτες των εθνών υψηλής τεχνολογίας

θα είχαν το πλεονέκτημα σε κάθε ρομποτικό πόλεμο,

ότι οι πολίτες αυτών των εθνών θα ήταν
λιγότερο ευάλωτοι,

ιδιαίτερα ενάντια στις αναπτυσσόμενες χώρες.

Αλλά νομίζω ότι η αλήθεια είναι το ακριβώς αντίθετο.

Νομίζω ότι οι πολίτες των κοινωνιών
υψηλής τεχνολογίας

είναι πιο ευάλωτοι στα ρομποτικά όπλα

και η αιτία μπορεί να συνοψιστεί σε μία λέξη: Δεδομένα.

Τα δεδομένα κινούν τις κοινωνίες
υψηλής τεχνολογίας.

Γεωτοποθεσία κινητού τηλεφώνου,
μεταδεδομένα τηλεπικοινωνιών,

κοινωνικά μέσα, ηλεκτρονικό ταχυδρομείο, κείμενα,
δεδομένα οικονομικών συναλλαγών,

μεταφορά δεδομένων,
είναι μία πληθώρα δεδομένων πραγματικού χρόνου

σχετικά με τις κινήσεις και
τις κοινωνικές αλληλεπιδράσεις των ατόμων.

Εν ολίγοις, είμαστε πιο ορατοί στις μηχανές

από οποιαδήποτε πληθυσμιακή ομάδα στην ιστορία

κι αυτό ταιριάζει απόλυτα στις ανάγκες στόχευσης
των αυτόνομων όπλων.

Αυτό που βλέπετε εδώ

είναι ένας χάρτης ανάλυσης συνδέσμων
μιας κοινωνικής ομάδας.

Οι γραμμές υποδηλώνουν κοινωνική συνεκτικότητα μεταξύ των ατόμων.

Κι αυτοί οι τύποι των χαρτών
μπορούν να δημιουργηθούν αυτόματα

με βάση τα ίχνη δεδομένων
που οι σύγχρονοι άνθρωποι αφήνουν πίσω τους.

Συνήθως χρησιμοποιούνται για την προώθηση
αγαθών και υπηρεσιών

με δημογραφική στόχευση, αλλά
είναι μια τεχνολογία διττής χρήσης,

επειδή η στόχευση χρησιμοποιείται
σ' ένα άλλο πλαίσιο.

Παρατηρήστε ότι ορισμένα άτομα
είναι επισημασμένα.

Είναι οι κόμβοι των κοινωνικών δικτύων.

Πρόκειται για διοργανωτές, διαμορφωτές
της κοινής γνώμης, ηγέτες

κι αυτοί οι άνθρωποι επίσης μπορούν
ν' αναγνωριστούν αυτόματα

από τα μοτίβα επικοινωνίας τους.

Τώρα, εάν είστε έμποροι, ίσως μετά
να τους στοχοποιούσατε

με δείγματα προϊόντων, ίσως επιχειρούσατε
να προωθήσετε τη μάρκα σας

μέσω των κοινωνικών τους ομάδων.

Αλλά, αν είστε μια τυραννική κυβέρνηση

που αναζητά πολιτικούς εχθρούς,
αντί αυτού μπορείτε ίσως να τους απομακρύνετε,

να τους εξαλείψετε, να διαταράξετε
την κοινωνική ομάδα τους

κι εκείνοι που παραμείνουν πίσω
χάνουν την κοινωνική συνοχή

και οργάνωση.

Τώρα σε έναν κόσμο από φτηνά, πολλαπλασιαζόμενα ρομποτικά όπλα,

τα σύνορα θα προσέφεραν πολύ μικρή προστασία

στους επικριτές απόμακρων κυβερνήσεων

ή διακρατικών εγκληματικών οργανώσεων.

Λαϊκά κινήματα διψασμένα για αλλαγή

θα μπορούσαν να εντοπιστούν νωρίς
και οι ηγέτες τους να εξαλειφθούν

πριν οι ιδέες τους επιτύχουν την κρίσιμη μάζα.

Και οι ιδέες που επιτυγχάνουν την κρίσιμη μάζα

αφορούν τον πολιτικό ακτιβισμό στη λαϊκή κυβέρνηση.

Ανώνυμα θανατηφόρα όπλα θα μπορούσαν
να κάνουν τη θανατηφόρο δράση

μια εύκολη επιλογή για όλα τα είδη των ανταγωνιστικών συμφερόντων.

Κι αυτό θα πάγωνε την ελευθερία του λόγου

και την λαϊκή πολιτική δράση,
την ίδια την καρδιά της Δημοκρατίας.

Γι' αυτό χρειαζόμαστε μια διεθνή συνθήκη

για τα ρομποτικά όπλα και ειδικότερα
μια καθολική απαγόρευση

στη δημιουργία και ανάπτυξη
των ρομπότ δολοφόνων.

Ήδη έχουμε διεθνείς συνθήκες

για πυρηνικά και βιολογικά όπλα και, παρότι ελλιπείς,

αυτές έχουν λειτουργήσει σε μεγάλο βαθμό.

Αλλά τα ρομποτικά όπλα μπορεί να είναι
εξίσου επικίνδυνα,

επειδή σχεδόν σίγουρα θα χρησιμοποιηθούν

κι επίσης θα διάβρωναν
τους δημοκρατικούς μας θεσμούς.

Το Νοέμβριο του 2012,
το Υπουργείο Άμυνας των ΗΠΑ

εξέδωσε μια οδηγία που απαιτούσε

την παρουσία ανθρώπου σε όλες τις θανατηφόρες αποφάσεις.

Αυτό προσωρινά απαγόρευσε αποτελεσματικά
τα αυτόνομα όπλα του αμερικάνικου στρατού,

αλλά, η εν λόγω οδηγία χρειάζεται να γίνει μόνιμη.

Και θα μπορούσε να θέσει τη βάση
για παγκόσμια δράση.

Διότι χρειαζόμαστε ένα διεθνές νομικό πλαίσιο

για τα ρομποτικά όπλα.

Και το χρειαζόμαστε τώρα, προτού να υπάρξει
μια καταστροφική επίθεση

ή ένα τρομοκρατικό περιστατικό
που θα προκαλέσει στα έθνη του κόσμου

να βιαστούν να υιοθετήσουν αυτά τα όπλα

πριν σκεφτούν τις συνέπειες.

Τα αυτόνομα ρομποτικά όπλα επικεντρώνουν
πάρα πολύ δύναμη

σε λιγοστά χέρια κι αυτά θα έθεταν σε κίνδυνο
την ίδια τη δημοκρατία.

Μην με παρεξηγείτε, πιστεύω ότι υπάρχουν πάμπολες

σπουδαίες χρήσεις των αμάχων
μη επανδρωμένων μέσων:

περιβαλλοντική παρακολούθηση,
έρευνα και διάσωση, μεταφορά προμηθειών.

Αν έχουμε μια διεθνή συνθήκη
για τα ρομποτικά όπλα,

πώς κερδίζουμε τα οφέλη των αυτόνομων
μη επανδρωμένων μέσων

και οχημάτων ενόσω προστατεύουμε παράλληλα
τους εαυτούς μας

από τα παράνομα ρομποτικά όπλα;

Νομίζω ότι το μυστικό θα είναι η διαφάνεια.

Κανένα ρομπότ δεν θα πρέπει να έχει την προσδοκία
της ιδιωτικότητας

σε δημόσιο χώρο.

(Χειροκρότημα)

Κάθε ρομπότ και μη επανδρωμένο μέσο
θα πρέπει να έχει

μια ψηφιακά κρυπτογραφημένη ταυτότητα
που να δημιουργείται στο εργοστάσιο και

να μπορεί να χρησιμοποιηθεί για να παρακολουθείται η κίνησή του σε δημόσιους χώρους.

Έχουμε πινακίδες στα αυτοκίνητα,
αριθμούς σειράς στα αεροσκάφη.

Αυτό δεν είναι κάτι διαφορετικό.

Κάθε πολίτης θα πρέπει να είναι σε θέση
να κατεβάσει μια εφαρμογή

που θα δείχνει τον πληθυσμό των μη επανδρωμένων μέσων και αυτόνομων οχημάτων

που κινούνται μέσα σε δημόσιους χώρους γύρω του,

τόσο αυτή τη στιγμή όσο και ιστορικά.

Και οι πολιτικοί ηγέτες θα πρέπει να αναπτύξουν αισθητήρες και πολιτικά μη επανδρωμένα μέσα

για τον εντοπισμό έκνομων
μη επανδρωμένων μέσων,

κι αντί της αποστολής δικών τους φονικών μη επανδρωμένων μέσων για να τα καταστρέψουν,

θα πρέπει να ενημερώνουν τους ανθρώπους
για την παρουσία τους.

Και σε ορισμένες περιοχές πολύ υψηλής ασφάλειας,

ίσως τα πολιτικά μη επανδρωμένα μέσα να τα παγιδεύουν

και να τα παρασέρνουν σε μια εγκατάσταση εξουδετέρωσης βομβών.

Αλλά προσέξτε, αυτό είναι περισσότερο
ένα ανοσοποιητικό σύστημα

από ένα σύστημα όπλων.

Θα μας επέτρεπε να επωφεληθούμε οι ίδιοι τη χρήση

αυτόνομων οχημάτων και μη επανδρωμένων μέσων,

διατηρώντας ακόμα την ανοικτή μας
κοινωνία των πολιτών.

Πρέπει να απαγορεύσουμε την ανάπτυξη
και δημιουργία

ρομπότ δολοφόνων

Ας μην υποκύψουμε στον πειρασμό
να αυτοματοποιήσουμε τον πόλεμο.

Αυταρχικές κυβερνήσεις
κι εγκληματικές οργανώσεις

αναμφίβολα θα το κάνουν, αλλά
ας μην τους συμμεριστούμε.

Τα αυτόνομα ρομποτικά όπλα

θα συγκέντρωναν υπερβολική εξουσία

σε ελάχιστα αθέατα χέρια

κι αυτό θα ήταν διαβρωτικό
για την αντιπροσωπευτική κυβέρνηση.

Ας σιγουρευτούμε ότι,
τουλάχιστον στις δημοκρατίες,

τα ρομπότ δολοφόνοι
θα παραμείνουν επιστημονική φαντασία.

Ευχαριστώ.

(Χειροκρότημα)

Σας ευχαριστώ.
(Χειροκρότημα)