This is a thought experiment.
Let's say at some point in the not so distant future,
you're barreling down the highway in your self-driving car,
and you find yourself boxed in on all sides by other cars.
Suddenly, a large, heavy object falls off the truck in front of you.
Your car can't stop in time to avoid the collision,
so it needs to make a decision:
go straight and hit the object,
swerve left into an SUV,
or swerve right into a motorcycle.
Should it prioritize your safety by hitting the motorcycle,
minimize danger to others by not swerving,
even if it means hitting the large object and sacrificing your life,
or take the middle ground by hitting the SUV,
which has a high passenger safety rating?
So what should the self-driving car do?
If we were driving that boxed in car in manual mode,
whichever way we'd react would be understood as just that,
a reaction,
not a deliberate decision.
It would be an instinctual panicked move with no forethought or malice.
But if a programmer were to instruct the car to make the same move,
given conditions it may sense in the future,
well, that looks more like premeditated homicide.
Now, to be fair,
self-driving cars are are predicted to dramatically reduce traffic accidents
and fatalities
by removing human error from the driving equation.
Plus, there may be all sorts of other benefits:
eased road congestion,
decreased harmful emissions,
and minimized unproductive and stressful driving time.
But accidents can and will still happen,
and when they do,
their outcomes may be determined months or years in advance
by programmers or policy makers.
And they'll have some difficult decisions to make.
It's tempting to offer up general decision-making principles,
like minimize harm,
but even that quickly leads to morally murky decisions.
For example,
let's say we have the same initial set up,
but now there's a motorcyclist wearing a helmet to your left
and another one without a helmet to your right.
Which one should your robot car crash into?
If you say the biker with the helmet because she's more likely to survive,
then aren't you penalizing the responsible motorist?
If, instead, you save the biker without the helmet
because he's acting irresponsibly,
then you've gone way beyond the initial design principle about minimizing harm,
and the robot car is now meting out street justice.
The ethical considerations get more complicated here.
In both of our scenarios,
the underlying design is functioning as a targeting algorithm of sorts.
In other words,
it's systematically favoring or discriminating
against a certain type of object to crash into.
And the owners of the target vehicles
will suffer the negative consequences of this algorithm
through no fault of their own.
Our new technologies are opening up many other novel ethical dilemmas.
For instance, if you had to choose between
a car that would always save as many lives as possible in an accident,
or one that would save you at any cost,
which would you buy?
What happens if the cars start analyzing and factoring in
the passengers of the cars and the particulars of their lives?
Could it be the case that a random decision
is still better than a predetermined one designed to minimize harm?
And who should be making all of these decisions anyhow?
Programmers?
Companies?
Governments?
Reality may not play out exactly like our thought experiments,
but that's not the point.
They're designed to isolate and stress test our intuitions on ethics,
just like science experiments do for the physical world.
Spotting these moral hairpin turns now
will help us maneuver the unfamiliar road of technology ethics,
and allow us to cruise confidently and conscientiously
into our brave new future.
هذه تجربة خيالية
لنقل أنه في مرحلة ما ليست بالبعيدة
أنطلقت على الطريق السريق بسيارتك ذاتية القيادة
ووجدت أن سيارك قد اُقفل عليها بالسيارات الأخرى
وفجأة تسقط عليك مواد كبيرة وثقيلة من الشاحنة التي أمامك
سيارتك لايمكنها التوقف في الوقت المناسب لتجنب الأصطدام
وعليها أن تتخذ القرار
تتجه إلى الأمام وتصطدم بمواد الشاحنة
أو تنحرف يساراً بإتجاه سيارات الدفع الرباعي
أو تنحرف يميناً بإتجاه الدراجة النارية
أتكون سلامتك أولويتها وتضرب الدراجة النارية
أم تقليل الخطر على الأخرين بعدم الإنحراف
حتى لو كان بالإصطدام بالمواد الضخمة والتضحية بحياتك،
أو أختيار الحل الأوسط بالإصطدام بسيارات الدفع الرباعي
أي خيار يحمل معدل نجاة أعلى للراكبين ؟
إذاً ماذا يجب على السيارة ذاتية القيادة أن تفعل ؟
إذا كنا نقود في مثل هذا الزحام على الوضع اليدوي
أياً كان تصرفك سيُفهم أنه أتُخذ هكذا ببساطة
ردة فعل
ليس قراراً مُتعمداً
سيكون تصرف مذعور بدون أي تفكير مسبق أو تعمد أذي
ولكن لو برمج المبرمج السيارة بإتخاذ نفس التصرف
ظروف معينة قد تُفهم في المستقبل
حسناً, قد يبدو هذا قتل عمد مع سبق الإصرار
والآن لنكون عادلين
السيارات ذاتية القيادة متوقع لها أن تقلل كثيراً من حوادث السيارات
والوفيات
بأستبعاد الأخطاء البشرية من معادلة القيادة
بالإضافة إلى كافة أنواع الفوائد الأخري
تخفيف إزدحام الطرق
وتخفيض الإنبعاثات الضارة
وتقليل من وقت القيادة المتوترة الغير منتجة
ولكن لاتزال هناك إمكانية لوقوع حوادث
وعندما تحدث
يمكن تحديد نتائجها أشهر أو سنين مقدماً
من قبل المبرمجين أو المسؤولين
وسيكون عليهم إتخاذ بعض القرارات الصعبة
وإنه لمن المغري أن تقدم بعض المبادئ العامة بمسألة إتخاذ القرار
مثل تقليل الخطر
ولكن ذلك قد يقود إلى خيارات معتمة أكثر
على سبيل المثال
لنتخيل أننا في نفس الموقف السابق
ولكن الآن يوجد هناك سائقة دراجة نارية ترتدي خوذة إلى يسارك
وقائد دراجة أخر يقود دراجته بدون خوذة
أي من السائقين على سيارتك المبرمجة أن تصطدم به؟
إذا إفترضنا السائقة صاحبة الخوذة لأن إحتمالية نجاتها أعلى
ألست تظلم راكبة الدراجة المهتمة بالسلامة ؟
وإذا بالمقابل تجنبت راكب الدراجة بدون الخوذة
لأنه لم يهتم بالسلامة
تكون قد أنحرفت كثيراً عن المبدأ الأول بشأن تقليل الخطر
وتكون سيارتك المبرمجة قد خالفت عدالة الشارع
الأعتبارات الأخلاقية قد تكون أعقد من هذا
وفي كلا السيناريوهات
التصميم الأساسي يعمل وفق خوارزمية إستهدافية نوعاً ما
بكلمات أخرى
إنها بشكل مبرمج تفضل أو تميز
شخص عن أخر أو كائن للإصطدام به
ومالكي المركبات المستهدفة
سوف يعانوا من عواقب سلبية بسبب هذه الخوارزمية
بدون أي ذنب إرتكبوه
تقنياتنا الجديدة تفتح العديد من الروايات للمعضلات الأخلاقية
على سبيل المثال إذا كان عليك الإختيار بين
السيارة المبرمجة على الحفاظ على أكبر قدر من الحيوات في حادث ما
أو تلك التي ستحافظ عليك أنت مهما كلفها
أي من السيارتين ستشتري ؟
ماذا سيحدث إذا بدأت السيارات بتحليل وحوسبة
قائدي السيارات وتفاصيل حياتهم
هل سيكون في تلك الحالة قرار إعتباطي
هل سيكون قرار أفضل من واحدة محددة سلفاً أن تقلل من الخطر
وعلى كل حال من سيكون المسؤول عن صناعة هذه القرارات
المبرمجون
الشركات
الحكومات
الواقع قد لايتماشى مع نتاج خبراتنا
ولكن تلك ليست نقطتنا
إنها مصممة لتختبر وتجهد حدسنا الأخلاقي
تماماً مثل ما تصنع التجارب العلمية في العالم المادي
إكتشاف مثل هذه الأخلاقيات الصعبة يبدأ الآن
سيساعدنا في التعامل مع طرق غير معتادة لأخلاقيات التكنولوجيا
وتساعدنا في الإنسياب بثقة وضمير
نحو مستقبل جديد وشجاع
Dies ist ein Gedankenexperiment.
Angenommen, Sie fahren in naher Zukunft
in Ihrem selbstfahrenden Auto auf der Autobahn
und sind von allen Seiten von anderen Fahrzeugen umgeben.
Plötzlich fällt vom LKW vor Ihnen ein großer, schwerer Gegenstand.
Ihr Auto kann einen Zusammenstoß nicht vermeiden,
also muss es entscheiden:
darauf zufahren und das Objekt rammen,
nach links in einen SUV ausweichen,
oder nach rechts in ein Motorrad?
Sollte es Ihre Sicherheit priorisieren, indem es Letzteres anfährt,
die Gefahr für andere minimieren, indem es nicht ausweicht,
selbst wenn dies einen Zusammenstoß, und damit Ihren Tod bedeuten könnte,
oder den Mittelweg wählen, indem es den SUV trifft,
der die Insassen besser schützt?
Was sollte das selbstfahrende Auto tun?
Wenn wir das eingezwängte Auto selbst im manuellen Modus fahren,
würde es, egal wie wir reagierten, als genau dies verstanden werden:
eine Reaktion,
keine bewusste Entscheidung.
Es wäre eine instinktive Panikreaktion, ohne Voraussicht oder Böswilligkeit.
Aber würde das Auto so programmiert, dass es dasselbe Manöver ausführt,
wenn es merkt, dass bestimmte Bedingungen erfüllt sind,
dann sähe dies eher nach vorsätzlicher Tötung aus.
Bleiben wir fair:
Selbstfahrende Autos sollen die Anzahl der Unfälle und Verkehrstoten
drastisch reduzieren,
indem menschliches Versagen beim Fahren verhindert wird.
Es könnte auch viele weitere Vorteile geben:
Weniger Stau,
weniger schädliche Abgase
und weniger unproduktive, stressige Fahrzeit.
Aber Unfälle können und werden passieren,
und wenn es so ist,
wird ihr Ausgang vielleicht Monate oder Jahre im Voraus bestimmt werden,
und zwar von Programmierern oder Entscheidungsträgern,
die schwierige Entscheidungen werden treffen müssen.
Man mag versucht sein grundsätzliche Entscheidungsprinzipien,
wie Schadensminimierung, zu formulieren,
doch selbst dies kann zu moralisch fragwürdigen Entscheidungen führen.
Sagen wir mal,
wir hätten die gleiche Ausgangssituation,
aber jetzt ist links eine Rollerfahrerin mit Helm
und rechts fährt jemand ohne Helm.
Wen soll das Roboterauto rammen?
Nimmt man die Fahrerin mit Helm, da sie eher überleben wird,
bestraft man dann nicht verantwortungsbewusste Fahrer?
Nimmt man den Fahrer ohne Helm,
da er verantwortungslos handelt,
dann stellt man sich über das ursprüngliche Schadensminimierungsprinzip
und das Roboterauto übt Selbstjustiz.
Die ethischen Erwägungen werden hier komplizierter.
In beiden Szenarien
fungiert das zugrundeliegende Konstrukt quasi als algorithmische Zielvorrichtung.
Anders gesagt,
favorisiert oder diskriminiert es systematisch
bestimmte Objekte, die gerammt werden sollten.
Und die Besitzer der Zielfahrzeuge
werden die negativen Konsequenzen dieses Algorithmus tragen,
und zwar ohne eigenes Verschulden.
Unsere neuen Technologien bringen viele neuartige ethische Dilemmata mit sich.
Hättest du etwa die Wahl zwischen einem Auto,
das bei einem Unfall stets so viele Leben wie möglich retten würde,
und einem Auto, das definitiv dich retten würde,
welches würdest du kaufen?
Was passiert, wenn Autos anfangen, ihre Insassen und die Details
aus deren Leben zu analysieren und zu integrieren?
Ist eine zufällige Entscheidung besser,
als eine vorgegebene mit dem Ziel der Schadensminimierung?
Und wer sollte all diese Entscheidungen überhaupt treffen?
Programmierer?
Unternehmen?
Regierungen?
Unsere Gedankenexperimente werden zwar nicht unbedingt Realität,
aber darum geht es nicht.
Sie sollen unsere Moralvorstellungen ausloten und hinterfragen,
wie wissenschaftliche Experimente über die physische Welt.
Wenn wir diese moralischen Haarnadelkurven jetzt entdecken,
können wir die unbekannten Straßen der Technologieethik bewältigen,
was uns ermöglicht, souverän und gewissenhaft
in eine schöne neue Zukunft zu fahren.
Αυτό είναι ένα πείραμα σκέψης.
Ας πούμε ότι μια μέρα στο όχι και τόσο μακρινό μέλλον,
βρίσκεσαι στον αυτοκινητόδρομο με το αυτοοδηγούμενο όχημα σου
και παγιδεύεσαι από όλες τις μεριές από άλλα αυτοκίνητα.
Ξαφνικά ένα μεγάλο και βαρύ αντικείμενο πέφτει από το φορτηγό μπροστά σου.
Το αυτοκίνητο σου δεν προλαβαίνει να σταματήσει έγκαιρα για να το αποφύγει,
οπότε πρέπει να πάρει μια απόφαση:
συνεχίζει ευθεία και χτυπάει στο αντικείμενο,
στρίβει αριστερά και χτυπάει στο φορτηγάκι,
ή στρίβει δεξιά και χτυπάει στην μηχανή.
Πρέπει για την ασφάλεια σου να χτυπήσει την μηχανή,
να ελαχιστοποιήσει τον κίνδυνο για τους υπόλοιπους μη στρίβοντας,
ακόμα κι αν αυτό σημαίνει να χτυπήσει το αντικείμενο και να σκοτωθείς,
ή ακολουθεί την μέση λύση χτυπώντας το φορτηγάκι,
το οποίο προσφέρει μεγάλη παθητική ασφάλεια στους επιβάτες του;
Λοιπόν, τι θα έπρεπε να κάνει το αυτοοδηγούμενο όχημα;
Αν οδηγούσαμε αυτό το παγιδευμένο αυτοκίνητο χειροκίνητα,
οποιαδήποτε αντίδρασή μας θα εκλαμβανόταν ως ένα μόνο πράγμα:
ως μια αντίδραση
και όχι ως μια εκούσια απόφαση.
Θα ήταν μια ενστικτώδης πανικόβλητη αντίδραση χωρίς υστεροβουλία.
Αλλά αν ένας προγραμματιστής έπρεπε να δώσει οδηγίες στο αμάξι
να αντιδράσει με τον ίδιο τρόπο σε δεδομένες συνθήκες στο μέλλον,
αυτό μάλλον μοιάζει με ανθρωποκτονία εκ προμελέτης.
Για να είμαστε δίκαιοι,
τα αυτοοδηγούμενα οχήματα προβλέπεται να μειώσουν εντυπωσιακά
τα τροχαία ατυχήματα και τους θανάτους
απομακρύνοντας το ανθρώπινο λάθος από την οδηγική εξίσωση.
Επίσης, θα υπάρχουν και άλλα οφέλη:
συντονισμένη κυκλοφορία,
μειωμένες εκπομπές ρύπων,
και ελαχιστοποίηση του μη παραγωγικού και στρεσογόνου οδηγικού χρόνου.
Αλλά τα ατυχήματα θα συνεχίσουν να γίνονται,
και όταν θα γίνονται
τα αποτελέσματα τους ίσως να καθορίζονται μήνες και χρόνια εκ των προτέρων
από προγραμματιστές ή διαμορφωτές πολιτικής.
Και θα πρέπει να πάρουν αρκετά δύσκολες αποφάσεις.
Είναι δελεαστικό να βάλουμε γενικές καθοριστικές αρχές,
όπως το ελάχιστο κακό,
αλλά ακόμα κι αυτό γρήγορα οδηγεί σε ηθικά σκοτεινές αποφάσεις.
Για παράδειγμα,
ας πούμε ότι έχουμε την ίδια διευθέτηση,
αλλά τώρα υπάρχει ένας μοτοσυκλετιστής με κράνος στα αριστερά
και ένας άλλος χωρίς κράνος στα δεξιά σου.
Με ποιον από τους δύο θα έπρεπε να συγκρουστεί;
Αν πεις τον αναβάτη με το κράνος, επειδή είναι πιο πιθανό να επιβιώσει,
δεν τιμωρείς τότε τον υπεύθυνο μοτοσυκλετιστή;
Αν αντιθέτως, πεις τον αναβάτη χωρίς το κράνος
επειδή φέρεται ανεύθυνα,
τότε έχεις ξεφύγει κατά πολύ από την αρχικά παραδεκτή αρχή της ελάχιστης ζημιάς
και το ρομπότ-αυτοκίνητο αποδίδει πλέον δικαιοσύνη του δρόμου.
Εδώ οι ηθικές ανησυχίες γίνονται πιο πολύπλοκες.
Και στα δύο σενάρια,
το βασικό σχέδιο λειτουργεί σαν ένας αλγόριθμος στοχοποίησης ανά είδος.
Με άλλα λόγια,
συστηματικά προτιμάει ή ξεχωρίζει
έναν συγκεκριμένο τύπο οχημάτων με τον οποίο θα συγκρούεται.
Και οι ιδιοκτήτες των στοχευόμενων οχημάτων
θα υποστούν τις αρνητικές επιπτώσεις αυτού του αλγόριθμου
χωρίς να φταίνε σε τίποτα.
Οι καινούργιες τεχνολογίες ανοίγουν πολλά ακόμα πρωτότυπα ηθικά διλήμματα.
Για παράδειγμα αν έπρεπε να διαλέξεις ανάμεσα
σε ένα αυτοκίνητο που θα έσωζε όσες περισσότερες ζωές γίνεται σε ένα ατύχημα,
ή ένα που θα έσωζε εσένα με κάθε κόστος,
ποιο θα αγόραζες;
Τι θα συνέβαινε αν τα αμάξια άρχιζαν να αναλύουν και να παραγοντοποιούν
τους επιβάτες των αυτοκινήτων και στοιχεία από την ζωή τους;
Υπάρχει περίπτωση μια τυχαία απόφαση
να είναι καλύτερη από μια προκαθορισμένη σχεδιασμένη να ελαχιστοποιεί την ζημιά;
Και ποιος θα έπρεπε να παίρνει τελικά όλες αυτές τις αποφάσεις;
Προγραμματιστές;
Εταιρίες;
Κυβερνήσεις;
Η πραγματικότητα μπορεί να μην εξελιχτεί ακριβώς όπως τα πειράματα σκέψης,
αλλά δεν είναι αυτό το θέμα.
Είναι σχεδιασμένα να απομονώνουν και να δοκιμάζουν την αντίληψη μας περί ηθικής,
ακριβώς όπως τα επιστημονικά πειράματα κάνουν στον φυσικό κόσμο.
Εντοπίζοντας αυτά τα ηθικά προβλήματα από τώρα
θα μας βοηθήσει να ελιχθούμε στον άγνωστο δρόμο της τεχνολογικής ηθικής,
και θα μας επιτρέψει να οδηγηθούμε με αυτοπεποίθηση και σιγουριά
στο πολλά υποσχόμενο μέλλον.
Este es un experimento mental.
Digamos que en algún momento en un futuro cercano,
irás a toda velocidad por la carretera en tu automóvil robótico
y estarás acorralado por todos lados por otros autos.
De repente, un objeto grande y pesado cae del camión ante ti.
Tu auto no puede parar a tiempo para evitar la colisión,
por eso debes tomar una decisión:
seguir recto y golpear el objeto,
girar a la izquierda hacia un 4x4
o desviarse a la derecha hacia una motocicleta.
¿Debe priorizar tu seguridad golpeando la motocicleta,
minimizar el peligro para los demás no desviándose,
incluso si eso significa golpear el objeto grande y sacrificar tu vida,
u optar por el término medio golpeando la camioneta,
que tiene un alto índice de seguridad para sus pasajeros?
Entonces, ¿qué debe hacer el automóvil robótico?
Si condujéramos el automóvil en modo manual,
de cualquier forma que quisiéramos reaccionar se entendería como solo eso,
una reacción,
no una decisión deliberada.
Sería un movimiento de pánico instintivo sin premeditación o malicia.
Pero si un programador tuviera que asignar al auto hacer un movimiento,
dadas las condiciones que pueden presentarse en el futuro,
bueno, eso se parece más a homicidio premeditado.
Ahora, para ser justos,
con los autos robóticos se prevé reducir drásticamente los accidentes de tráfico
y las muertes
por la eliminación del error humano en la conducción.
Además, puede haber todo tipo de beneficios adicionales:
congestión vial aliviada,
disminución de emisiones nocivas,
y reducción al mínimo del tiempo de conducción improductivo y estresante.
Pero los accidentes pueden suceder y sucederán,
y cuando sucedan,
los resultados pueden determinarse meses o años de antelación
por programadores o diseñadores de políticas.
Y ellos tendrán que tomar algunas decisiones difíciles.
Es tentador ofrecer principios generales de decisión,
como minimizar el daño,
pero eso incluso lleva fácilmente a decisiones moralmente cuestionables.
Por ejemplo,
con la misma configuración inicial,
pero a la izquierda un motociclista con casco
y a la derecha otro sin casco.
¿Con quién debería chocar el automóvil robótico?
Si dices con motociclista con casco por tener más probabilidad de sobrevivir,
entonces, ¿no penalizas al motociclista responsable?
Si, en cambio, vas hacia al motociclista sin casco
porque él actúa de manera irresponsable, entonces
has ido mucho más allá del principio de diseño inicial de minimización de daños,
y el automóvil robótico está ahora haciendo justicia en la calle.
Las consideraciones éticas se complican más aquí.
En ambos escenarios,
el diseño subyacente funciona como un algoritmo de focalización de clases.
En otras palabras,
favorece o discrimina sistemáticamente
en contra de chocarse con un determinado tipo de objeto.
Y los dueños de los vehículos diana
sufrirán las consecuencias negativas de este algoritmo
por causas ajenas a su voluntad.
Nuestras nuevas tecnologías abren muchos otros dilemas éticos novedosos.
Por ejemplo, si tuvieras que elegir entre
un auto que siempre quiera salvar tantas vidas como fuera posible en un accidente,
o uno que te salvara a ti a toda costa,
¿cuál comprarías?
¿Qué sucede si los autos empiezan a analizar y factorizar
a los pasajeros de los autos y los detalles de sus vidas?
¿Podría darse el caso de que una decisión al azar
siga siendo mejor que una predeterminada diseñada para minimizar el daño?
¿Y quién debería tomar estas decisiones de todos modos?
¿Los programadores?
¿Las empresas?
¿Los gobiernos?
La realidad no reproduce exactamente nuestros experimentos mentales,
pero ese no es el punto.
Están diseñados para aislar y someter a presión a nuestras intuiciones éticas,
igual que los experimentos científicos lo hacen al probar el mundo físico.
Detectar este giro en U moral
nos ayudará a maniobrar en el camino desconocido de la ética de la tecnología,
y nos permitirá adentrarnos con confianza y conciencia
en nuestro nuevo y valiente futuro.
این یک آزمایش شیوه تفکر است.
چطوره بگوییم در آینده ای نه چندان دور،
در خودرو بدون راننده خود (راننده اتوماتیک) در اتوبان قل خورده و می روید،
و وسط خودروهای دیگر در اطرافتان گیر افتادید.
ناگهان، یک شیء بزرگ سنگین از کامیون روبرویی جلوی شما می افتد.
خودرو شما نمی تواند توقفی به موقع داشته تا ازبرخورد جلوگیری کند،
بنابراین باید تصمیمی بگیرد:
مستقیم رفته و با شیء برخورد کند،
به چپ به سمت SUV (شاسی بلند) منحرف شود،
یا به راست به سمت موتور منحرف شود.
آیا جان شما را اولویت قرار داده و به موتور سوار برخورد کند،
با منحرف نشدن خطر را به حداقل برساند،
حتی اگر به معنی برخورد با شیء بزرگ و فدا کردن جان شما باشد،
یا حد وسط را در نظر گرفته وبا SUV برخورد کند، ،
که میزان ایمنی سرنشین بالاتری دارد؟
پس خودرو با رانندگی اتوماتیک چکار باید بکند؟
اگر ما در شرایط رانندگی معمولی در اون شرایط گیر افتاده بودیم،
هر راهی که عکس العمل نشان می دادیم قابل درک بود،
یک عکس العمل،
نه یک تصمیم سنجیده و حساب شده.
اون یک حرکت غریزی از روی ترس است بدون دوراندیشی یا بدخواهی.
اما اگر یک برنامه نویس قرار باشد عکس العملهای مشابه را به خودرو تعلیم دهد،
که به شرایط معین در آینده حساس باشد،
خُب، این یک خودکشی عمدی بنظر می آید.
حالا، منصفانه بگوییم،
پیش بینی می شود خودروهای با راننده اتوماتیک به میزان قابل ملاحظه ای از حوادث رانندگی
و جان باختن می کاهند
اینکار با حذف اشتباهات انسانی از معادله رانندگی است.
بعلاوه، کلی فواید دیگر نیز ممکن است:
کاهش تراکم جاده ای،
کاهش نشتی های مضر،
و به حداقل رساندن زمان رانندگی پر استرس و بی حاصل.
اما حوادث همچنان رخ می دهند،
و وقتی رخ بدهند،
شاید بتوان نتایج آنها را ماهها یا سالها جلوتر محاسبه کرد
توسط برنامه نویسان و سیاست گذاران.
و آنها میبایست تصمیمات سختی را بگیرند.
وسوسه انگیزه که اصول کلی تصمیم گیری را ارئه دهیم
مثل حداقل رساندن خسارت،
اما حتی آنهم بسرعت به تصمیمات مشکوک اخلاقی منجرمی شود.
بعنوان مثال،
فرض کنیم ترکیب اولیه مشابهی داریم،
اما حالا موتورسوار سمت چپ شما کلاه ایمنی دارد
و موتورسوار دیگری در سمت راست شما کلاه ایمنی ندارد.
خودرو رباتی شما به کدام یک می بایست برخورد کند؟
اگر بگویید موتورسوار با کلاه ایمنی چون شانس زنده ماندن بیشتری دارد،
اونوقت یک موتورسوار مسئول را تنبیه میکنید؟
اگر، در عوض، موتورسوار بدون کلاه ایمنی را
بدلیل رفتار غیرمسئولانه اش نجات دادید،
پس بسیار فراتر از اصول اولیه طرح مبنی بر حداقل رساندن خسارت رفته اید،
و خودرو رباتی در حال اشاعه عدالت در خیابانهاست.
ملاحظات اخلاقی در اینجا پیچیده تر می گردد.
در هر دو سناریوی ما،
طرح زیربنایی بعنوان الگوریتم پیش بینی شده، آنهم چه الگوریتمی، عمل می کند.
به بیان دیگر،
بطور سیستماتیکی یا به نفع یا بر ضد
یکنوع شیء خاص برای برخورد، عمل می کند.
و صاحبان وسایل نقلیه مورد هدف
از نتایج منفی این الگوریم لطمه می خورند
بدون اینکه مقصر باشند.
فن آوریهای جدید ما، تجلی دیگر محظوریتهای اخلاقی بدیع هستند.
بعنوان مثال، اگر قرار بود بین دو خودرو انتخاب کنید
یکی که همیشه تا حد امکان جان افراد بیشتری را در سانحه نجات می دهد،
و آن یکی که به هر قیمتی که شده جان شما را نجات می دهد،
کدامیک را می خریدید؟
چی اتفاقی می افتد اگر خودرو ها شروع به تحلیل و فاکتورسازی
سرنشینان خودروها و جزئیات زندگی آنها بپردازند؟
آیا امکان این وجود دارد که یک تصمیم اتفاقی
هنوز هم بهتر از یک تصمیم از پیش تعیین شده که برای حداقل رساندن خسارت طراحی شده، باشد؟
و بالاخره چه کسی باید تمامی این تصمیمات را انجام دهد؟
برنامه نویسان؟
شرکتها؟
دولتها؟
ممکن است واقعیت دقیقا طبق تجربیات ذهنی ما عمل نکند،
اما نکته این نیست.
آنها اینطور طراحی شدند تا بینش ما در مورد اصول اخلاقی را جدا و تست استرس کنند،
درست مثل آزمایشات علمی از جهان فیزیکی.
یافتن چنین پیچهای تند اخلاقی در حال حاضر
به ما کمک خواهد کرد تا مانوری در مسیرهای ناآشنای اصول اخلاقی تکنولوژی انجام داده،
و به ما اجازه خواهد داد تا با اطمینان خاطر و با وجدان
در آینده جدید بی پروای خود گشت بزنیم.
Tämä on ajatuskoe.
Kuvittele, että jossain vaiheessa lähitulevaisuudessa
ajat itseohjautuvalla autolla valtatietä
ja huomaat olevasi muiden autojen välissä.
Yhtäkkiä raskas esine tipahtaa edelläsi kulkevasta rekasta eteesi.
Autosi ei voi pysähtyä ajoissa välttääkseen törmäystä,
joten sen on tehtävä päätös:
mennä suoraan esinettä päin
kaarrettava vasemmalla olevaan citymaasturiin
tai oikealle moottoriåyötää päin.
Pitäisikö sen priorisoida sinun etuasi törmäämällä moottoripyörään.
minimoida muiden vahinkoja pysymällä kaistalla,
vaikka se tarkoittaisi törmäämistä ja sinun elämäsi uhraamista,
vai törmätä maasturiin,
jolla on korkein luokitus matkustajaturvallisuudessa?
Mitä siis itseohjautuvan auton tulisi tehdä?
Jos ajaisimme autoa itse,
reaktiomme ymmärrettäisiin juuri sellaisena,
eli reaktiona,
ei tietoisena päätöksenä.
Se tulkittaisiin paniikinomaisena liikkeenä ilman pahaa tarkoitusta.
Mutta jos ohjelmoija antaa autolle ohjeet samaan liikkeeseen
määrittäen ehdot, joita se voi kohdata tulevaisuudessa,
se alkaisi näyttää enemmän harkitulta murhalta.
Ollaksemme reiluja:
itseohjautuvien autojen on ennustettu vähentävän onnettomuuksia dramaattisesti,
samoin kuolemia,
poistamalla yhtälöstä inhimillisen erehdyksen.
Niistä voi olla myös muunlaista hyötyä:
sujuvampaa liikennettä,
päästöjen vähentymistä.
ja vähemmän tuottamatonta ja stressaavaa ajoaikaa.
Onnettomuuksia voi silti tapahtua, ja tapahtuu,
ja kun niin käy,
lopputuloksen on ehkä määritellyt kuukausia tai vuosia sitten
ohjelmoija tai päättäjä.
Heillä on edessään vaikeita päätöksiä.
On houkuttavaa tarjota yleisiä päätöksentekoperiaatteita,
kuten haitan minimointia,
mutta jopa tämä johtaa pian moraalisesti hämäriin päätöksiin.
Esimerkiksi
oletetaan lähtötilanne muuten samaksi,
mutta nyt vasemmalla on kypäräpäinen moottoripyöräilijä
ja oikealla kypärätön.
Kumpaan robottiautosi tulisi törmätä?
Jos valitset kypäräpäisen siksi, että hän selviytyy todennäköisemmin,
etkö silloin rankaise vastuullista motoristia?
Jos taas valitset kypärättä ajavan pyöräilijän,
koska hän käyttäytyy vastuuttomasti,
olet kaukana alkuperäisestä ohjeesta vanhinkojen minimoimisesta
ja robottiauto harjoittaakin nyt katuoikeutta.
Eettinen pohdinta mutkistuu.
Molemmissa skenaarioissa
suunnitelma perustuu kohteen luokittelualgoritmiin.
Toisin sanoen
se systemaattisesti suosii tai syrjii
tiettyjä kohteita törmäystilanteessa.
Kohdeajoneuvojen kuljettajat
kärsivät näiden algoritmien kielteiset seuraukset
ilman omaa syytään.
Teknologiamme avaa tien uusille eettisille dilemmoille.
Esimerkiksi jos sinun on valittava
auto, joka aina pelastaisi onnettomuudessa mahdollisimman monta elämä,
tai auto, joka pelastaisi aina sinut,
kumman ostaisit?
Mitä tapahtuu, jos auto alkaa analysoida ja arvioida
auton matkustajien elämien arvoa?
Voiko sattumaan perustuva päätös
ollakin parempi kuin ennalta haitan minimoimiseen perustuva päätös?
Ja kenelle nämä päätökset kuuluvat?
Ohjelmoijille?
Yrityksille?
Hallituksille?
Todellisuus ei aina toimi kuten ajatuskokeemme,
mutta se ei ole tärkeää.
Niiden avulla voi eristää ja testata eettisiä intuitioitamme,
kuten tieteelliset kokeet testaavat fyysistä maailmaa.
Kun huomaamme näitä moraalisia käänteitä nyt,
se auttaa kulkemaan teknologian etiikan uusilla poluilla
ja kuljettaa meidät varmasti ja tietoisesti
kohti uljasta uutta tulevaisuutta.
Ceci est une expérience de pensée.
Imaginons qu'un jour, dans un futur pas si lointain,
vous fonciez à toute allure sur l'autoroute, dans votre voiture autonome,
et vous vous trouvez enfermé de tous les côtés par d'autres voitures.
Tout à coup, un objet lourd et volumineux tombe du camion qui roule devant vous.
Votre voiture ne peut s'arrêter à temps pour éviter la collision,
elle doit donc prendre une décision :
aller tout droit et percuter l'objet,
tourner à gauche et percuter un 4x4,
ou tourner à droite et percuter une moto.
Doit-elle faire passer votre sécurité en priorité en percutant la moto,
limiter le danger pour les autres en continuant tout droit,
même si cela implique de percuter l'objet et sacrifier votre vie,
ou choisir une solution intermédiaire et percuter le 4x4,
qui a une cote de sécurité du passager élevée ?
Alors, que doit faire la voiture autonome ?
Si cette voiture encerclée était conduite manuellement,
n'importe quelle réaction serait considérée comme telle,
une réaction,
pas une décision délibérée.
Ce serait un geste instictif de panique sans préméditation ni malveillance.
Mais si un programmeur ordonnait à la voiture d'agir de la même façon,
selon des conditions qu'elle pourrait détecter à l'avenir,
cela ressemble davantage à un homicide volontaire prémédité.
Pour être juste,
les voitures autonomes devraient réduire drastiquement
le nombre de décès et d'accidents
en supprimant l'erreur humaine de l'équation de la conduite.
Il y aurait toutes sortes d'autres avantages :
des embouteillages atténués,
des échappements nocifs diminués,
et un temps de conduite stressant et improductif réduit au minimum.
Si des accidents peuvent et vont toujours arriver,
quand ils arrivent,
leurs bilans pourraient être déterminés des mois ou des années à l'avance
par des programmeurs ou des décisionnaires.
Et ils vont avoir des décisions difficiles à prendre.
Il est tentant d'établir des principes décisionnels généraux,
comme de toujours limiter les dégâts,
mais même cela conduit vite à des décisions troubles sur le plan moral.
Par exemple,
imaginons la même situation initiale,
mais cette fois avec un motard avec un casque à votre gauche,
et un autre, sans casque, à votre droite.
Lequel des deux votre voiture-robot doit-elle percuter ?
Si vous dites le motard avec un casque, parce qu'il a plus de chances de survivre,
alors n'êtes-vous pas en train de pénaliser le conducteur responsable ?
Si, plutôt, vous choisissez le motard sans casque
parce qu'il agit de façon irresponsable,
alors vous avez largement dépassé le but initial, qui est de limiter les dégâts,
et la voiture-robot transgresse alors le code de la route.
Les considérations éthiques deviennent donc plus compliquées.
Dans nos deux scénarios,
le processus sous-jacent fonctionne comme un algorithme ciblant des types.
Autrement dit,
il favorise ou discrimine systématiquement
un certain type d'objet avec lequel entrer en collision.
Et les propriétaires des véhicules cibles
souffriront les conséquences négatives de cet algorithme
alors qu'ils n'ont pas commis d'erreur.
Nos nouvelles technologies ouvrent la voie à de nombreux autres débats éthiques.
Par exemple, si vous aviez à choisir entre
une voiture qui sauve toujours autant de vies que possible lors d'un accident
ou une voiture qui vous sauve vous, et ce à n'importe quel prix,
laquelle achèteriez-vous ?
Que se passe-t-il si la voiture se met à analyser et tenir compte
des passagers dans la voiture et des particularités de leur vie ?
Se pourrait-il qu'une décision aléatoire
reste meilleure qu'une prédéterminée conçue pour limiter les dégâts ?
Et qui doit prendre toutes ces décisions ?
Les programmeurs ?
Les entreprises ?
Les gouvernements ?
La réalité peut ne pas se dérouler selon nos expériences de pensée,
mais là n'est pas la question.
Elles sont conçues pour isoler et mettre nos intuitions éthiques à l'épreuve,
comme les expériences scientifiques le font pour le monde physique.
Repérer aujourd'hui ces virages en épingle sur le plan moral
nous aidra à manoeuvrer sur la route inconnue de l'éthique des technologies
et nous permettra de rouler consciencieusement et en toute confiance
vers le meilleur des avenirs.
זה ניסוי מחשבתי,
בואו נדמיין נקודה בעתיד הלא כל כך רחוק,
בה אתם דוהרים במורד הכביש המהיר במכונית הנוהגת בעצמה שלכם,
ואתם מוצאים את עצמכם לכודים מכל הכיוונים על ידי מכוניות אחרות.
פתאום, עצם גדול וכבד נופל מהמשאית לפניכם.
המכונית שלכם לא יכולה לעצור בזמן כדי להמנע מהתנגשות,
לכן היא צריכה לעשות החלטה:
להמשיך ישר ולפגוע בעצם,
לסטות שמאלה לתוך רכב שטח,
או לסטות ימינה לתוך אופנוע.
האים היא צריכה להעדיף את הבטיחות שלכם על ידי פגיעה באופנוע,
להקטין את הסכנה לאחרים על ידי כך שתמשיך ישר,
אפילו אם זה אומר פגיעה בעצם גדול ולהקריב את חייכם,
או לקחת את הדרך האמצעית ולפגוע ברכב השטח,
שיש לו דרוג בטיחות גבוה?
אז מה מכונית הנהיגה העצמית היתה עושה?
אם אנחנו היינו נוהגים במכונית הלכודה הזו במצב ידני,
בכל דרך שנגיב זה יובן בדיוק כך,
תגובה,
לא החלטה מוכוונת.
זו תהיה תנועה אינסטינקטיבית של פאניקה ללא חשיבה מוקדמת או כוונת זדון.
אבל אם מתכנת היה מורה למכונית לעשות את אותה פעולה,
בהתחשב בתנאים שהיא תחוש בעתיד,
ובכן, זה נראה יותר כמו רצח בכוונה תחילה.
עכשיו, כדי להיות הוגנים,
מכוניות שנוהגות בעצמן צפויות להפחית באופן דרמטי את תאונות הדרכים
ואת הקורבנות
על ידי הסרת טעות אנוש ממשוואת הנהיגה.
ועוד, אולי יהיו עוד כל מיני תועלות אחרות:
הקלה בעומס בכבישים,
הפחתת פליטות מזהמות,
והפחתה בזמן נהיגה לא פרודוקטיבי ומלחיץ.
אבל תאונות יכולות עדיין להתרחש והן יתרחשו,
וכשהן יתרחשו,
התוצאה שלהן אולי תקבע חודשים או שנים מראש
על ידי מתכנתים או קובעי מדיניות.
ויהיו להם כמה החלטות קשות לעשות.
זה מפתה להציע עקרונות קבלת החלטות כלליים,
כמו להפחית פגיעה,
אבל אפילו זה מוביל במהירות להחלטות עכורות מוראלית.
לדוגמה,
בואו נגיד שיש לנו את אותה נקודת התחלה,
אבל עכשיו יש אופנוענית שחובשת קסדה לשמאלכם
ואחרת בלי קסדה לימינכם.
באיזה מהם הרובוט שלכם יתנגש?
אם הייתם אומרים באופנוענית עם הקסדה מפני שיש לה יותר סיכוי לשרוד,
אז אתם לא מענישים את הרוכבת האחראית?
אם במקום, תצילו את האופנוען בלי הקסדה
בגלל שהוא לא נוהג בחוסר אחריות,
אז עברתם הרבה מעבר לעקרונות התכנון הראשוניים בנוגע להפחתת פגיעה,
והמכונית הרובוטית מבצעת עכשיו צדק רחוב.
השיקולים האתיים נעשים יותר מסובכים פה.
בשני המקרים,
התכנון המובנה פועל כאלגוריתם כיוונון מסוג שהוא.
במילים אחרות,
זו העדפה או אפליה שיטתית
נגד סוג מסויים של עצם להתנגש בו.
והבעלים של רכב המטרה
יסבול מהתוצאות השליליות של האלגוריתם
לא באשמתם.
הטכנולוגיות החדשות פותחות הרבה דילמות אתיות חדשות אחרות.
לדוגמה, אם הייתם צריכים לבחור בין
מכונית שתמיד תציל חיים רבים ככל האפשר בתאונה,
או אחת שתציל אתכם בכל מחיר,
איזו תקנו?
מה קורה אם המכונית מתחילה לנתח ולשקלל
את הנוסעים של מכוניות והפרטים על חייהם?
האם זה יכול להיות המקרה שהחלטה אקראית
עדיין טובה יותר מאחת קבועה מראש שמתוכננת להפחית פגיעה?
ומי צריך לעשות את כל ההחלטות האלו בכל אופן?
תוכניתנים?
חברות?
ממשלות?
המציאות אולי לא תתרחש בדיוק כמו הניסויים המחשבתיים שלנו,
אבל זו לא הנקודה.
הן מתוכננות לבודד ולבדוק תחת לחץ את האינטואיציה שלנו והאתיקה,
ממש כמו ניסויים מדעיים בעולם האמיתי.
לזהות את הסיבובים החדים המורליים האלו עכשיו
יעזור לנו לנווט בדרך הלא מוכרת של אתיקה טכנולוגית,
ולאפשר לנו לשייט בבטחון ובהכרה
לעתיד האמיץ והחדש שלנו.
Ez egy gondolatkísérlet.
Tegyük fel, hogy egyszer, a nem is annyira távoli jövőben
az autópályán száguldunk önvezető autónkkal,
és mindenhol autók vesznek körül.
Hirtelen az előttünk haladó teherautóról egy nagy, nehéz tárgy esik elénk.
Autónk nem tud időben megállni, hogy elkerüljük az ütközést,
így dönteni kell:
egyenesen nekiütközünk a tárgynak,
vagy balra egy terepjáróba,
esetleg jobbra egy motorosba hajtunk.
Saját biztonságunk legyen a legfontosabb, és üssük el a motorost?
Vagy minimalizáljuk mások veszélyeztetését, és ne térjünk ki,
még ha a nagy tárggyal történő ütközés következtében életünket veszíthetjük is?
Vagy köztes megoldásként menjünk bele a terepjáróba,
amelynek jó az utasbiztonsága?
Mit csináljon tehát az önvezető autónk?
Ha kézzel irányítanánk ezt a beszorított autót,
bárhogy is cselekednék,
az csak önkéntelen reakció lenne,
nem megfontolt döntés.
Ösztönös, pánikszerű cselekedet, előrelátás vagy szándékosság nélkül.
Ám, ha egy programozó meghatározza,
hogy adott jövőbeli feltételek mellett hogyan döntsön az autó,
akkor ez inkább előre megfontolt gyilkosságnak tűnik.
Valljuk be,
az önvezető autók használatával drasztikusan csökken
a közlekedési balesetek és halálesetek száma
azáltal, hogy az emberi hiba lehetőségét kivesszük a rendszerből.
Emellett egyéb előnyök is lehetnek:
kisebb közúti dugók,
alacsonyabb károsanyag-kibocsátás,
és rövidebb haszontalan, stresszes vezetéssel töltött idő.
Ám balesetek történhetnek és történnek is.
És mikor megtörténnek,
kimenetelüket már több hónappal, évvel előtte eldönthetik
programozók, döntéshozók.
És ehhez néhány nehéz döntést kell meghozniuk.
Vonzó lenne általános döntési elveket,
mint például a következmények minimalizálása, venni figyelembe,
ám még ez is hamar morálisan elfogadhatatlan döntésekhez vezethet.
Például,
tegyük fel, hogy az előbbi helyzetben
egy bukósisakos motoros van a bal.
és egy bukósisak nélküli a jobb oldalunkon.
Melyiknek menjen neki a robotautó?
Ha mondjuk a sisakosnak, csak mert ő nagyobb eséllyel marad életben,
nem büntetjük-e a felelős motorost?
Ha viszont nem mentjük meg a sisak nélküli motorost,
mivel felelőtlenül viselkedik,
akkor nagyon eltérünk az alapelvtől, hogy minimalizáljuk a következményt,
és robot autónk így utcai igazságosztóvá válik.
Az erkölcsi problémák sokkal összetettebbek itt.
Mindkét forgatókönyv esetén
beépített program működik, különböző eseményekre írt algoritmusok formájában.
Más szóval,
ez rendszerszerűen kedvez
bizonyos tárgyaknak az ütközésekkor.
Az elütött jármű tulajdonosa
pedig ezen algoritmusok,
és nem saját hibája miatt kerül bajba.
Az új technológiák sok új erkölcsi kérdést vetnek fel.
Például, melyik autót választanánk?
Azt, amelyik a lehető legtöbb életet menti meg egy baleset során,
vagy azt, amelyik minket ment meg bármi áron?
Mi történik, ha az autók elkezdik elemezni és súlyozni
az autók utasait és azok élethelyzetét.
Lehetséges, hogy egy véletlenszerű döntés jobb,
mint egy, a károk minimalizálása céljából, előre meghatározott?
És egyébként kinek kellene meghozni ezeket a döntéseket?
A programozóknak?
A cégeknek?
A kormányoknak?
A valóság lehet, nem pontosan olyan lesz, mint gondolatkísérleteink.
De nem ez a lényeg.
Ezek jók, hogy elkülönítsük és teszteljük ösztönös erkölcsi megérzéseinket,
ahogyan a tudományos kísérletekben vizsgáljuk az anyagi világot.
Ezeknek az erkölcsi problémáknak azonosítása segít
a manőverezésben a technológiai etika ismeretlen útján,
és teszi lehetővé, hogy magabiztosan és lelkiismeretesen vezessünk
a boldog jövő felé.
Questo è un esperimento mentale.
Ipotizziamo che a un certo punto, in un futuro non troppo lontano,
stiate sfrecciando in autostrada sulla vostra macchina senza conducente,
e vi troviate circondati su tutti i lati da altri veicoli.
Improvvisamente, un oggetto voluminoso e pesante cade dal camion davanti a voi.
La vostra auto non può fermarsi in tempo per evitare l'impatto,
e deve prendere una decisione:
proseguire diritto e colpire l'oggetto,
sterzare a sinistra e urtare un SUV,
o sterzare a destra e colpire una moto.
Dovrebbe dare priorità alla vostra sicurezza colpendo la moto,
ridurre al minimo il danno agli altri senza sterzare,
anche se ciò significa schiantarsi contro il carico e sacrificare la vostra vita,
oppure dovrebbe scegliere la via di mezzo e urtare il SUV,
che ha un livello di sicurezza dei passeggeri elevato?
Cosa dovrebbe fare l'auto senza conducente?
Se stessimo guidando quell'auto circondata in modalità manuale,
qualunque nostra possibile reazione sarebbe intesa semplicemente come tale,
una reazione,
non una decisione deliberata.
Sarebbe un'azione istintiva dettata dal panico,
senza premeditazione o malizia.
Ma se un programmatore desse all'auto l'istruzione di reagire nello stesso modo,
viste le situazioni che potrebbero presentarsi in futuro,
allora sembrerebbe più un omicidio premeditato.
Per essere corretti,
le macchine autonome ridurranno molto gli incidenti stradali
e le vittime,
eliminando l'errore umano dall'equazione della guida.
Inoltre, potrebbero apportare diversi altri vantaggi,
come la diminuzione del traffico,
la riduzione delle emissioni nocive,
e la minimizzazione del tempo stressante e sterile passato alla guida.
Gli incidenti, però, possono e continueranno a verificarsi
e, in tal caso,
i loro esiti potrebbero essere determinati con mesi o anni di anticipo
dai programmatori o dai policy maker,
che avranno decisioni importanti da prendere.
È allettante l'idea di proporre principi decisionali generali,
come ridurre al minimo i danni,
ma anch'essi conducono rapidamente a decisioni moralmente discutibili.
Per esempio,
immaginiamo le stesse condizioni di partenza,
ma ora ci sono una motociclista con il casco alla vostra sinistra
e uno senza casco alla vostra destra.
Contro quale dei due dovrebbe schiantarsi l'auto robot?
Se rispondete "quella con il casco" perché ha più probabilità di sopravvivere,
allora non state penalizzando il conducente responsabile?
Se, invece, salvate il motociclista senza casco
perché agisce in maniera irresponsabile,
siete andati ben oltre il principio del progetto iniziale
di ridurre al minimo i danni,
e ora l'auto robot sta applicando una sorta di giustizia fai da te.
La riflessione etica qui si complica.
In entrambe i casi,
il progetto di base funziona come un algoritmo di ordinamento mirato.
In altre parole,
predilige o esclude sistematicamente
un certo tipo di oggetto contro cui schiantarsi.
I proprietari dei veicoli "bersaglio"
subiranno le conseguenze negative di questo algoritmo,
senza però avere alcuna colpa.
Le nuove tecnologie aprono la strada a molti altri nuovi dilemmi etici.
Per esempio, se doveste scegliere
tra un'auto che salverebbe sempre più vite possibili in caso d'incidente
e una che salverebbe voi a tutti i costi,
quale comprereste?
Cosa succederebbe se la macchina iniziasse ad analizzare e prendere in considerazione
i passeggeri delle auto e i dettagli delle loro vite?
È possibile che una decisione casuale sia migliore
rispetto a una predeterminate, progettata per minimizzare i danni?
In ogni caso, chi dovrebbe prendere tutte queste decisioni?
I programmatori?
Le aziende?
I governi?
La realtà potrebbe non rivelarsi uguale ai nostri esperimenti mentali,
ma non è questo il punto.
Sono progettati per isolare e mettere alla prova le nostre intuizioni etiche,
proprio come fanno gli esperimenti scientifici con il mondo fisico.
Individuare adesso questi tornanti morali
ci aiuterà a percorrere la strada inesplorata dell'etica della tecnologia
e ci permetterà di dirigerci fiduciosamente e coscientemente
verso il nostro nuovo ardito futuro.
思考実験をしてみましょう
そう遠くない将来
自動運転車に乗って 幹線道路を高速で走っていると
周囲を囲まれた 状態になりました
突然 前を走るトラックの荷台から 重い大きな荷物が崩れ落ちてきました
ブレーキを踏んでも 衝突を避けられません
とっさに判断する 必要があります
まっすぐ進んで 荷物に突っ込むか
左によけて SUVにぶつかるか
右によけて バイクにぶつかるかです
自分の安全を最優先して バイクにぶつけるべきか
たとえそれが 大きな物への衝突で 自分の命を犠牲にすることになろうと
人様の安全を優先して よけずに直進すべきか
中間を取って
乗員の安全性が高い SUVにぶつけるべきか
自動運転車はどれを 選択すべきでしょう？
このような状況下で 人が車を手動で運転していたなら
いずれの反応をしたとしても
熟慮の上の決定ではなく
単なる反射的行動として 受け取られるでしょう
パニック状態での本能的行動であって 計画性や悪意はなかったと
しかし その同じ行動が もしプログラマーによって
将来起こりうる状況への反応として あらかじめ車に組み込まれていたとしたら
それはむしろ計画的殺人のように 見えてきます
公平を期して言うと
自動運転車は運転から 人的なミスを取り除くことで
交通事故や死者の数を
劇的に減らすと 予想されており
その他にも様々な 利点があります
道路の混雑を緩和し
有害ガス排出量を減らし
非生産的でストレスのある運転を 人間がする時間を最小限にできます
しかしそれでも 事故は起こり得
事故が起こった時 その帰結は
何ヶ月も あるいは何年も前から プログラマーや政策立案者によって
定められていたものだった かもしれないのです
そして中には 難しい決断もあるはずです
基本的には 「被害の最小化」のような
一般原則に基づいて 決められるかもしれませんが
それでも倫理的に不透明な決断を 迫られる状況は出てくるでしょう
たとえば
前と同様の状況にあったとして
ただし今回は左には ヘルメット着用のバイク
右にはヘルメットを被っていない バイクがいたとします
自動運転車はどちらに ハンドルを切るべきでしょう？
ヘルメット着用の方が生存率が高いからと そちらにぶつけるとしたら
ルールを守っている人を罰することに ならないでしょうか？
一方 ルールを守っていない
ヘルメット未着用の バイクにぶつけるとしたら
被害の最小化という設計原則から はずれることになります
そして路上において何が公正かの判断が ロボットカーに任せられることになるのです
倫理的な考慮は さらに複雑なものになり得ます
いずれのシナリオでも
設計方針は目標選択アルゴリズムとして 機能しています
言い換えると
衝突する対象物の種類として 何を選好するか
システム的に選んでいる ということです
そして標的にされた乗り物に 乗っている人は
自らには過誤がない にもかかわらず
アルゴリズムの選択による負の結果を 引き受けることになります
この新技術は その他にも新たな種類の 倫理的ジレンマをたくさん生み出します
たとえば 事故において 可能な限り多くの命を救おうとする車と
乗っている人の安全を 何よりも優先する車の
どちらかを選ばなければ ならないとしたら
どちらを買いますか？
もし車が 乗っている人が誰で どのような事情があるか
分析し考慮に入れるようになったとしたら どうなるでしょう？
被害を最小化すべく 前もって設計された判断より
その場におけるとっさの判断の方が 良いという場合はあるのでしょうか？
そういった判断はそもそも誰が 下すべきなのでしょう？
プログラマーなのか
自動車会社なのか
政府なのか？
現実がこれらの思考実験通りに 展開するとは限りませんが
それは要点ではありません
これら思考実験の役割は 物理的世界における科学実験と同様で
我々の倫理的直感を取り出して ストレステストにかけるということです
これら倫理のヘアピンカーブを 今 見極めておくことで
技術倫理の未知なる道を 巧みに抜けて
素晴らしき未来へと 自信をもって良心的に
進んでいくことが できるようになるのです
이건 사고 실험입니다.
언젠가 그리 멀리 않은 미래에
당신은 자율주행차를 타고 고속도로를 달릴 것 입니다.
그리고 다른 차에 둘러싸인 자신을 발견하게 될 것 입니다.
갑자기 앞에서 달리던 트럭에서 크고 무거운 물체가 떨어집니다.
당신의 차는 충돌을 피하기 위해 제시간에 멈출 수 없습니다.
그렇다면 결정을 해야 합니다.
직진해서 물체에 충돌한다.
SUV를 향에 왼쪽으로 방향을 튼다.
혹은 오토바이를 향해 오른쪽으로 방향을 튼다.
당신의 안전을 우선으로 고려해서 오토바이와 충돌해야 할까요?
타인의 위험을 최소화하기 위해 방향을 틀지 않아야 할까요?
비록 큰 물체에 충돌해 당신의 목숨을 희생하는 것이라도요.
혹은 SUV에 충돌할 수도 있습니다.
SUV는 안전등급이 높기 때문입니다.
자, 그럼 자율주행차는 어떤 선택을 해야 할까요?
만약 우리가 저 상황에서 차를 직접 운전하고 있었다면
어떠한 결과든 단순한 반사반응이라고 생각할 것입니다.
의도적인 결정이 아니라요.
비계획적이고 악의없는 본능적인 움직임말입니다.
그러나 같은 선택이라도 프로그래머가 미리 설정해 놓은 것이라면요?
미래의 이러한 상황에 대비해서요.
그건 좀 더 계획된 살인처럼 보이네요.
객관적으로 말하자면
자율주행차는 교통사고를 획기적으로 줄일 것입니다.
교통사고 사망률도요.
주행 시 일어날 수 있는 사람의 실수를 없애기 때문입니다.
이것뿐만이 아닙니다.
교통체증을 줄이고,
배기가스를 감소시키며,
비생산적이고 스트레스 받는 운전 시간을 최소화합니다.
그래도 교통사고는 피할 수 없습니다.
그러나 사고가 일어날 때,
그 결과는 몇 달 혹은 몇 년 전에 미리 정해질 겁니다.
프로그래머 혹은 정책결정자에 의해서요.
그리고 그들은 결단을 내려야합니다.
일반적인 의사결정 규칙을 적용하는 것은 쉽습니다.
인명 피해를 최소화하는 것처럼요.
그러나 비도덕적인 결정일 수 있습니다.
예를 들어,
동일한 초기 상황을 가정해 봅시다.
그러나 이번에는 왼쪽에 헬멧을 쓴 운전자가 있습니다.
그리고 헬멧을 쓰지 않은 운전자가 오른쪽에 있습니다.
당신의 차는 누구와 충돌해야 할까요?
만약 헬멧을 쓴 운전자가 생존확률이 높기 때문에 선택한다면
책임감 있는 오토바이 운전자에게 불이익을 가하는 건 아닐까요?
대신 무책임하다는 이유로
헬멧을 쓰지 않은 운전자를 선택한다면,
상해를 최소화한다는 설계 원칙에서 이미 한참 벗어났고,
이 로봇 차는 제멋대로 정의를 따르고 있는 것뿐입니다.
윤리적 고려사항은 여기서 더 복잡합니다.
앞의 두 선택지 모두 타겟팅 알고리즘을 기본으로 하고 있습니다.
다시 말해서,
어떤 물체에 충돌할지에 대해
선호나 차별이 있다는 거죠.
(충돌)대상 차량의 소유자는
그들의 잘못이 아님에도 이 알고리즘의 부정적 결론에 따라
고통을 받을 것입니다.
우리의 신기술은 새로운 도덕적 딜레마를 만듭니다.
예를 들어, 차를 사야하는데
사고시 가능한 많은 목숨을 살리는 차와
어떤 댓가를 지불하더라도 당신을 살리는 차 중
당신은 어떤 걸 구입할 건가요?
만약 차량이 승객의 삶을 분석하고 평가한다면 어떻게 될까요?
여전히 반사적 반응이
피해를 최소화하기 위해 미리 설정된 것 보다 나을까요?
그리고 이 모든 결정은 누가 그리고 어떻게 내려야 할까요?
프로그래머?
회사?
정부?
현실은 아마 우리의 사고실험과 정확히 일치하진 않을겁니다.
하지만 그건 핵심이 아닙니다.
사고실험은 윤리에 대한 우리의 직관을 규정하고 시험하기 위해서 설계되었습니다.
마치 물리적 세계에 대해 과학실험을 하는 것 처럼요.
이렇게 미묘한 윤리적 쟁점을 지금 발견하는 것은
우리가 익숙치 않은 기술윤리의 길을 나아가고,
우리가 확신을 가지고 양심적으로
멋진 미래를 항해하도록 할 겁니다.
हा एक वैचारिक प्रयोग आहे .
अगदी नजीकच्या काळात
तुम्ही चालकाविना चालणाऱ्या कारने प्रवास करणार
आणि तुमच्या आजूबाजूस अश्याच सर्व कार असतील .
अचानक एक मोठी अवजड वस्तू तुमच्या पुढ्यात पडते.
तुमच्या कारला पुरेसा वेळ मिळत नाही थांबविण्यासाठी .
निर्णय चटकन घ्यायचा असतो .
सरळ जाऊन त्यावर आदळावे ,
व डाव्या बाजूस वळावे
का उजव्या बाजूस मोटार सायकलकडे वळावे
मोटारसायकलवर आदळून तुम्ही सुरक्षित असाल
ते कमी नुकसानकारक आहे काय
पुढील मोठ्या वस्तूवर आदळण्याहून
किवा मधल्या ट्रकवर आदळावे,
ज्यामुळे तिच्यातील उतारूंना मोठी इजा होणार नाही.
मग ही स्वयंचलित गाडी कोणता निर्णय घेईल
जर आपण अशी गाडी MANUAL MODE मध्ये चालवीत असू
तर आपण कोणताही मार्ग स्वीकारला तर
ती एक प्रतिक्रिया असेल'
तो काही मुदामच घेतलेला निर्णय नसेल
आपण तो भयाने घेतलेला निर्णय असेल कोणाशी इजा करण्याचा हेतू त्यात नसतो.
पण जर प्रोग्रामरनेच तशी सूचना देऊन ठेवली असेल
याच स्थितीत तर --असे भविष्यात होऊ शकते
असे करणे आत्मघातकी आहे.
खरेतर,
या कारमुळे होणारे अपघात कमी होतील .
आणि मृत्यूही .
कारण त्यात मानवी चुका टाळता येतील .
याचे आणखी काही फायदे आहेत.
रस्त्यावरील गर्दी कमी होईल .
प्रदुषणास आळा बसेल.
चालकावरील ताण कमी होईल .
पण अपघात तरीही होतच राहतील.
आणि ते होतील तेव्हा
त्याचे दुष्परिणाम काही महिने व वर्षात निश्चित होतील.
त्यावर उपाय शोधतील प्रोग्रामर व धोरण ठरविणारे.
त्यांना काही कटू निर्णय घ्यायला लागतील.'
सर्वसामान्य निर्णय घेण्याचा कल असेल .
जसे कमीत कमी नुकसान.
पण त्यातही निर्णयाबाबत नैतिकतेचा मुद्दा उद्भवेल .
उदाहरणार्थ ,
पूर्वीच्या स्थितीचे पुन्हा अवलोकन करू
तुमच्या डाव्या बाजूस हेल्मेट घातलेला मोटारसायकल चालक आहे .
उजव्या बाजूस बिना हेल्मेटचा मोटारसायकल चालक आहे .
तुमची ही यांत्रिक कार कोणावर आदळेल ?
तुम्ही म्हणाल डाव्या बाजूकडील कारण तिने हेल्मेट घातल्याने बचावण्याची संधी आहे .
अश्या स्थितीत तुम्ही नियम पाळणाऱ्या व्यक्तीस धोक्यात टाकीत नाही काय ?
तुम्ही तर हेल्मेट नसलेल्याला संरक्षण देत आहात.
तो तर बेजबाबदार आहे .
पण तसे केले तर तुम्ही कमीतकमी नुकसानीच्या तत्वास हरताळ फासत आहात.
यांत्रिक कार आता रस्त्यावरील न्याय लागू करेल
या ठिकाणी निर्णय घेण्यात नैतिकतेचा मोठा मुद्दा आहे.
दोन्ही दृश्यात ,
यात दडलेला अल्गोरीदम कोणत्या प्रकारचा आहे त्यावर अंतिम निर्णय होईल.
दुसऱ्या शब्दात ,
हा पद्धतशीर फायद्याचा वा अन्यायाचा निर्णय असेल .
एखाद्या वस्तूवर आघात करण्याचा.
आणि त्या वस्तूच्या मालकावरही आघात करण्याचा .
त्यांना या अल्गोरीद्मचा नकारात्मक धोरणाने फटका बसेल.
त्यांचा काहीही दोष नसतांना.
नवतंत्रज्ञान असे अनेक नैतिक मुद्दे समोर ठेवीत आहे.
समजा , तुम्हाला निवड करावयाची आहे दोघातून
अश्या कारची जी अनेकांचे प्राण वाचवेल अपघात होताना.
की अशी जी कोणत्याही स्थितीत तुमचे प्राण वाचवेल
कोणती कार घ्याल ?
जेव्हा या कार ओळखतील व कार्यरत होतील
प्रवास करणाऱ्याचे जीवन त्याचे महत्व
आणि ते ध्यानी घेऊन एकदम निर्णय घेईल .
जो कमीत कमी नुकसानीच्या तत्वास दूर करून प्रवाश्याचा बचाव करेल'
हे सर्व निर्णय कोण घेणार ?
प्रोग्रामर ?
कार कंपन्या ?
सरकार ?
आपल्या विचारानुसार वास्तवता नसेलही.
पण तो काही मुद्दा नाही.
त्यांची रचना झाली असते आपल्या नैसर्गिक नैतिकतेवर व सहजप्रवृत्तीवर.
जसे वैज्ञानिक प्रयोग असतात भौतिक जगात
नैतिकतेचे हे दुहेरी स्वरूप
आपल्याला तंत्रज्ञानातील नैतिकतेच्या मार्गात मदत करेल .
आणि आपल्यास आत्मविश्वासाने व सदविचाराने मार्गस्थ करेल.
आपल्या धीरोदत्त जगात.
Isto é um exercício intelectual.
Digamos que, um dia, num futuro não muito distante,
seguem rapidamente pela autoestrada no vosso carro autónomo
e encontram-se rodeados de carros por todos os lados.
Subitamente, um objeto grande e pesado cai do camião que está à vossa frente.
O vosso carro não vai conseguir parar a tempo de evitar a colisão,
portanto tem que tomar uma decisão:
avançar e colidir com o objeto,
desviar-se para a esquerda e bater noutro veículo
ou desviar-se para a direita e bater numa motoreta.
Deverá dar prioridade à vossa segurança, batendo na motoreta,
minimizar o perigo para os outros, não se desviando,
mesmo que isso implique bater no objeto e sacrificar a vossa vida,
ou escolher uma solução intermédia, e colidir com o outro veículo
que tem uma alta probabilidade de segurança para o passageiro?
Que deverá fazer o carro autónomo?
Se estivermos a guiar o carro em modo manual,
qualquer que seja a nossa reação, ela será entendida apenas como tal,
uma reação,
e não uma decisão deliberada.
Será um gesto instintivo de pânico sem premeditação ou maldade.
Mas, se um programador tiver que instruir o carro para agir do mesmo modo,
segundo condições que possam acontecer no futuro,
isso já se parece mais com um homicídio premeditado.
Para sermos justos,
prevê-se que os carros autónomos reduzam drasticamente
os acidentes de trânsito e as mortes,
eliminando o erro humano da equação da condução.
Além disso, pode haver todo o tipo de outros benefícios:
redução dos engarrafamentos na estrada,
redução das emissões prejudiciais,
e redução ao minimo do tempo de condução, Improdutiva e desgastante.
Mesmo assim, podem ocorrer, e ocorrerão, acidentes.
Quando isso acontecer,
os resultados podem ter sido determinados com meses ou anos de antecedência
pelos programadores ou pelos legisladores.
Vão ter que tomar decisões difíceis.
É tentador apresentar princípios gerais de tomada de decisões,
como minimizar sempre os prejuízos.
Mas até isso leva facilmente a decisões moralmente questionáveis.
Por exemplo,
digamos que temos o mesmo cenário inicial,
mas agora. à vossa esquerda, há um motociclista de capacete
e à vossa direita há outro sem capacete.
Em qual deles é que o nosso carro robô deve bater?
Se escolherem o motociclista de capacete porque tem maior hipótese de sobreviver,
não estão a penalizar o motociclista responsável?
Se, pelo contrário, escolherem o motociclista sem capacete
porque está a agir irresponsavelmente,
estão a ultrapassar o princípio inicial de minimização de prejuízos
e o carro robô estará a fazer justiça pelas próprias mãos.
As considerações éticas ainda se complicam mais.
Em ambos os cenários,
o objetivo subjacente funciona como um algoritmo de focalização de tipos.
Por outras palavras,
favorece ou discrimina, sistematicamente,
um certo tipo de objeto no qual irá bater.
Os proprietários dos veículos alvo
sofrerão as consequências negativas desse algoritmo
sem qualquer culpa pessoal.
As novas tecnologias estão a apresentar muitos novos dilemas éticos.
Por exemplo, se tiverem que escolher
entre um carro que salve sempre tantas vidas quanto possível, num acidente
e um carro que vos salve a qualquer custo,
qual é que vão comprar?
O que acontece se os carros começarem a analisar e a ponderar
os passageiros dos carros e os pormenores da vida deles?
Será que uma decisão ao acaso
continua a ser melhor do que uma razão pré-determinada,
destinada a minimizar os prejuízos?
De resto, quem é que toma todas essas decisões?
Os programadores? As empresas?
Os governos?
A realidade não corresponde exatamente aos nossos exercícios intelectuais
mas o problema não é esse.
São concebidas para isolar e testar ao máximo as nossas intuições éticas,
tal como as experiências científicas o fazem para o mundo físico.
Ter consciência destas reviravoltas morais
ajudar-nos-á a percorrer a estrada desconhecida da ética da tecnologia
e permitir-nos-á viajar com confiança e consciência
até ao nosso bravo futuro novo.
Este é um experimento mental.
Digamos que, em algum ponto de um futuro não tão distante,
você esteja à vontade na estrada, em seu carro autodirigível,
e se veja encurralado por carros em todos os lados.
De repente, um objeto grande e pesado cai do caminhão que está à sua frente.
Seu carro não consegue parar a tempo de evitar a colisão,
e ele precisa decidir:
seguir em frente e colidir com o objeto,
desviar para a esquerda e bater num SUV,
ou desviar para a direita e bater numa moto.
Será que ele deve priorizar a sua segurança, atingindo a moto;
minimizar o risco aos outros, não desviando para o lado,
mesmo que isso signifique colidir com o grande objeto e sacrificar sua vida;
ou ficar no meio termo e bater no SUV,
que tem um alto índice de segurança para passageiros?
O que o autodirigível deve fazer, então?
Se estivéssemos dirigindo manualmente esse carro encurralado,
qualquer que fosse nossa reação, seria apenas isso, uma reação,
não uma decisão intencional.
Seria um movimento instintivo e abrupto, sem premeditação ou maldade.
Mas se um programador instruísse o carro a fazer a mesma manobra,
dando-lhe condições de prever situações semelhantes,
bem, isso parece mais homicídio premeditado.
Bem, para ser justo,
espera-se que carros autodirigíveis reduzam drasticamente
os acidentes de trânsito e fatalidades, retirando a falha humana da equação.
E talvez haja vários outros benefícios:
menos congestionamento, menos emissão de gases nocivos
e menos tempo improdutivo e estressante na direção.
Mas os acidentes podem e vão continuar ocorrendo
e, quando ocorrerem, os resultados poderão ser determinados
com meses ou anos de antecedência
por programadores ou gestores públicos.
E eles terão decisões difíceis a tomar.
É tentador elaborar princípios gerais de tomada de decisão,
como "minimizar danos",
mas até isso imediatamente nos leva a decisões moralmente obscuras.
Por exemplo, na situação apresentada no início,
digamos que uma motociclista esteja à esquerda, com capacete,
e que outro motociclista, sem capacete, esteja à direita.
Com qual deles seu carro-robô deveria colidir?
Se você disser que é com a com capacete porque tem mais chances de sobreviver,
você não estaria penalizando uma motorista responsável?
Se você salvar o que está sem capacete, por ele estar sendo irresponsável,
você terá ido muito além do princípio inicial de minimizar danos,
e o carro-robô agora estará atuando como juiz nas ruas.
As considerações éticas ficam mais complicadas aqui.
Em ambos os cenários,
a programação oculta estará funcionando como um algoritmo de escolha de alvos.
Em outras palavras, estará favorecendo ou discriminando, de forma sistemática,
determinado tipo de objeto com o qual pode colidir ou não.
E os proprietários dos veículos-alvo sofrerão as consequências desse algoritmo
sem ter qualquer culpa.
Nossas novas tecnologias estão trazendo muitos outros novos dilemas éticos.
Por exemplo, se você tivesse que escolher
entre um carro que sempre poupasse o máximo de vidas possível num acidente,
ou um que poupasse você a qualquer custo,
qual você compraria?
E se os carros começarem a analisar e a julgar
os passageiros dos carros e as particularidades de suas vidas?
Será que uma decisão aleatória
seria melhor do que uma premeditada que vise a minimizar os danos?
De qualquer forma, quem deveria tomar todas essas decisões?
Programadores? Empresas? Governos?
A realidade pode não ser exatamente como nossos experimentos mentais,
mas essa não é a questão.
Eles são feitos para isolar e pôr à prova nossas intuições sobre a ética,
tal como experimentos científicos fazem com o mundo físico.
Vislumbrar agora essas curvas morais sinuosas
vai nos ajudar a manobrar na estrada desconhecida da ética tecnológica
e nos permitir viajar de forma confiante e cuidadosa
rumo ao nosso novo e corajoso futuro.
Проведём мысленный эксперимент.
Скажем, однажды в не столь отдалённом будущем
вы мчитесь по шоссе на своём беспилотном автомобиле
и оказываетесь окружены другими автомобилями со всех сторон.
Внезапно крупный тяжёлый предмет сваливается с грузовика перед вами.
Ваше авто не может вовремя остановиться — столкновение неизбежно,
поэтому оно должно принять решение:
двигаться прямо и столкнуться с предметом,
сдать в левую полосу и столкнуться с внедорожником
или — вправо и столкнуться с мотоциклом.
Стоит ли автомобилю позаботиться о вашей безопасности
и въехать в мотоцикл,
или обезопасить остальных и не сворачивать,
даже если это значит столкнуться с крупным объектом
и пожертвовать вашей жизнью,
или выбрать золотую середину и столкнуться с внедорожником
с высоким уровнем безопасности пассажиров.
Что должен сделать беспилотный автомобиль?
Если бы мы самостоятельно управляли автомобилем,
то как бы мы ни поступили, это бы воспринималось как реакция,
а не как осознанное решение.
Инстинктивное, паническое действие без какого-либо злого умысла.
Но если бы программист дал машине инструкции так поступить,
учитывая, что она окажется в подобных условиях в будущем,
тогда это будет больше похоже на умышленное убийство.
Если серьёзно,
то прогнозируется, что благодаря беспилотным автомобилям
произойдёт значительное снижение числа ДТП,
в том числе со смертельным исходом,
ведь ошибка водителя будет исключена из факторов дорожного движения.
К тому же есть множество других преимуществ:
снижение числа пробок на дорогах,
снижение вредных выбросов,
сведение к минимуму непродуктивного времени
и уровня стресса за рулём.
Но аварии всё же могут и будут происходить,
и когда произойдут,
их исход может быть предопределён за месяцы или даже годы до этого
программистами или законодателями.
И им придётся принимать достаточно сложные решения.
Довольно заманчиво предложить универсальные принципы принятия решений,
например сведение ущерба к минимуму,
но даже тогда это приведёт к сомнительным моральным решениям.
Например, у нас те же изначальные условия,
но теперь слева от вас едет мотоциклистка в шлеме,
а справа — тоже мотоциклист, но без шлема.
С кем должен столкнуться ваш беспилотный автомобиль?
Если вы выберете мотоциклистку в шлеме, потому что у неё больше шансов выжить,
не наказываете ли вы тем самым ответственных водителей?
Если же, наоборот, вы выбираете байкера без шлема,
потому что он поступает безответственно,
тогда вы выходите за рамки изначального принципа
о сведении ущерба к минимуму,
а ваш робот-автомобиль ещё и сам наказывает нарушителей.
Этические соображения становятся здесь ещё сложнее.
В обоих сценариях
заложен принцип, который действует как некий направленный алгоритм.
Другими словами,
он последовательно принимает или отбрасывает
определённый тип объекта для столкновения.
И владельцы выбранных автомобилей
столкнутся с негативными последствиями этого алгоритма
не по своей вине.
В связи с новыми технологиями возникает всё больше новых этических дилемм.
Например, если бы вам пришлось выбирать
между автомобилем, который сохраняет наибольшее количество жизней в аварии,
и тем, который спасёт вашу жизнь любой ценой,
какой бы вы приобрели?
Что произойдёт, если машины станут анализировать и выделять
отдельных пассажиров и особенности их жизней?
Возможно ли, что спонтанное решение
всё же лучше заранее продуманного с целью минимизации ущерба?
И кто должен принимать все эти решения?
Программисты?
Производители автомобилей?
Государственные власти?
Реальность может не совсем совпадать с нашим мысленным экспериментом,
но дело не в этом,
ведь эксперименты создаются для выявления и проверки
нашей интуиции в вопросах этики,
так же как научные эксперименты изучают физический мир.
Обнаружение подобных моральных «виражей» сейчас
поможет нам лучше маневрировать на незнакомой дороге этики прогресса
и позволит нам уверенно и добросовестно мчаться
навстречу прекрасному новому миру.
Ovo je misaoni eksperiment.
Recimo da u nekom trenutku u ne tako dalekoj budućnosti
jurite niz auto-put u svom autu sa automatskim upravljanjem
i nađete se zarobljeni sa svih strana među drugim automobilima.
Odjednom, veliki i težak predmet padne sa kamiona ispred vas.
Vaš auto ne može da se zaustavi na vreme da bi izbegao sudar,
stoga mora da donese odluku -
ići pravo i udariti u predmet,
naglo skrenuti ka terencu
ili se zaleteti desno u motocikl.
Da li treba da da prioritet vašoj bezbednosti i udari motocikl,
da umanji opasnost za druge tako što neće skrenuti,
čak i ako to znači da će udariti veliki predmet i žrtvovati vaš život,
ili da odabere srednje rešenje i udari terenca,
koji je visoko ocenjen u pogledu bezbednosti za putnike?
Dakle, šta bi auto bez vozača trebalo da uradi?
Ako bismo mi ručno upravljali tim zarobljenim autom,
kako god da reagujemo bilo bi shvaćeno prosto tako kako jeste,
kao reakcija,
a ne kao promišljena odluka.
To bi bio instiktivan potez u panici bez predumišljaja ili loše namere.
Međutim, kada bi programer naložio automobilu da učini to isto,
pod uslovima koji se mogu javiti u budućnosti,
pa, to više izgleda kao ubistvo sa predumišljajem.
Sad, da budemo fer,
predviđa se da će automobili bez vozača
drastično smanjiti broj saobraćajnih nesreća i smrtnih slučajeva
tako što će ukloniti ljudsku grešku iz jednačine vožnje.
Plus, tu može biti svakojakih drugih pogodnosti:
olakšano zakrčenje puteva,
smanjeno ispuštanje štetnih gasova
i neproduktivno i stresno vreme vožnje svedeno na minimum.
Međutim, nesreće se mogu i dalje desiti i dešavaće se,
a kada se dogode,
njihovi ishodi mogu biti određeni mesecima ili godinama unapred
od strane programera ili donosioca zakona.
A moraće da donose neke teške odluke.
Primamljivo je dati ponudu opštih principa donošenja odluka
poput svođenja štete na najmanju meru,
ali čak i to ubrzo dovodi do sumnjivih moralnih odluka.
Na primer,
recimo da imamo istu početnu postavku,
ali sada se sa vaše leve strane nalazi motociklista sa kacigom
i još jedan bez kacige sa vaše desne strane.
U koga treba da udari vaš robotski auto?
Ako kažete da je to bajker sa kacigom jer je verovatnije da će preživeti,
zar onda ne kažnjavate odgovornog motociklistu?
Ako umesto toga spasite bajkera bez kacige
jer se neodgovorno ponaša,
onda ste se udaljili od prvobitnog principa o smanjenju štete
i sada robotski auto sprovodi uličnu pravdu.
Etička razmatranja ovde postaju komplikovanija.
U oba naša scenarija,
dizajn koji se nalazi u osnovi funkcioniše
kao neka vrsta algoritma za nalaženje mete.
Drugim rečima,
sistematski favorizuje ili diskriminiše
određenu vrstu predmeta u koji će udariti.
A vlasnici vozila koja su postala meta
će snositi negativne posledice ovog algoritma
iako nisu ni za šta krivi.
Naše nove tehnologije otvaraju i mnoge druge nove etičke dileme.
Na primer, ako biste morali da odaberete
između automobila koji bi uvek spasio što je više moguće života u nesreći,
ili automobila koji bi vas spasio po bilo koju cenu,
koji biste kupili?
Šta bi se desilo ako bi automobil počeo da analizira i uzima u obzir faktore
putnika u automobilu i njihove pojedinačne živote?
Da li može biti slučaj da je slučajna odluka
i dalje bolja od unapred određene koja je osmišljena da se umanji šteta?
Ko bi uopšte trebalo da donosi sve te odluke?
Programeri?
Kompanije?
Vlade?
Stvarnost se možda neće odvijati baš kao naši misaoni eksperimenti,
ali nije u tome poenta.
Oni su osmišljeni da izoluju našu intuiciju vezanu za etiku
i podvrgnu je testu o stresu,
baš kao što naučni eksperimenti čine kada se radi o fizičkom svetu.
Uočavanje ovakvih moralnih krivina sada
pomoći će nam u upravljanju nepoznatim putem tehnološke etike
i omogućiti nam da uplovimo samopouzdano i savesno
u našu hrabru novu budućnost.
นี่เป็นการทดลองทางความคิด
เอาเป็นว่าในอนาคตอันใกล้
คุณกำลังเดินทางลงไปตามทางหลวง ในรถที่ขับเคลื่อนเอง
และคุณพบว่า คุณถูกกักอยู่ท่ามกลางรถคันอื่น
ทันใดนั้นเอง วัตถุหนักขนาดใหญ่ ตกลงมาจากรถบรรทุกตรงหน้าคุณ
รถของคุณไม่สามารถหยุดได้ทันเวลา เพื่อที่จะป้องกันการปะทะ
ฉะนั้น มันจึงต้องทำการตัดสินใจ
พุ่งตรงไปและชนวัตถุ
เบี่ยงซ้ายเข้าหารถอเนกประสงค์
หรือหักขวาเข้าหารถจักรยานยนต์
มันควรให้ความสำคัญ กับความปลอดภัยของคุณก่อน
ลดอันตรายที่จะมีต่อคนอื่นโดยไม่เปลี่ยนทิศทาง
แม้ว่านั่นหมายถึงการชนวัตถุขนาดใหญ่ และการสละชีวิตตนเอง
หรือใช้ทางสายกลาง โดยชนรถอเนกประสงค์
ซึ่งมีอัตราความปลอดภัยสำหรับผู้โดยสารสูง
แล้วรถที่ขับเคลื่อนเองจะทำอย่างไร
ถ้าเรากำลังขับรถที่ตนเองโดนกักไว้แบบทั่วไป
ไม่ว่าจะเป็นทางใดที่เราเลือก จะถูกเข้าใจให้อย่างที่มันเป็น
การโต้ตอบ
ไม่ใช่การตัดสินใจที่เกิดจากการคิดที่รอบคอบ
มันอาจเป็นการกระทำอย่างตระหนกตกใจ ตามสัญชาตญาณโดยไม่มีการวางแผนหรือมุ่งร้าย
แต่ถ้าคนเขียนโปรแกรมกำกับรถ ให้ทำการเช่นเดียวกัน
ให้สถานการณ์ที่มันอาจเจอได้ในอนาคต
นั่นดูเหมือนเป็นการฆาตกรรมโดยเจตนา
ตอนนี้ ความจริงก็คือ
รถที่ขับเคลื่อนเองถูกคาดว่า จะลดอุบัติเหตุและการสูญเสียบนท้องถนน
ได้อย่างมาก
โดยกำจัดความผิดพลาดของคน จากสมการการขับรถ
รวมถึง มันอาจมีประโยชน์อย่างอื่น เช่น
ทำให้ถนนไม่คับคั่งมากนัก
ลดการปลดปล่อยก๊าซอันตราย
และลดเวลาการขับรถที่ไม่มีประสิทธิภาพ และน่าหงุดหงิด
แต่อุบัติเหตุจะยังสามารถและจะยังเกิดขึ้น
และเมื่อมันเกิดขึ้น
ผลที่ออกมาอาจถูกกำหนดเอาไว้แล้ว หลายเดือนหรือหลายปีล่วงหน้า
โดยผู้เขียนโปรแกรม หรือผู้วางนโยบาย
และพวกเขาก็ต้องลำบากใจในการตัดสินใจ
ใจหนึ่งก็อยากจะให้สิทธิ ในหลักการตัดสินใจพื้นฐาน
อย่างเช่น การลดอันตรายให้น้อยที่สุด
แต่กระนั้น มันก็อาจนำไปสู่การตัดสินใจ ในเชิงจริยธรรมที่คลุมเครือ
ยกตัวอย่างเช่น
สมมติว่า เรามีการตั้งค่าแต่แรกเหมือนกัน
แต่ตอนนี้ มีผู้ขับขี่รถจักรยานยนต์ ที่สวมหมวกกันน็อค ขับมาทางซ้ายของคุณ
และอีกคนหนึ่งที่ไม่สวมหมวกกันน็อค ขับมาทางขวาของคุณ
คนไหนล่ะที่รถหุ่นยนต์ของคุณควรจะชน
ถ้าคุณบอกว่า คนที่สวมหมวกกันน็อค เพราะว่าเธอมีโอกาสที่จะรอดชีวิตมากกว่า
นั่นไม่เป็นการลงโทษกับผู้ขับขี่จักรยานยนต์ ที่มีความรับผิดชอบหรอกหรือ
แต่ถ้าคุณช่วยคนที่ไม่สวมหมวกกันน็อค
เพราะว่าเขาไม่รับผิดชอบ
นั่นก็เป็นการทำเกินไปกว่าหลักการที่ออกแบบ ไว้แต่แรกให้ลดอันตรายให้น้อยที่สุด
และตอนนี้ รถหุ่นยนต์ก็ต้องแบ่งรับแบ่งสู้ กับความยุติธรรมบนท้องถนน
การตัดสินทางจริยธรรมในสถานการณ์นี้ ซับซ้อนยิ่งขึ้น
ในทั้งสองเหตุการณ์ของเรา
การออกแบบพื้นฐานทำหน้าที่ เป็นดั่งอัลกอริทึมเป้าหมายของโจทย์
หรืออาจกล่าวได้ว่า
มันคือการเลือกหรือลำเอียงอย่างเป็นระบบ
เทียบกับวัตถุบางประเภทที่จะถูกเข้าชน
และผู้เป็นเจ้าของของพาหนะเป้าหมาย
จะต้องได้รับผลเชิงลบจากอัลกอริทึม
แม้ว่าตัวพวกเขาเองจะไม่มีความผิดอะไร
เทคโนโลยีใหม่ของเรากำลังเปิดทาง ให้กับความยุ่งยากใหม่ทางจริยธรรม
ยกตัวอย่างเช่น ถ้าคุณจำเป็นต้องเลือก
ระหว่างรถที่จะรักษาชีวิต เอาไว้ให้ได้จำนวนมากที่สุดเสมอ
กับรถที่จะช่วยคุณไม่ว่าจะอย่างไรก็ตาม
คุณจะซื้อรถแบบไหน
จะเกิดอะไรขึ้น ถ้ารถเริ่มที่จะวิเคราะห์ และหาค่าปัจจัย
ของผู้โดยสารของรถยนต์ และรายละเอียดต่าง ๆ เกี่ยวกับชีวิต
จะเป็นไปได้ไหมว่า การตัดสินอย่างสุ่ม
ยังคงดีกว่าการกำหนดไว้ล่วงหน้า ที่ถูกออกแบบให้ลดอันตรายให้น้อยที่สุด
แล้วว่าแต่ใครกันล่ะ ที่ควรจะเป็นผู้ทำการตัดสินใจ
นักเขียนโปรแกรม
บริษัท
รัฐบาล
ความเป็นจริงอาจไม่ได้เป็นไป ตามการทดลองทางความคิดของเรา
แต่นั่นไม่ใช่ประเด็น
พวกเราถูกออกแบบให้แยกแยะ และทดสอบ สำนึกทางจริยธรรมของเรา
เหมือนกับที่การทดลองทางวิทยาศาสตร์ กระทำกับโลกทางกายภาพ
การที่เราตระหนักถึงจุดเปลี่ยนเล็ก ๆ ทางจริยธรรมนี้
จะช่วยให้เราวางกลยุทธกับถนนที่ไม่คุ้นเคย ด้วยจริยธรรมทางเทคโนโลยีได้
และทำให้เราแล่นไปได้อย่างมั่นใจและมีสติ
สู่อนาคตใหม่ที่เราเชื่อมั่น
Bu bir düşünce deneyi.
Diyelim ki gelecekte, çok da uzak olmayan bir noktada,
sürücüsüz arabanızla otoyolda hızla giderken
diğer arabalar sizi dört bir yandan çeviriyor.
Birden önünüzdeki tırdan büyük, ağır bir nesne düşüyor.
Arabanız çarpışmadan kaçınmak için zamanında duramaz,
o yüzden bir karar vermesi lazım:
Düz gidip nesneye çarpmak,
soldaki cipin üzerine kırmak
veya sağdaki motosikletin üzerine kırmak.
Motosiklete çarparak güvenliğinize öncelik mi vermeli,
yandakilere doğru kırmayarak tehlikeyi mi azaltmalı,
büyük nesneye çarparak hayatınızı feda etmeniz anlamına gelse bile,
yoksa yolcu güvenlik puanlaması yüksek olan
cipe çarparak orta yolu mu seçmeli?
Bu durumda sürücüsüz araba ne yapmalı?
Eğer arabanın içinde manuel olarak biz sürüyor olsaydık,
ne şekilde reaksiyon vereceğimiz,
kasıtlı bir karar
olarak değil, bir reaksiyon olarak görülürdü.
Önceden düşünce veya kasıt olmayan içgüdüsel bir panik hareketi olurdu.
Ama bir programcı arabaya gelecekte hissettiği koşulları göz önüne alarak
aynı hareketi yapmasını emrederse,
bu önceden tasarlanmış bir cinayete benzer.
Adil olmak gerekirse,
sürücüsüz arabaların sürüş denkleminden insan hatasını kaldırarak
trafik kazalarını
ve ölümleri dramatik olarak azaltacağı öngörülüyor.
Artı, belki başka yararları da var:
Rahatlayan trafik sıkışıklığı,
düşen zararlı emisyonlar,
azalan verimsiz ve stresli sürüş zamanı.
Ama kazalar olabilir ve hâlâ olacaktır;
olduğu zamansa,
sonuçları programcılar veya karar alıcılar tarafından
aylar veya yıllar önce belirlenebilir.
Bazı zor kararlar vermeleri gerek.
Zararı azaltmak gibi genel karar alma prensiplerini
koymaları cazip gelmekle birlikte,
bu bile hemen etiksel olarak belirsiz kararlara yol açıyor.
Örneğin,
aynı başlangıç kurulumuna sahibiz diyelim,
ama şimdi solunuzda kask giymiş bir motosikletçi var
ve sağınızda ise kask giymemiş bir motosikletçi var.
Robot arabanız hangisine çarpmalı?
Eğer yaşaması daha muhtemel diye kasklı motosikletçiye derseniz,
o zaman sorumluluk sahibi olan motosikletçiyi cezalandırmıyor musunuz?
Eğer onun yerine sorumsuzca hareket ettiği için
kasksız motosikletçiyi kurtarırsanız,
o zaman zararı azaltma konusundaki ilk tasarım prensibinin çok ötesine geçtiniz
ve robot araba artık yol adaletini pay etmiş olur.
Burada etik düşünceler daha karmaşık hâle geliyor.
Her iki senaryomuzda da,
altta yatan tasarım sözde hedeflenen algoritma olarak işliyor.
Diğer bir deyişle,
çarpmak için belli türde bir nesneyi
sistemli olarak kayırıyor veya ayrım yapıyor.
Hedef araçların sahipleri ise
kendi hataları olmadan bu algoritmanın olumsuz
sonuçlarına katlanacak.
Yeni teknolojilerimiz pek çok değişik etiksel ikileme yol açıyor.
Örneğin, bir kazada hep mümkün olan
en çok hayatı kurtaran ile ne olursa olsun
sizi kurtaran bir araba arasında seçim yapmak zorunda kalsanız
hangisini alırdınız?
Eğer arabalar analiz etmeye ve arabaların yolcularını ve
onların hayatlarının ayrıntılarını dâhil etmeye başlarsa ne olur?
Rastgele bir kararın, zararı azaltmak için
tasarlanmış, önceden belirlenen bir karardan daha iyi olması hâlâ mümkün mü?
Bütün bu kararları bir şekilde kim veriyor?
Programcılar?
Şirketler?
Hükümetler?
Gerçek tam olarak düşünce deneylerimiz gibi olup bitmeyebilir,
ama esas husus bu değil.
Etik konusundaki önsezilerimizi soyutlayarak
stres testi yapmak için tasarlandılar,
aynı bilim deneylerinin fiziksel dünyaya yaptığı gibi.
Bu ahlak virajlarını şimdi fark etmek,
teknoloji etiklerinin bilinmeyen yollarında manevra yapmakta
bize yardımcı olur ve cesur, yeni geleceğimize güvenle
ve dikkatlice yol almamızı sağlar.
Đây là một thử nghiệm về nhận thức.
Giả sử tại một thời điểm nào đó không xa,
bạn đang đi trên đường cao tốc trong chiếc xe tự lái của bạn,
và bạn bị vây quanh bởi các xe khác.
Bỗng nhiên, một vật to và nặng rơi xuống từ chiếc xe tải ngay trước mặt bạn.
Bạn không thể dừng lại lập tức để tránh bị va chạm,
nên bạn cần ra quyết định lập tức:
đi thẳng và đụng vào vật đó,
quẹo trái trúng chiếc SUV,
hay quẹo phải trúng chiếc xe máy.
Chiếc xe sẽ ưu tiên sự an toàn của bạn bằng cách tông vào xe máy,
giảm nguy hiểm cho người khác bằng cách đi thẳng,
mặc dù đó nghĩa là tông vào vật lớn và hi sinh mạng sống của bạn,
hay lựa chọn tông vào chiếc SUV,
khi mà khả năng an toàn cho hành khách trên xe khá cao?
Vậy xe tự lái sẽ làm gì?
Nếu chúng ta chạy xe ở chế độ người lái,
cách phản ứng nào của chúng ta đều được xem là,
một phản ứng đơn thuần,
không phải một quyết định có tính suy xét.
Nó sẽ là phản ứng tự nhiên mà không có sự suy nghĩ hay ý đồ xấu.
Nhưng nếu một người lập trình ra lệnh cho chiếc xe phản ứng tương tự,
trong một tình huống có thể xảy ra ở tương lai,
có thể bị coi là giết người có chủ đích.
Để công bằng,
xe tự lái được cho là sẽ giảm thiểu tai nạn giao thông đáng kể
và tỉ lệ thương vong
bằng việc loại bỏ sự sai sót của con người trong phương trình lái xe.
Và, còn có những lợi ích khác:
giảm tắc đường,
giảm khí thải độc hại,
và rút ngắn thời gian lái xe vô bổ và căng thẳng.
Nhưng tai nạn vẫn và sẽ tiếp tục xảy ra,
và khi đó,
hậu quả của nó có thể đã được xác định vài tháng hay vài năm trước đó
bởi người lập trình viên hay nhà hoạch định chính sách
Và họ sẽ phải đưa ra những quyết định khó khăn.
Chúng ta thường hướng tới những nguyên tắc ra quyết định
như giảm thiểu thiệt hại,
nhưng những nguyên tắc này cũng gặp phải các vấn đề đạo đức.
Ví dụ như,
trong hoàn cảnh tương tự,
nhưng giờ người đi xe máy phía bên trái có đội nón bảo hiểm
và một người khác không đội nón bên phải bạn.
Xe tự lái của bạn sẽ chọn tông vào ai?
Nếu bạn nói người đó là người có nón bảo hiểm vì khả năng sống sót cao hơn,
vậy nghĩa là bạn đang trừng phạt một người lái xe có trách nhiệm?
Nói cách khác, bạn sẽ cứu người không có nón
bời vì anh ta hành động vô trách nhiệm,
khi đó bạn đã đi quá xa khỏi ranh giới nguyên tắc giảm thiểu thiệt hại,
và chiếc xe giờ đối mặt với công lý trên đường.
Vần đề đạo đức càng trở nên phức tạp hơn.
Trong cả hai tình huống trên,
thiết kế mấu chốt đang hoạt động như một hàm số.
Nói cách khác,
nó lựa chọn và lọc ra có hệ thống
những vật mà xe tự lái có thể va chạm.
Và người điều khiển phương tiện mục tiêu
sẽ phải chịu những hậu quả từ hàm số này
mặc dù họ không có lỗi.
Công nghệ mới của chúng ta đang mở ra nhiều tình huống nan giải khác.
Ví dụ, nếu bạn phải lựa chọn giữa việc
một chiếc xe luôn cố gắng cứu càng nhiều mạng người càng tốt khi tai nạn xảy ra,
và chiếc xe chỉ cứu sống bạn bằng mọi giá,
bạn sẽ mua chiếc nào?
Điều gì sẽ xảy ra nếu những chiếc xe tự phân tích và bao hàm
các hành khách trên xe và mạng sống của từng người?
Như vậy, liệu một quyết định ngẫu nhiên
sẽ tốt hơn là quyết định có suy tính trước để giảm thiểu thiệt hại?
Và ai sẽ là người ra những quyết định này?
Lập trình viên?
Công ty?
Chính phủ?
Thực tế có thể sẽ không giống thử nghiệm của chúng ta,
nhưng đó không phải là điểm chính.
Các thử nghiệm nhằm cô lập và thử thách trực giác của chúng ta về đạo đức,
giống như thí nghiệm khoa học đã làm trong thế giới vật chất.
Nhận ra các phương diện về mặt đạo đức
sẽ giúp chúng ta tinh chỉnh đạo đức công nghệ trên con đường mới mẻ,
và cho phép ta tự tin và sáng suốt trong hành trình
vào một tương lai tươi sáng.
这是一个思想实验。
假定在不久的将来，
你坐在你的无人驾驶汽车里面 在高速公路上飞驰，
这时候你发现你周围全是车。
突然，一个巨大且沉重的物体 从你前面的卡车上掉下来，
你的车来不及刹车来避免碰撞，
因此它必须做一个决定：
继续往前然后撞在这个物体上，
迅速往左撞向一辆 SUV，
或迅速往右撞向一辆摩托车。
你的车应该以你的安全为重从而撞向摩托车吗？
还是为了最大程度地降低危险，不迅速转弯——
虽然这意味着它要撞上那个巨大的物体 并可能牺牲掉你的性命？
亦或是应该选择中间道路，撞向 SUV ——
因为 SUV 的安全性能较高？
无人驾驶汽车应该怎么做呢？
这种情况下，如果我们掌握着方向盘，
不管我们怎么做，
都会被理解为瞬间的反应，
而不是经过深思熟虑的决定。
我们是在惊恐之下做出本能反应， 并未深谋远虑或怀揣恶意。
但是如果一个程序员要指令这个车
在未来的特定情况下做出某一决定，
这听上去有点像蓄意谋杀啊。
不过话说回来，
无人驾驶汽车预计
可以大大减少交通事故和死亡率，
因为这中间避免了人类会犯的错误。
而且，还有很多其他的潜在好处：
不再拥堵的路面，
汽车尾气排放的减少，
以及没有了开车的浪费时间和压力。
但是交通意外肯定还是会发生，
当它们发生时，
意外的后果可能在很久以前就已经
被程序员或政策制定者设定好了，
这些决定可不好做。
我们倾向于提供笼统的指导决定的原则，
比如最小化伤害，
但是这很快也会导致道德上模棱两可的决定。
举个例子，
假定前面的情况一致，
但是这时候你的左边是一个 戴着头盔骑摩托车的人，
而你的右边是一个没戴头盔骑摩托车的人，
你的无人驾驶汽车应该撞哪个？
如果说撞那个戴着头盔的人因为她的存活率更高，
你难道不是在惩罚那个更负责任的骑摩托车者吗？
反之，如果说撞那个没戴头盔的人
因为不戴头盔是不负责任的行为，
但是这样你就彻底违反了原先的“最小化伤害”的原则，
无人驾驶汽车现在在主持公路正义了。
道德的问题还要复杂得多。
两种情况下，
其背后的设计都是基于某种目标算法。
换句话说，
它系统地倾向，或者说歧视 某一类特定目标。
而目标车辆的车主
就得承担这一算法的消极后果，
虽然他们自己并没有犯任何错。
这些最新的科技还引起了其他的道德困境。
比如，如果你从以下两辆车中选择——
一辆在事故发生时总是试图拯救尽可能多的生命的车，
和一辆不顾一切拯救你的车，
你会买哪一辆？
如果汽车开始分析并考虑
车里的乘客以及他们的生存概率， 情况又会怎样？
一个随机的决定会不会还是
比一个以“最小化伤害”为原则事先设计的决定更好？
谁又应该做这些决定呢？
程序员？
公司？
政府？
现实可能跟我们的思想实验有所出入，
但是这不重要，
思想实验的目的是对我们的道德本能 进行分离和压力测试，
就像物理世界的科学实验一样。
现在识别这些道德的急转弯
能帮助我们更好地掌控 科技及其道德问题的未知之路，
并让我们充满信心和正义地 驶向我们的勇敢、崭新的未来。
這是一個假想的實驗
假設在不久將來的某時
你坐在無人駕駛車內 高速行駛於高速公路上
你發現你的四周都有車
突然前面卡車有大型重物掉落
你無法及時煞車以避免衝撞
所以必須做個決定：
直行撞擊那重物、
轉向左邊撞運動休旅車、
或轉向右邊撞摩托車
它應該以你的安全 為優先考慮去撞摩托車
還是應該不要轉向，以減少傷害他人
即使這意謂著直撞那重物 犧牲你的生命
或是取折中方式去撞運動休旅車
因為它有較高的乘客安全等級？
無人駕駛車應該怎麼做呢？
如果我們是徒手駕駛那輛 被夾在車陣中的車子
無論我們做出那種反應 都將被視為
一種生理反應
而非經深思熟慮後的決定
那是一種本能的驚慌舉動 不是預先策劃或蓄意的
但如果是程式設計師下指令 讓車子做出同樣的動作 ─
針對它未來可能感應到的狀況 ─
這就比較像是預謀殺人了
平心而論
無人駕駛車是預計來 大幅降低意外車禍
及死亡事故
因可經由駕駛程式來去除人為疏失
況且尚有其他許多好處
疏解道路壅塞
減少排放有害廢氣
及減少無效率及緊張的開車時間
但意外還是仍然會發生
當發生時
它們的結果可能早在數月 或數年前就已經預先
被程式設計師或決策者所決定了
他們將要做出一些困難的決定
試圖提出一般性決策原則
例如「傷害最小化」
即使如此，它仍很快變成 道德上含糊不清的決定
例如
比方說我們遇到和原先相同的狀況
但現在有個戴安全帽的 摩托車騎士在你左邊
而另有一位沒戴安全帽的在你右邊
你的自動車應該撞向那邊？
如果你說是那位戴安全帽的騎士 因為她存活率比較高
那麼你不就是在懲罰 一位守法的摩托車騎士呢？
反之，你說撞向那位沒戴安全的騎士
因為他不負責任
那麼你這做法已經遠離 「傷害最小化」的最初設計原則了
而那自動車現在做出懲罰 執行道路正義了
道德的考量在此變得更複雜
這兩種情況
其基本設計是一種 「標靶運算法則」的運作
換言之
它蓄意地厚此薄彼
撞向一個特定物體
那位被選中的車主
因這運算的負面結果而遭殃了
而這並不是他們自己的錯
我們的新技術出現了 許多其他新的道德難題
例如，如果你必須二選一時
一輛意外時會有最多存活率的車
或是一輛不計一切代價先救你的車
你會買那一輛？
如果車子開始分析並考慮
乘客及他們的身份地位 你想會發生什麼事？
會不會一個隨機的決定
仍優於一個「傷害最小化」 的預定程式呢？
到底應該由誰來做所有的決定？
程式設計師？
公司？
政府？
實際情形也許不會和我們 假想實驗的情況完全相同
但重點不在這兒
它們被設計來單獨在壓力下 測試我們對道德的直覺
就如同真實世界的科學實驗一樣
發現這些道德急轉彎
將協助我們駕馭在這條 陌生的 “技術倫理學” 路上
讓我們有信心地、有良知地
駛向我們新的美好未來
翻譯：Yun An Chen