This is a thought experiment.
Let's say at some point
in the not so distant future,
you're barreling down the highway
in your self-driving car,
and you find yourself boxed in
on all sides by other cars.
Suddenly, a large, heavy object
falls off the truck in front of you.
Your car can't stop in time
to avoid the collision,
so it needs to make a decision:
go straight and hit the object,
swerve left into an SUV,
or swerve right into a motorcycle.
Should it prioritize your safety
by hitting the motorcycle,
minimize danger to others by not swerving,
even if it means hitting the large object
and sacrificing your life,
or take the middle ground
by hitting the SUV,
which has a high passenger safety rating?
So what should the self-driving car do?
If we were driving that boxed in car
in manual mode,
whichever way we'd react
would be understood as just that,
a reaction,
not a deliberate decision.
It would be an instinctual panicked move
with no forethought or malice.
But if a programmer were to instruct
the car to make the same move,
given conditions it may
sense in the future,
well, that looks more
like premeditated homicide.
Now, to be fair,
self-driving cars are are predicted
to dramatically reduce traffic accidents
and fatalities
by removing human error
from the driving equation.
Plus, there may be all sorts
of other benefits:
eased road congestion,
decreased harmful emissions,
and minimized unproductive
and stressful driving time.
But accidents can and will still happen,
and when they do,
their outcomes may be determined
months or years in advance
by programmers or policy makers.
And they'll have
some difficult decisions to make.
It's tempting to offer up general
decision-making principles,
like minimize harm,
but even that quickly leads
to morally murky decisions.
For example,
let's say we have the same initial set up,
but now there's a motorcyclist
wearing a helmet to your left
and another one without
a helmet to your right.
Which one should
your robot car crash into?
If you say the biker with the helmet
because she's more likely to survive,
then aren't you penalizing
the responsible motorist?
If, instead, you save the biker
without the helmet
because he's acting irresponsibly,
then you've gone way beyond the initial
design principle about minimizing harm,
and the robot car is now
meting out street justice.
The ethical considerations
get more complicated here.
In both of our scenarios,
the underlying design is functioning
as a targeting algorithm of sorts.
In other words,
it's systematically favoring
or discriminating
against a certain type
of object to crash into.
And the owners of the target vehicles
will suffer the negative consequences
of this algorithm
through no fault of their own.
Our new technologies are opening up
many other novel ethical dilemmas.
For instance, if you had to
choose between
a car that would always save
as many lives as possible in an accident,
or one that would save you at any cost,
which would you buy?
What happens if the cars start analyzing
and factoring in
the passengers of the cars
and the particulars of their lives?
Could it be the case
that a random decision
is still better than a predetermined one
designed to minimize harm?
And who should be making
all of these decisions anyhow?
Programmers?
Companies?
Governments?
Reality may not play out exactly
like our thought experiments,
but that's not the point.
They're designed to isolate
and stress test our intuitions on ethics,
just like science experiments do
for the physical world.
Spotting these moral hairpin turns now
will help us maneuver the unfamiliar road
of technology ethics,
and allow us to cruise confidently
and conscientiously
into our brave new future.
هذه تجربة خيالية
لنقل أنه في مرحلة ما ليست بالبعيدة
أنطلقت على الطريق السريق
بسيارتك ذاتية القيادة
ووجدت أن سيارك قد اُقفل عليها
بالسيارات الأخرى
وفجأة تسقط عليك مواد كبيرة
وثقيلة من الشاحنة التي أمامك
سيارتك لايمكنها التوقف في الوقت المناسب
لتجنب الأصطدام
وعليها أن تتخذ القرار
تتجه إلى الأمام وتصطدم بمواد الشاحنة
أو تنحرف يساراً
بإتجاه سيارات الدفع الرباعي
أو تنحرف يميناً بإتجاه الدراجة النارية
أتكون سلامتك أولويتها
وتضرب الدراجة النارية
أم تقليل الخطر على الأخرين
بعدم الإنحراف
حتى لو كان بالإصطدام بالمواد الضخمة
والتضحية بحياتك،
أو أختيار الحل الأوسط
بالإصطدام بسيارات الدفع الرباعي
أي خيار يحمل معدل نجاة أعلى للراكبين ؟
إذاً ماذا يجب على السيارة
ذاتية القيادة أن تفعل ؟
إذا كنا نقود
في مثل هذا الزحام على الوضع اليدوي
أياً كان تصرفك
سيُفهم أنه أتُخذ هكذا ببساطة
ردة فعل
ليس قراراً مُتعمداً
سيكون تصرف مذعور
بدون أي تفكير مسبق أو تعمد أذي
ولكن لو برمج المبرمج السيارة
بإتخاذ نفس التصرف
ظروف معينة قد تُفهم في المستقبل
حسناً, قد يبدو هذا قتل عمد مع سبق الإصرار
والآن لنكون عادلين
السيارات ذاتية القيادة
متوقع لها أن تقلل كثيراً من حوادث السيارات
والوفيات
بأستبعاد الأخطاء البشرية من معادلة القيادة
بالإضافة إلى كافة أنواع الفوائد الأخري
تخفيف إزدحام الطرق
وتخفيض الإنبعاثات الضارة
وتقليل من وقت القيادة المتوترة الغير منتجة
ولكن لاتزال هناك إمكانية لوقوع حوادث
وعندما تحدث
يمكن تحديد نتائجها أشهر أو سنين مقدماً
من قبل المبرمجين أو المسؤولين
وسيكون عليهم إتخاذ بعض القرارات الصعبة
وإنه لمن المغري أن تقدم
بعض المبادئ العامة بمسألة إتخاذ القرار
مثل تقليل الخطر
ولكن ذلك قد يقود إلى خيارات معتمة أكثر
على سبيل المثال
لنتخيل أننا في نفس الموقف السابق
ولكن الآن يوجد هناك سائقة دراجة نارية
ترتدي خوذة إلى يسارك
وقائد دراجة أخر يقود دراجته بدون خوذة
أي من السائقين
على سيارتك المبرمجة أن تصطدم به؟
إذا إفترضنا السائقة صاحبة الخوذة
لأن إحتمالية نجاتها أعلى
ألست تظلم راكبة الدراجة المهتمة بالسلامة ؟
وإذا بالمقابل تجنبت راكب الدراجة بدون الخوذة
لأنه لم يهتم بالسلامة
تكون قد أنحرفت كثيراً
عن المبدأ الأول بشأن تقليل الخطر
وتكون سيارتك المبرمجة
قد خالفت عدالة الشارع
الأعتبارات الأخلاقية قد تكون أعقد من هذا
وفي كلا السيناريوهات
التصميم الأساسي يعمل
وفق خوارزمية إستهدافية نوعاً ما
بكلمات أخرى
إنها بشكل مبرمج تفضل أو تميز
شخص عن أخر أو كائن للإصطدام به
ومالكي المركبات المستهدفة
سوف يعانوا من عواقب سلبية
بسبب هذه الخوارزمية
بدون أي ذنب إرتكبوه
تقنياتنا الجديدة تفتح العديد
من الروايات للمعضلات الأخلاقية
على سبيل المثال
إذا كان عليك الإختيار بين
السيارة المبرمجة على الحفاظ
على أكبر قدر من الحيوات في حادث ما
أو تلك التي ستحافظ عليك أنت مهما كلفها
أي من السيارتين ستشتري ؟
ماذا سيحدث إذا بدأت السيارات بتحليل وحوسبة
قائدي السيارات وتفاصيل حياتهم
هل سيكون في تلك الحالة قرار إعتباطي
هل سيكون قرار أفضل
من واحدة محددة سلفاً أن تقلل من الخطر
وعلى كل حال من سيكون المسؤول
عن صناعة هذه القرارات
المبرمجون
الشركات
الحكومات
الواقع قد لايتماشى مع نتاج خبراتنا
ولكن تلك ليست نقطتنا
إنها مصممة لتختبر وتجهد حدسنا الأخلاقي
تماماً مثل ما تصنع التجارب العلمية في العالم المادي
إكتشاف مثل هذه الأخلاقيات الصعبة يبدأ الآن
سيساعدنا في التعامل
مع طرق غير معتادة لأخلاقيات التكنولوجيا
وتساعدنا في الإنسياب بثقة وضمير
نحو مستقبل جديد وشجاع
Dies ist ein Gedankenexperiment.
Angenommen, Sie fahren in naher Zukunft
in Ihrem selbstfahrenden Auto
auf der Autobahn
und sind von allen Seiten von
anderen Fahrzeugen umgeben.
Plötzlich fällt vom LKW vor Ihnen
ein großer, schwerer Gegenstand.
Ihr Auto kann einen
Zusammenstoß nicht vermeiden,
also muss es entscheiden:
darauf zufahren und das Objekt rammen,
nach links in einen SUV ausweichen,
oder nach rechts in ein Motorrad?
Sollte es Ihre Sicherheit priorisieren,
indem es Letzteres anfährt,
die Gefahr für andere minimieren,
indem es nicht ausweicht,
selbst wenn dies einen Zusammenstoß,
und damit Ihren Tod bedeuten könnte,
oder den Mittelweg wählen,
indem es den SUV trifft,
der die Insassen besser schützt?
Was sollte das selbstfahrende Auto tun?
Wenn wir das eingezwängte Auto
selbst im manuellen Modus fahren,
würde es, egal wie wir reagierten,
als genau dies verstanden werden:
eine Reaktion,
keine bewusste Entscheidung.
Es wäre eine instinktive Panikreaktion,
ohne Voraussicht oder Böswilligkeit.
Aber würde das Auto so programmiert,
dass es dasselbe Manöver ausführt,
wenn es merkt, dass bestimmte
Bedingungen erfüllt sind,
dann sähe dies eher
nach vorsätzlicher Tötung aus.
Bleiben wir fair:
Selbstfahrende Autos sollen die
Anzahl der Unfälle und Verkehrstoten
drastisch reduzieren,
indem menschliches Versagen
beim Fahren verhindert wird.
Es könnte auch viele
weitere Vorteile geben:
Weniger Stau,
weniger schädliche Abgase
und weniger unproduktive,
stressige Fahrzeit.
Aber Unfälle können und werden passieren,
und wenn es so ist,
wird ihr Ausgang vielleicht Monate
oder Jahre im Voraus bestimmt werden,
und zwar von Programmierern
oder Entscheidungsträgern,
die schwierige Entscheidungen
werden treffen müssen.
Man mag versucht sein
grundsätzliche Entscheidungsprinzipien,
wie Schadensminimierung, zu formulieren,
doch selbst dies kann zu moralisch
fragwürdigen Entscheidungen führen.
Sagen wir mal,
wir hätten die gleiche Ausgangssituation,
aber jetzt ist links
eine Rollerfahrerin mit Helm
und rechts fährt jemand ohne Helm.
Wen soll das Roboterauto rammen?
Nimmt man die Fahrerin mit Helm,
da sie eher überleben wird,
bestraft man dann nicht
verantwortungsbewusste Fahrer?
Nimmt man den Fahrer ohne Helm,
da er verantwortungslos handelt,
dann stellt man sich über das
ursprüngliche Schadensminimierungsprinzip
und das Roboterauto übt Selbstjustiz.
Die ethischen Erwägungen
werden hier komplizierter.
In beiden Szenarien
fungiert das zugrundeliegende Konstrukt
quasi als algorithmische Zielvorrichtung.
Anders gesagt,
favorisiert oder diskriminiert
es systematisch
bestimmte Objekte,
die gerammt werden sollten.
Und die Besitzer der Zielfahrzeuge
werden die negativen Konsequenzen
dieses Algorithmus tragen,
und zwar ohne eigenes Verschulden.
Unsere neuen Technologien bringen viele
neuartige ethische Dilemmata mit sich.
Hättest du etwa die Wahl
zwischen einem Auto,
das bei einem Unfall stets
so viele Leben wie möglich retten würde,
und einem Auto, das
definitiv dich retten würde,
welches würdest du kaufen?
Was passiert, wenn Autos anfangen,
ihre Insassen und die Details
aus deren Leben zu analysieren
und zu integrieren?
Ist eine zufällige Entscheidung besser,
als eine vorgegebene mit dem
Ziel der Schadensminimierung?
Und wer sollte all diese
Entscheidungen überhaupt treffen?
Programmierer?
Unternehmen?
Regierungen?
Unsere Gedankenexperimente
werden zwar nicht unbedingt Realität,
aber darum geht es nicht.
Sie sollen unsere Moralvorstellungen
ausloten und hinterfragen,
wie wissenschaftliche Experimente
über die physische Welt.
Wenn wir diese moralischen
Haarnadelkurven jetzt entdecken,
können wir die unbekannten Straßen
der Technologieethik bewältigen,
was uns ermöglicht,
souverän und gewissenhaft
in eine schöne neue Zukunft zu fahren.
Αυτό είναι ένα πείραμα σκέψης.
Ας πούμε ότι μια μέρα
στο όχι και τόσο μακρινό μέλλον,
βρίσκεσαι στον αυτοκινητόδρομο
με το αυτοοδηγούμενο όχημα σου
και παγιδεύεσαι από όλες τις μεριές
από άλλα αυτοκίνητα.
Ξαφνικά ένα μεγάλο και βαρύ αντικείμενο
πέφτει από το φορτηγό μπροστά σου.
Το αυτοκίνητο σου δεν προλαβαίνει
να σταματήσει έγκαιρα για να το αποφύγει,
οπότε πρέπει να πάρει μια απόφαση:
συνεχίζει ευθεία
και χτυπάει στο αντικείμενο,
στρίβει αριστερά
και χτυπάει στο φορτηγάκι,
ή στρίβει δεξιά
και χτυπάει στην μηχανή.
Πρέπει για την ασφάλεια σου
να χτυπήσει την μηχανή,
να ελαχιστοποιήσει τον κίνδυνο
για τους υπόλοιπους μη στρίβοντας,
ακόμα κι αν αυτό σημαίνει να χτυπήσει
το αντικείμενο και να σκοτωθείς,
ή ακολουθεί την μέση λύση
χτυπώντας το φορτηγάκι,
το οποίο προσφέρει μεγάλη
παθητική ασφάλεια στους επιβάτες του;
Λοιπόν, τι θα έπρεπε να κάνει
το αυτοοδηγούμενο όχημα;
Αν οδηγούσαμε αυτό το παγιδευμένο
αυτοκίνητο χειροκίνητα,
οποιαδήποτε αντίδρασή μας
θα εκλαμβανόταν ως ένα μόνο πράγμα:
ως μια αντίδραση
και όχι ως μια εκούσια απόφαση.
Θα ήταν μια ενστικτώδης πανικόβλητη
αντίδραση χωρίς υστεροβουλία.
Αλλά αν ένας προγραμματιστής έπρεπε
να δώσει οδηγίες στο αμάξι
να αντιδράσει με τον ίδιο τρόπο
σε δεδομένες συνθήκες στο μέλλον,
αυτό μάλλον μοιάζει
με ανθρωποκτονία εκ προμελέτης.
Για να είμαστε δίκαιοι,
τα αυτοοδηγούμενα οχήματα προβλέπεται
να μειώσουν εντυπωσιακά
τα τροχαία ατυχήματα και τους θανάτους
απομακρύνοντας το ανθρώπινο λάθος
από την οδηγική εξίσωση.
Επίσης, θα υπάρχουν και άλλα οφέλη:
συντονισμένη κυκλοφορία,
μειωμένες εκπομπές ρύπων,
και ελαχιστοποίηση του μη παραγωγικού
και στρεσογόνου οδηγικού χρόνου.
Αλλά τα ατυχήματα
θα συνεχίσουν να γίνονται,
και όταν θα γίνονται
τα αποτελέσματα τους ίσως να καθορίζονται
μήνες και χρόνια εκ των προτέρων
από προγραμματιστές
ή διαμορφωτές πολιτικής.
Και θα πρέπει να πάρουν
αρκετά δύσκολες αποφάσεις.
Είναι δελεαστικό να βάλουμε
γενικές καθοριστικές αρχές,
όπως το ελάχιστο κακό,
αλλά ακόμα κι αυτό γρήγορα οδηγεί
σε ηθικά σκοτεινές αποφάσεις.
Για παράδειγμα,
ας πούμε ότι έχουμε την ίδια διευθέτηση,
αλλά τώρα υπάρχει ένας μοτοσυκλετιστής
με κράνος στα αριστερά
και ένας άλλος χωρίς κράνος
στα δεξιά σου.
Με ποιον από τους δύο
θα έπρεπε να συγκρουστεί;
Αν πεις τον αναβάτη με το κράνος,
επειδή είναι πιο πιθανό να επιβιώσει,
δεν τιμωρείς τότε
τον υπεύθυνο μοτοσυκλετιστή;
Αν αντιθέτως, πεις τον αναβάτη
χωρίς το κράνος
επειδή φέρεται ανεύθυνα,
τότε έχεις ξεφύγει κατά πολύ από την
αρχικά παραδεκτή αρχή της ελάχιστης ζημιάς
και το ρομπότ-αυτοκίνητο αποδίδει
πλέον δικαιοσύνη του δρόμου.
Εδώ οι ηθικές ανησυχίες
γίνονται πιο πολύπλοκες.
Και στα δύο σενάρια,
το βασικό σχέδιο λειτουργεί σαν ένας
αλγόριθμος στοχοποίησης ανά είδος.
Με άλλα λόγια,
συστηματικά προτιμάει ή ξεχωρίζει
έναν συγκεκριμένο τύπο οχημάτων
με τον οποίο θα συγκρούεται.
Και οι ιδιοκτήτες
των στοχευόμενων οχημάτων
θα υποστούν τις αρνητικές επιπτώσεις
αυτού του αλγόριθμου
χωρίς να φταίνε σε τίποτα.
Οι καινούργιες τεχνολογίες ανοίγουν πολλά
ακόμα πρωτότυπα ηθικά διλήμματα.
Για παράδειγμα αν έπρεπε
να διαλέξεις ανάμεσα
σε ένα αυτοκίνητο που θα έσωζε όσες
περισσότερες ζωές γίνεται σε ένα ατύχημα,
ή ένα που θα έσωζε εσένα με κάθε κόστος,
ποιο θα αγόραζες;
Τι θα συνέβαινε αν τα αμάξια άρχιζαν
να αναλύουν και να παραγοντοποιούν
τους επιβάτες των αυτοκινήτων
και στοιχεία από την ζωή τους;
Υπάρχει περίπτωση μια τυχαία απόφαση
να είναι καλύτερη από μια προκαθορισμένη
σχεδιασμένη να ελαχιστοποιεί την ζημιά;
Και ποιος θα έπρεπε να παίρνει
τελικά όλες αυτές τις αποφάσεις;
Προγραμματιστές;
Εταιρίες;
Κυβερνήσεις;
Η πραγματικότητα μπορεί να μην εξελιχτεί
ακριβώς όπως τα πειράματα σκέψης,
αλλά δεν είναι αυτό το θέμα.
Είναι σχεδιασμένα να απομονώνουν και να
δοκιμάζουν την αντίληψη μας περί ηθικής,
ακριβώς όπως τα επιστημονικά πειράματα
κάνουν στον φυσικό κόσμο.
Εντοπίζοντας αυτά τα ηθικά προβλήματα
από τώρα
θα μας βοηθήσει να ελιχθούμε στον άγνωστο
δρόμο της τεχνολογικής ηθικής,
και θα μας επιτρέψει να οδηγηθούμε
με αυτοπεποίθηση και σιγουριά
στο πολλά υποσχόμενο μέλλον.
Este es un experimento mental.
Digamos que en algún momento
en un futuro cercano,
irás a toda velocidad por la carretera
en tu automóvil robótico
y estarás acorralado por todos lados
por otros autos.
De repente, un objeto grande
y pesado cae del camión ante ti.
Tu auto no puede parar a tiempo
para evitar la colisión,
por eso debes tomar una decisión:
seguir recto y golpear el objeto,
girar a la izquierda hacia un 4x4
o desviarse a la derecha
hacia una motocicleta.
¿Debe priorizar tu seguridad
golpeando la motocicleta,
minimizar el peligro para los demás
no desviándose,
incluso si eso significa golpear
el objeto grande y sacrificar tu vida,
u optar por el término medio
golpeando la camioneta,
que tiene un alto índice de seguridad
para sus pasajeros?
Entonces, ¿qué debe
hacer el automóvil robótico?
Si condujéramos el automóvil
en modo manual,
de cualquier forma que quisiéramos
reaccionar se entendería como solo eso,
una reacción,
no una decisión deliberada.
Sería un movimiento de pánico
instintivo sin premeditación o malicia.
Pero si un programador tuviera que
asignar al auto hacer un movimiento,
dadas las condiciones que pueden
presentarse en el futuro,
bueno, eso se parece más
a homicidio premeditado.
Ahora, para ser justos,
con los autos robóticos se prevé reducir
drásticamente los accidentes de tráfico
y las muertes
por la eliminación del error
humano en la conducción.
Además, puede haber todo tipo
de beneficios adicionales:
congestión vial aliviada,
disminución de emisiones nocivas,
y reducción al mínimo del tiempo de
conducción improductivo y estresante.
Pero los accidentes pueden
suceder y sucederán,
y cuando sucedan,
los resultados pueden determinarse
meses o años de antelación
por programadores o diseñadores
de políticas.
Y ellos tendrán que tomar
algunas decisiones difíciles.
Es tentador ofrecer principios
generales de decisión,
como minimizar el daño,
pero eso incluso lleva fácilmente a
decisiones moralmente cuestionables.
Por ejemplo,
con la misma configuración inicial,
pero a la izquierda
un motociclista con casco
y a la derecha otro sin casco.
¿Con quién debería chocar
el automóvil robótico?
Si dices con motociclista con casco por
tener más probabilidad de sobrevivir,
entonces, ¿no penalizas
al motociclista responsable?
Si, en cambio,
vas hacia al motociclista sin casco
porque él actúa de
manera irresponsable, entonces
has ido mucho más allá del principio de
diseño inicial de minimización de daños,
y el automóvil robótico está ahora
haciendo justicia en la calle.
Las consideraciones éticas
se complican más aquí.
En ambos escenarios,
el diseño subyacente funciona como
un algoritmo de focalización de clases.
En otras palabras,
favorece o discrimina sistemáticamente
en contra de chocarse
con un determinado tipo de objeto.
Y los dueños de los vehículos diana
sufrirán las consecuencias negativas
de este algoritmo
por causas ajenas a su voluntad.
Nuestras nuevas tecnologías abren
muchos otros dilemas éticos novedosos.
Por ejemplo, si tuvieras que elegir entre
un auto que siempre quiera salvar tantas
vidas como fuera posible en un accidente,
o uno que te salvara a ti a toda costa,
¿cuál comprarías?
¿Qué sucede si los autos empiezan
a analizar y factorizar
a los pasajeros de los autos y
los detalles de sus vidas?
¿Podría darse el caso de que
una decisión al azar
siga siendo mejor que una predeterminada
diseñada para minimizar el daño?
¿Y quién debería tomar
estas decisiones de todos modos?
¿Los programadores?
¿Las empresas?
¿Los gobiernos?
La realidad no reproduce exactamente
nuestros experimentos mentales,
pero ese no es el punto.
Están diseñados para aislar y someter
a presión a nuestras intuiciones éticas,
igual que los experimentos científicos
lo hacen al probar el mundo físico.
Detectar este giro en U moral
nos ayudará a maniobrar en el camino
desconocido de la ética de la tecnología,
y nos permitirá adentrarnos
con confianza y conciencia
en nuestro nuevo y valiente futuro.
این یک آزمایش شیوه تفکر است.
چطوره بگوییم در آینده ای نه چندان دور،
در خودرو بدون راننده خود (راننده اتوماتیک)
در اتوبان قل خورده و می روید،
و وسط خودروهای دیگر
در اطرافتان گیر افتادید.
ناگهان، یک شیء بزرگ سنگین
از کامیون روبرویی جلوی شما می افتد.
خودرو شما نمی تواند توقفی به موقع داشته
تا ازبرخورد جلوگیری کند،
بنابراین باید تصمیمی بگیرد:
مستقیم رفته و با شیء برخورد کند،
به چپ به سمت SUV (شاسی بلند)
منحرف شود،
یا به راست به سمت موتور منحرف شود.
آیا جان شما را اولویت قرار داده
و به موتور سوار برخورد کند،
با منحرف نشدن خطر را به حداقل برساند،
حتی اگر به معنی برخورد با شیء بزرگ
و فدا کردن جان شما باشد،
یا حد وسط را در نظر گرفته
وبا SUV برخورد کند،
،
که میزان ایمنی سرنشین بالاتری دارد؟
پس خودرو با رانندگی اتوماتیک
چکار باید بکند؟
اگر ما در شرایط رانندگی معمولی
در اون شرایط گیر افتاده بودیم،
هر راهی که عکس العمل نشان می دادیم
قابل درک بود،
یک عکس العمل،
نه یک تصمیم سنجیده و حساب شده.
اون یک حرکت غریزی از روی ترس است
بدون دوراندیشی یا بدخواهی.
اما اگر یک برنامه نویس قرار باشد
عکس العملهای مشابه را به خودرو تعلیم دهد،
که به شرایط معین در آینده حساس باشد،
خُب، این یک خودکشی عمدی بنظر می آید.
حالا، منصفانه بگوییم،
پیش بینی می شود خودروهای با راننده اتوماتیک
به میزان قابل ملاحظه ای از حوادث رانندگی
و جان باختن می کاهند
اینکار با حذف اشتباهات انسانی
از معادله رانندگی است.
بعلاوه، کلی فواید دیگر نیز ممکن است:
کاهش تراکم جاده ای،
کاهش نشتی های مضر،
و به حداقل رساندن زمان رانندگی
پر استرس و بی حاصل.
اما حوادث همچنان رخ می دهند،
و وقتی رخ بدهند،
شاید بتوان نتایج آنها را ماهها یا
سالها جلوتر محاسبه کرد
توسط برنامه نویسان و سیاست گذاران.
و آنها میبایست تصمیمات سختی را بگیرند.
وسوسه انگیزه که اصول کلی
تصمیم گیری را ارئه دهیم
مثل حداقل رساندن خسارت،
اما حتی آنهم بسرعت به تصمیمات
مشکوک اخلاقی منجرمی شود.
بعنوان مثال،
فرض کنیم ترکیب اولیه مشابهی داریم،
اما حالا موتورسوار سمت چپ شما
کلاه ایمنی دارد
و موتورسوار دیگری در سمت راست شما
کلاه ایمنی ندارد.
خودرو رباتی شما به کدام یک
می بایست برخورد کند؟
اگر بگویید موتورسوار با کلاه ایمنی
چون شانس زنده ماندن بیشتری دارد،
اونوقت یک موتورسوار مسئول
را تنبیه میکنید؟
اگر، در عوض، موتورسوار
بدون کلاه ایمنی را
بدلیل رفتار غیرمسئولانه اش نجات دادید،
پس بسیار فراتر از اصول اولیه طرح
مبنی بر حداقل رساندن خسارت رفته اید،
و خودرو رباتی در حال اشاعه
عدالت در خیابانهاست.
ملاحظات اخلاقی در اینجا پیچیده تر می گردد.
در هر دو سناریوی ما،
طرح زیربنایی بعنوان الگوریتم پیش بینی شده،
آنهم چه الگوریتمی، عمل می کند.
به بیان دیگر،
بطور سیستماتیکی یا به نفع یا بر ضد
یکنوع شیء خاص برای برخورد، عمل می کند.
و صاحبان وسایل نقلیه مورد هدف
از نتایج منفی این الگوریم لطمه می خورند
بدون اینکه مقصر باشند.
فن آوریهای جدید ما، تجلی دیگر
محظوریتهای اخلاقی بدیع هستند.
بعنوان مثال، اگر قرار بود بین
دو خودرو انتخاب کنید
یکی که همیشه تا حد امکان جان
افراد بیشتری را در سانحه نجات می دهد،
و آن یکی که به هر قیمتی که شده
جان شما را نجات می دهد،
کدامیک را می خریدید؟
چی اتفاقی می افتد اگر خودرو ها
شروع به تحلیل و فاکتورسازی
سرنشینان خودروها و
جزئیات زندگی آنها بپردازند؟
آیا امکان این وجود دارد که
یک تصمیم اتفاقی
هنوز هم بهتر از یک تصمیم از پیش تعیین شده
که برای حداقل رساندن خسارت طراحی شده، باشد؟
و بالاخره چه کسی باید تمامی
این تصمیمات را انجام دهد؟
برنامه نویسان؟
شرکتها؟
دولتها؟
ممکن است واقعیت دقیقا طبق
تجربیات ذهنی ما عمل نکند،
اما نکته این نیست.
آنها اینطور طراحی شدند تا بینش ما در
مورد اصول اخلاقی را جدا و تست استرس کنند،
درست مثل آزمایشات علمی از جهان فیزیکی.
یافتن چنین پیچهای تند اخلاقی در حال حاضر
به ما کمک خواهد کرد تا مانوری در مسیرهای
ناآشنای اصول اخلاقی تکنولوژی انجام داده،
و به ما اجازه خواهد داد تا
با اطمینان خاطر و با وجدان
در آینده جدید بی پروای خود گشت بزنیم.
Tämä on ajatuskoe.
Kuvittele, että jossain vaiheessa
lähitulevaisuudessa
ajat itseohjautuvalla autolla
valtatietä
ja huomaat olevasi muiden autojen
välissä.
Yhtäkkiä raskas esine tipahtaa edelläsi
kulkevasta rekasta eteesi.
Autosi ei voi pysähtyä ajoissa
välttääkseen törmäystä,
joten sen on tehtävä päätös:
mennä suoraan esinettä päin
kaarrettava vasemmalla olevaan
citymaasturiin
tai oikealle moottoriåyötää päin.
Pitäisikö sen priorisoida sinun etuasi
törmäämällä moottoripyörään.
minimoida muiden vahinkoja
pysymällä kaistalla,
vaikka se tarkoittaisi törmäämistä ja
sinun elämäsi uhraamista,
vai törmätä maasturiin,
jolla on korkein luokitus
matkustajaturvallisuudessa?
Mitä siis itseohjautuvan auton tulisi
tehdä?
Jos ajaisimme autoa itse,
reaktiomme ymmärrettäisiin
juuri sellaisena,
eli reaktiona,
ei tietoisena päätöksenä.
Se tulkittaisiin paniikinomaisena
liikkeenä ilman pahaa tarkoitusta.
Mutta jos ohjelmoija antaa autolle
ohjeet samaan liikkeeseen
määrittäen ehdot, joita se voi kohdata
tulevaisuudessa,
se alkaisi näyttää enemmän
harkitulta murhalta.
Ollaksemme reiluja:
itseohjautuvien autojen on ennustettu
vähentävän onnettomuuksia dramaattisesti,
samoin kuolemia,
poistamalla yhtälöstä
inhimillisen erehdyksen.
Niistä voi olla myös muunlaista
hyötyä:
sujuvampaa liikennettä,
päästöjen vähentymistä.
ja vähemmän tuottamatonta ja
stressaavaa ajoaikaa.
Onnettomuuksia voi silti tapahtua,
ja tapahtuu,
ja kun niin käy,
lopputuloksen on ehkä määritellyt
kuukausia tai vuosia sitten
ohjelmoija tai päättäjä.
Heillä on edessään vaikeita
päätöksiä.
On houkuttavaa tarjota yleisiä
päätöksentekoperiaatteita,
kuten haitan minimointia,
mutta jopa tämä johtaa pian
moraalisesti hämäriin päätöksiin.
Esimerkiksi
oletetaan lähtötilanne muuten samaksi,
mutta nyt vasemmalla on
kypäräpäinen moottoripyöräilijä
ja oikealla kypärätön.
Kumpaan robottiautosi tulisi
törmätä?
Jos valitset kypäräpäisen siksi,
että hän selviytyy todennäköisemmin,
etkö silloin rankaise vastuullista
motoristia?
Jos taas valitset kypärättä ajavan
pyöräilijän,
koska hän käyttäytyy vastuuttomasti,
olet kaukana alkuperäisestä ohjeesta
vanhinkojen minimoimisesta
ja robottiauto harjoittaakin nyt
katuoikeutta.
Eettinen pohdinta mutkistuu.
Molemmissa skenaarioissa
suunnitelma perustuu kohteen
luokittelualgoritmiin.
Toisin sanoen
se systemaattisesti suosii tai
syrjii
tiettyjä kohteita törmäystilanteessa.
Kohdeajoneuvojen kuljettajat
kärsivät näiden algoritmien kielteiset
seuraukset
ilman omaa syytään.
Teknologiamme avaa tien uusille
eettisille dilemmoille.
Esimerkiksi jos sinun on valittava
auto, joka aina pelastaisi onnettomuudessa
mahdollisimman monta elämä,
tai auto, joka pelastaisi aina sinut,
kumman ostaisit?
Mitä tapahtuu, jos auto alkaa
analysoida ja arvioida
auton matkustajien elämien
arvoa?
Voiko sattumaan perustuva päätös
ollakin parempi kuin ennalta haitan
minimoimiseen perustuva päätös?
Ja kenelle nämä päätökset kuuluvat?
Ohjelmoijille?
Yrityksille?
Hallituksille?
Todellisuus ei aina toimi kuten
ajatuskokeemme,
mutta se ei ole tärkeää.
Niiden avulla voi eristää ja
testata eettisiä intuitioitamme,
kuten tieteelliset kokeet testaavat
fyysistä maailmaa.
Kun huomaamme näitä moraalisia
käänteitä nyt,
se auttaa kulkemaan teknologian
etiikan uusilla poluilla
ja kuljettaa meidät varmasti ja
tietoisesti
kohti uljasta uutta tulevaisuutta.
Ceci est une expérience de pensée.
Imaginons qu'un jour,
dans un futur pas si lointain,
vous fonciez à toute allure sur
l'autoroute, dans votre voiture autonome,
et vous vous trouvez enfermé de tous
les côtés par d'autres voitures.
Tout à coup, un objet lourd et volumineux
tombe du camion qui roule devant vous.
Votre voiture ne peut s'arrêter
à temps pour éviter la collision,
elle doit donc prendre une décision :
aller tout droit et percuter l'objet,
tourner à gauche et percuter un 4x4,
ou tourner à droite et percuter une moto.
Doit-elle faire passer votre sécurité
en priorité en percutant la moto,
limiter le danger pour les autres
en continuant tout droit,
même si cela implique de percuter l'objet
et sacrifier votre vie,
ou choisir une solution intermédiaire
et percuter le 4x4,
qui a une cote de sécurité du passager
élevée ?
Alors, que doit faire
la voiture autonome ?
Si cette voiture encerclée
était conduite manuellement,
n'importe quelle réaction
serait considérée comme telle,
une réaction,
pas une décision délibérée.
Ce serait un geste instictif de panique
sans préméditation ni malveillance.
Mais si un programmeur ordonnait
à la voiture d'agir de la même façon,
selon des conditions qu'elle pourrait
détecter à l'avenir,
cela ressemble davantage
à un homicide volontaire prémédité.
Pour être juste,
les voitures autonomes
devraient réduire drastiquement
le nombre de décès et d'accidents
en supprimant l'erreur humaine
de l'équation de la conduite.
Il y aurait toutes sortes
d'autres avantages :
des embouteillages atténués,
des échappements nocifs diminués,
et un temps de conduite stressant
et improductif réduit au minimum.
Si des accidents peuvent
et vont toujours arriver,
quand ils arrivent,
leurs bilans pourraient être déterminés
des mois ou des années à l'avance
par des programmeurs
ou des décisionnaires.
Et ils vont avoir des décisions
difficiles à prendre.
Il est tentant d'établir des principes
décisionnels généraux,
comme de toujours limiter les dégâts,
mais même cela conduit vite à des
décisions troubles sur le plan moral.
Par exemple,
imaginons la même situation initiale,
mais cette fois avec un motard
avec un casque à votre gauche,
et un autre, sans casque, à votre droite.
Lequel des deux votre voiture-robot
doit-elle percuter ?
Si vous dites le motard avec un casque,
parce qu'il a plus de chances de survivre,
alors n'êtes-vous pas en train
de pénaliser le conducteur responsable ?
Si, plutôt, vous choisissez
le motard sans casque
parce qu'il agit de façon irresponsable,
alors vous avez largement dépassé le but
initial, qui est de limiter les dégâts,
et la voiture-robot transgresse alors
le code de la route.
Les considérations éthiques
deviennent donc plus compliquées.
Dans nos deux scénarios,
le processus sous-jacent fonctionne comme
un algorithme ciblant des types.
Autrement dit,
il favorise ou discrimine systématiquement
un certain type d'objet
avec lequel entrer en collision.
Et les propriétaires des véhicules cibles
souffriront les conséquences négatives
de cet algorithme
alors qu'ils n'ont pas commis d'erreur.
Nos nouvelles technologies ouvrent la voie
à de nombreux autres débats éthiques.
Par exemple, si vous aviez à choisir entre
une voiture qui sauve toujours autant
de vies que possible lors d'un accident
ou une voiture qui vous sauve vous,
et ce à n'importe quel prix,
laquelle achèteriez-vous ?
Que se passe-t-il si la voiture se met
à analyser et tenir compte
des passagers dans la voiture
et des particularités de leur vie ?
Se pourrait-il qu'une décision aléatoire
reste meilleure qu'une prédéterminée
conçue pour limiter les dégâts ?
Et qui doit prendre toutes ces décisions ?
Les programmeurs ?
Les entreprises ?
Les gouvernements ?
La réalité peut ne pas se dérouler
selon nos expériences de pensée,
mais là n'est pas la question.
Elles sont conçues pour isoler et mettre
nos intuitions éthiques à l'épreuve,
comme les expériences scientifiques
le font pour le monde physique.
Repérer aujourd'hui ces virages en épingle
sur le plan moral
nous aidra à manoeuvrer sur la route
inconnue de l'éthique des technologies
et nous permettra de rouler
consciencieusement et en toute confiance
vers le meilleur des avenirs.
זה ניסוי מחשבתי,
בואו נדמיין נקודה בעתיד הלא כל כך רחוק,
בה אתם דוהרים במורד הכביש המהיר
במכונית הנוהגת בעצמה שלכם,
ואתם מוצאים את עצמכם לכודים
מכל הכיוונים על ידי מכוניות אחרות.
פתאום, עצם גדול וכבד נופל מהמשאית לפניכם.
המכונית שלכם לא יכולה
לעצור בזמן כדי להמנע מהתנגשות,
לכן היא צריכה לעשות החלטה:
להמשיך ישר ולפגוע בעצם,
לסטות שמאלה לתוך רכב שטח,
או לסטות ימינה לתוך אופנוע.
האים היא צריכה להעדיף את הבטיחות שלכם
על ידי פגיעה באופנוע,
להקטין את הסכנה לאחרים
על ידי כך שתמשיך ישר,
אפילו אם זה אומר פגיעה בעצם גדול
ולהקריב את חייכם,
או לקחת את הדרך האמצעית ולפגוע ברכב השטח,
שיש לו דרוג בטיחות גבוה?
אז מה מכונית הנהיגה העצמית היתה עושה?
אם אנחנו היינו נוהגים
במכונית הלכודה הזו במצב ידני,
בכל דרך שנגיב זה יובן בדיוק כך,
תגובה,
לא החלטה מוכוונת.
זו תהיה תנועה אינסטינקטיבית של פאניקה
ללא חשיבה מוקדמת או כוונת זדון.
אבל אם מתכנת היה מורה למכונית
לעשות את אותה פעולה,
בהתחשב בתנאים שהיא תחוש בעתיד,
ובכן, זה נראה יותר כמו רצח בכוונה תחילה.
עכשיו, כדי להיות הוגנים,
מכוניות שנוהגות בעצמן צפויות
להפחית באופן דרמטי את תאונות הדרכים
ואת הקורבנות
על ידי הסרת טעות אנוש ממשוואת הנהיגה.
ועוד, אולי יהיו עוד כל מיני תועלות אחרות:
הקלה בעומס בכבישים,
הפחתת פליטות מזהמות,
והפחתה בזמן נהיגה לא פרודוקטיבי ומלחיץ.
אבל תאונות יכולות עדיין להתרחש והן יתרחשו,
וכשהן יתרחשו,
התוצאה שלהן אולי תקבע חודשים או שנים מראש
על ידי מתכנתים או קובעי מדיניות.
ויהיו להם כמה החלטות קשות לעשות.
זה מפתה להציע עקרונות קבלת החלטות כלליים,
כמו להפחית פגיעה,
אבל אפילו זה מוביל במהירות
להחלטות עכורות מוראלית.
לדוגמה,
בואו נגיד שיש לנו את אותה נקודת התחלה,
אבל עכשיו יש אופנוענית שחובשת קסדה לשמאלכם
ואחרת בלי קסדה לימינכם.
באיזה מהם הרובוט שלכם יתנגש?
אם הייתם אומרים באופנוענית עם הקסדה
מפני שיש לה יותר סיכוי לשרוד,
אז אתם לא מענישים את הרוכבת האחראית?
אם במקום, תצילו את האופנוען בלי הקסדה
בגלל שהוא לא נוהג בחוסר אחריות,
אז עברתם הרבה מעבר לעקרונות
התכנון הראשוניים בנוגע להפחתת פגיעה,
והמכונית הרובוטית מבצעת עכשיו צדק רחוב.
השיקולים האתיים נעשים יותר מסובכים פה.
בשני המקרים,
התכנון המובנה פועל כאלגוריתם
כיוונון מסוג שהוא.
במילים אחרות,
זו העדפה או אפליה שיטתית
נגד סוג מסויים של עצם להתנגש בו.
והבעלים של רכב המטרה
יסבול מהתוצאות השליליות של האלגוריתם
לא באשמתם.
הטכנולוגיות החדשות פותחות
הרבה דילמות אתיות חדשות אחרות.
לדוגמה, אם הייתם צריכים לבחור בין
מכונית שתמיד תציל חיים
רבים ככל האפשר בתאונה,
או אחת שתציל אתכם בכל מחיר,
איזו תקנו?
מה קורה אם המכונית מתחילה לנתח ולשקלל
את הנוסעים של מכוניות והפרטים על חייהם?
האם זה יכול להיות המקרה שהחלטה אקראית
עדיין טובה יותר מאחת קבועה מראש
שמתוכננת להפחית פגיעה?
ומי צריך לעשות
את כל ההחלטות האלו בכל אופן?
תוכניתנים?
חברות?
ממשלות?
המציאות אולי לא תתרחש
בדיוק כמו הניסויים המחשבתיים שלנו,
אבל זו לא הנקודה.
הן מתוכננות לבודד ולבדוק תחת לחץ
את האינטואיציה שלנו והאתיקה,
ממש כמו ניסויים מדעיים בעולם האמיתי.
לזהות את הסיבובים החדים
המורליים האלו עכשיו
יעזור לנו לנווט בדרך הלא מוכרת
של אתיקה טכנולוגית,
ולאפשר לנו לשייט בבטחון ובהכרה
לעתיד האמיץ והחדש שלנו.
Ez egy gondolatkísérlet.
Tegyük fel, hogy egyszer,
a nem is annyira távoli jövőben
az autópályán száguldunk
önvezető autónkkal,
és mindenhol autók vesznek körül.
Hirtelen az előttünk haladó teherautóról
egy nagy, nehéz tárgy esik elénk.
Autónk nem tud időben megállni,
hogy elkerüljük az ütközést,
így dönteni kell:
egyenesen nekiütközünk a tárgynak,
vagy balra egy terepjáróba,
esetleg jobbra egy motorosba hajtunk.
Saját biztonságunk legyen a legfontosabb,
és üssük el a motorost?
Vagy minimalizáljuk mások
veszélyeztetését, és ne térjünk ki,
még ha a nagy tárggyal történő ütközés
következtében életünket veszíthetjük is?
Vagy köztes megoldásként
menjünk bele a terepjáróba,
amelynek jó az utasbiztonsága?
Mit csináljon tehát az önvezető autónk?
Ha kézzel irányítanánk
ezt a beszorított autót,
bárhogy is cselekednék,
az csak önkéntelen reakció lenne,
nem megfontolt döntés.
Ösztönös, pánikszerű cselekedet,
előrelátás vagy szándékosság nélkül.
Ám, ha egy programozó meghatározza,
hogy adott jövőbeli feltételek mellett
hogyan döntsön az autó,
akkor ez inkább előre megfontolt
gyilkosságnak tűnik.
Valljuk be,
az önvezető autók használatával
drasztikusan csökken
a közlekedési balesetek
és halálesetek száma
azáltal, hogy az emberi hiba
lehetőségét kivesszük a rendszerből.
Emellett egyéb előnyök is lehetnek:
kisebb közúti dugók,
alacsonyabb károsanyag-kibocsátás,
és rövidebb haszontalan,
stresszes vezetéssel töltött idő.
Ám balesetek történhetnek és történnek is.
És mikor megtörténnek,
kimenetelüket már több hónappal,
évvel előtte eldönthetik
programozók, döntéshozók.
És ehhez néhány nehéz döntést
kell meghozniuk.
Vonzó lenne általános döntési elveket,
mint például a következmények
minimalizálása, venni figyelembe,
ám még ez is hamar morálisan
elfogadhatatlan döntésekhez vezethet.
Például,
tegyük fel, hogy az előbbi helyzetben
egy bukósisakos motoros van a bal.
és egy bukósisak nélküli
a jobb oldalunkon.
Melyiknek menjen neki a robotautó?
Ha mondjuk a sisakosnak, csak mert
ő nagyobb eséllyel marad életben,
nem büntetjük-e a felelős motorost?
Ha viszont nem mentjük meg
a sisak nélküli motorost,
mivel felelőtlenül viselkedik,
akkor nagyon eltérünk az alapelvtől,
hogy minimalizáljuk a következményt,
és robot autónk így
utcai igazságosztóvá válik.
Az erkölcsi problémák
sokkal összetettebbek itt.
Mindkét forgatókönyv esetén
beépített program működik, különböző
eseményekre írt algoritmusok formájában.
Más szóval,
ez rendszerszerűen kedvez
bizonyos tárgyaknak az ütközésekkor.
Az elütött jármű tulajdonosa
pedig ezen algoritmusok,
és nem saját hibája miatt kerül bajba.
Az új technológiák sok új
erkölcsi kérdést vetnek fel.
Például, melyik autót választanánk?
Azt, amelyik a lehető legtöbb életet
menti meg egy baleset során,
vagy azt, amelyik minket
ment meg bármi áron?
Mi történik, ha az autók elkezdik
elemezni és súlyozni
az autók utasait és azok élethelyzetét.
Lehetséges, hogy egy
véletlenszerű döntés jobb,
mint egy, a károk minimalizálása
céljából, előre meghatározott?
És egyébként kinek kellene meghozni
ezeket a döntéseket?
A programozóknak?
A cégeknek?
A kormányoknak?
A valóság lehet, nem pontosan olyan lesz,
mint gondolatkísérleteink.
De nem ez a lényeg.
Ezek jók, hogy elkülönítsük és teszteljük
ösztönös erkölcsi megérzéseinket,
ahogyan a tudományos kísérletekben
vizsgáljuk az anyagi világot.
Ezeknek az erkölcsi problémáknak
azonosítása segít
a manőverezésben a technológiai
etika ismeretlen útján,
és teszi lehetővé, hogy magabiztosan
és lelkiismeretesen vezessünk
a boldog jövő felé.
Questo è un esperimento mentale.
Ipotizziamo che a un certo punto,
in un futuro non troppo lontano,
stiate sfrecciando in autostrada
sulla vostra macchina senza conducente,
e vi troviate circondati su tutti i lati
da altri veicoli.
Improvvisamente, un oggetto voluminoso
e pesante cade dal camion davanti a voi.
La vostra auto non può fermarsi in tempo
per evitare l'impatto,
e deve prendere una decisione:
proseguire diritto e colpire l'oggetto,
sterzare a sinistra e urtare un SUV,
o sterzare a destra e colpire una moto.
Dovrebbe dare priorità
alla vostra sicurezza colpendo la moto,
ridurre al minimo il danno agli altri
senza sterzare,
anche se ciò significa schiantarsi contro
il carico e sacrificare la vostra vita,
oppure dovrebbe scegliere
la via di mezzo e urtare il SUV,
che ha un livello di sicurezza
dei passeggeri elevato?
Cosa dovrebbe fare
l'auto senza conducente?
Se stessimo guidando quell'auto circondata
in modalità manuale,
qualunque nostra possibile reazione
sarebbe intesa semplicemente come tale,
una reazione,
non una decisione deliberata.
Sarebbe un'azione istintiva
dettata dal panico,
senza premeditazione o malizia.
Ma se un programmatore desse all'auto
l'istruzione di reagire nello stesso modo,
viste le situazioni che
potrebbero presentarsi in futuro,
allora sembrerebbe più
un omicidio premeditato.
Per essere corretti,
le macchine autonome ridurranno molto
gli incidenti stradali
e le vittime,
eliminando l'errore umano
dall'equazione della guida.
Inoltre, potrebbero apportare
diversi altri vantaggi,
come la diminuzione del traffico,
la riduzione delle emissioni nocive,
e la minimizzazione del tempo stressante
e sterile passato alla guida.
Gli incidenti, però, possono
e continueranno a verificarsi
e, in tal caso,
i loro esiti potrebbero essere determinati
con mesi o anni di anticipo
dai programmatori o dai policy maker,
che avranno decisioni importanti
da prendere.
È allettante l'idea di proporre
principi decisionali generali,
come ridurre al minimo i danni,
ma anch'essi conducono rapidamente
a decisioni moralmente discutibili.
Per esempio,
immaginiamo le stesse
condizioni di partenza,
ma ora ci sono una motociclista
con il casco alla vostra sinistra
e uno senza casco alla vostra destra.
Contro quale dei due
dovrebbe schiantarsi l'auto robot?
Se rispondete "quella con il casco"
perché ha più probabilità di sopravvivere,
allora non state penalizzando
il conducente responsabile?
Se, invece, salvate
il motociclista senza casco
perché agisce in maniera irresponsabile,
siete andati ben oltre
il principio del progetto iniziale
di ridurre al minimo i danni,
e ora l'auto robot sta applicando
una sorta di giustizia fai da te.
La riflessione etica qui si complica.
In entrambe i casi,
il progetto di base funziona come
un algoritmo di ordinamento mirato.
In altre parole,
predilige o esclude sistematicamente
un certo tipo di oggetto
contro cui schiantarsi.
I proprietari dei veicoli "bersaglio"
subiranno le conseguenze negative
di questo algoritmo,
senza però avere alcuna colpa.
Le nuove tecnologie aprono la strada
a molti altri nuovi dilemmi etici.
Per esempio, se doveste scegliere
tra un'auto che salverebbe sempre
più vite possibili in caso d'incidente
e una che salverebbe voi a tutti i costi,
quale comprereste?
Cosa succederebbe se la macchina iniziasse
ad analizzare e prendere in considerazione
i passeggeri delle auto
e i dettagli delle loro vite?
È possibile che
una decisione casuale sia migliore
rispetto a una predeterminate, progettata
per minimizzare i danni?
In ogni caso, chi dovrebbe prendere
tutte queste decisioni?
I programmatori?
Le aziende?
I governi?
La realtà potrebbe non rivelarsi uguale
ai nostri esperimenti mentali,
ma non è questo il punto.
Sono progettati per isolare e mettere
alla prova le nostre intuizioni etiche,
proprio come fanno gli esperimenti
scientifici con il mondo fisico.
Individuare adesso questi tornanti morali
ci aiuterà a percorrere la strada
inesplorata dell'etica della tecnologia
e ci permetterà di dirigerci
fiduciosamente e coscientemente
verso il nostro nuovo ardito futuro.
思考実験をしてみましょう
そう遠くない将来
自動運転車に乗って
幹線道路を高速で走っていると
周囲を囲まれた
状態になりました
突然 前を走るトラックの荷台から
重い大きな荷物が崩れ落ちてきました
ブレーキを踏んでも
衝突を避けられません
とっさに判断する
必要があります
まっすぐ進んで
荷物に突っ込むか
左によけて
SUVにぶつかるか
右によけて
バイクにぶつかるかです
自分の安全を最優先して
バイクにぶつけるべきか
たとえそれが 大きな物への衝突で
自分の命を犠牲にすることになろうと
人様の安全を優先して
よけずに直進すべきか
中間を取って
乗員の安全性が高い
SUVにぶつけるべきか
自動運転車はどれを
選択すべきでしょう?
このような状況下で
人が車を手動で運転していたなら
いずれの反応をしたとしても
熟慮の上の決定ではなく
単なる反射的行動として
受け取られるでしょう
パニック状態での本能的行動であって
計画性や悪意はなかったと
しかし その同じ行動が
もしプログラマーによって
将来起こりうる状況への反応として
あらかじめ車に組み込まれていたとしたら
それはむしろ計画的殺人のように
見えてきます
公平を期して言うと
自動運転車は運転から
人的なミスを取り除くことで
交通事故や死者の数を
劇的に減らすと
予想されており
その他にも様々な
利点があります
道路の混雑を緩和し
有害ガス排出量を減らし
非生産的でストレスのある運転を
人間がする時間を最小限にできます
しかしそれでも
事故は起こり得
事故が起こった時
その帰結は
何ヶ月も あるいは何年も前から
プログラマーや政策立案者によって
定められていたものだった
かもしれないのです
そして中には
難しい決断もあるはずです
基本的には
「被害の最小化」のような
一般原則に基づいて
決められるかもしれませんが
それでも倫理的に不透明な決断を
迫られる状況は出てくるでしょう
たとえば
前と同様の状況にあったとして
ただし今回は左には
ヘルメット着用のバイク
右にはヘルメットを被っていない
バイクがいたとします
自動運転車はどちらに
ハンドルを切るべきでしょう?
ヘルメット着用の方が生存率が高いからと
そちらにぶつけるとしたら
ルールを守っている人を罰することに
ならないでしょうか?
一方 ルールを守っていない
ヘルメット未着用の
バイクにぶつけるとしたら
被害の最小化という設計原則から
はずれることになります
そして路上において何が公正かの判断が
ロボットカーに任せられることになるのです
倫理的な考慮は
さらに複雑なものになり得ます
いずれのシナリオでも
設計方針は目標選択アルゴリズムとして
機能しています
言い換えると
衝突する対象物の種類として
何を選好するか
システム的に選んでいる
ということです
そして標的にされた乗り物に
乗っている人は
自らには過誤がない
にもかかわらず
アルゴリズムの選択による負の結果を
引き受けることになります
この新技術は その他にも新たな種類の
倫理的ジレンマをたくさん生み出します
たとえば 事故において
可能な限り多くの命を救おうとする車と
乗っている人の安全を
何よりも優先する車の
どちらかを選ばなければ
ならないとしたら
どちらを買いますか?
もし車が 乗っている人が誰で
どのような事情があるか
分析し考慮に入れるようになったとしたら
どうなるでしょう?
被害を最小化すべく
前もって設計された判断より
その場におけるとっさの判断の方が
良いという場合はあるのでしょうか?
そういった判断はそもそも誰が
下すべきなのでしょう?
プログラマーなのか
自動車会社なのか
政府なのか?
現実がこれらの思考実験通りに
展開するとは限りませんが
それは要点ではありません
これら思考実験の役割は
物理的世界における科学実験と同様で
我々の倫理的直感を取り出して
ストレステストにかけるということです
これら倫理のヘアピンカーブを
今 見極めておくことで
技術倫理の未知なる道を
巧みに抜けて
素晴らしき未来へと
自信をもって良心的に
進んでいくことが
できるようになるのです
이건 사고 실험입니다.
언젠가 그리 멀리 않은 미래에
당신은 자율주행차를 타고
고속도로를 달릴 것 입니다.
그리고 다른 차에 둘러싸인
자신을 발견하게 될 것 입니다.
갑자기 앞에서 달리던 트럭에서
크고 무거운 물체가 떨어집니다.
당신의 차는 충돌을 피하기 위해
제시간에 멈출 수 없습니다.
그렇다면 결정을 해야 합니다.
직진해서 물체에 충돌한다.
SUV를 향에 왼쪽으로 방향을 튼다.
혹은 오토바이를 향해
오른쪽으로 방향을 튼다.
당신의 안전을 우선으로 고려해서
오토바이와 충돌해야 할까요?
타인의 위험을 최소화하기 위해
방향을 틀지 않아야 할까요?
비록 큰 물체에 충돌해 당신의
목숨을 희생하는 것이라도요.
혹은 SUV에 충돌할 수도 있습니다.
SUV는 안전등급이 높기 때문입니다.
자, 그럼 자율주행차는
어떤 선택을 해야 할까요?
만약 우리가 저 상황에서 차를
직접 운전하고 있었다면
어떠한 결과든 단순한
반사반응이라고 생각할 것입니다.
의도적인 결정이 아니라요.
비계획적이고 악의없는
본능적인 움직임말입니다.
그러나 같은 선택이라도 프로그래머가
미리 설정해 놓은 것이라면요?
미래의 이러한 상황에 대비해서요.
그건 좀 더 계획된 살인처럼 보이네요.
객관적으로 말하자면
자율주행차는 교통사고를
획기적으로 줄일 것입니다.
교통사고 사망률도요.
주행 시 일어날 수 있는 사람의
실수를 없애기 때문입니다.
이것뿐만이 아닙니다.
교통체증을 줄이고,
배기가스를 감소시키며,
비생산적이고 스트레스 받는
운전 시간을 최소화합니다.
그래도 교통사고는 피할 수 없습니다.
그러나 사고가 일어날 때,
그 결과는 몇 달 혹은 몇 년 전에
미리 정해질 겁니다.
프로그래머 혹은 정책결정자에 의해서요.
그리고 그들은 결단을 내려야합니다.
일반적인 의사결정 규칙을
적용하는 것은 쉽습니다.
인명 피해를 최소화하는 것처럼요.
그러나 비도덕적인 결정일 수 있습니다.
예를 들어,
동일한 초기 상황을 가정해 봅시다.
그러나 이번에는 왼쪽에
헬멧을 쓴 운전자가 있습니다.
그리고 헬멧을 쓰지 않은
운전자가 오른쪽에 있습니다.
당신의 차는 누구와 충돌해야 할까요?
만약 헬멧을 쓴 운전자가
생존확률이 높기 때문에 선택한다면
책임감 있는 오토바이 운전자에게
불이익을 가하는 건 아닐까요?
대신 무책임하다는 이유로
헬멧을 쓰지 않은
운전자를 선택한다면,
상해를 최소화한다는 설계
원칙에서 이미 한참 벗어났고,
이 로봇 차는 제멋대로 정의를
따르고 있는 것뿐입니다.
윤리적 고려사항은
여기서 더 복잡합니다.
앞의 두 선택지 모두 타겟팅
알고리즘을 기본으로 하고 있습니다.
다시 말해서,
어떤 물체에 충돌할지에 대해
선호나 차별이 있다는 거죠.
(충돌)대상 차량의 소유자는
그들의 잘못이 아님에도
이 알고리즘의 부정적 결론에 따라
고통을 받을 것입니다.
우리의 신기술은 새로운
도덕적 딜레마를 만듭니다.
예를 들어, 차를 사야하는데
사고시 가능한 많은 목숨을 살리는 차와
어떤 댓가를 지불하더라도
당신을 살리는 차 중
당신은 어떤 걸 구입할 건가요?
만약 차량이 승객의 삶을 분석하고
평가한다면 어떻게 될까요?
여전히 반사적 반응이
피해를 최소화하기 위해
미리 설정된 것 보다 나을까요?
그리고 이 모든 결정은 누가
그리고 어떻게 내려야 할까요?
프로그래머?
회사?
정부?
현실은 아마 우리의 사고실험과
정확히 일치하진 않을겁니다.
하지만 그건 핵심이 아닙니다.
사고실험은 윤리에 대한 우리의 직관을
규정하고 시험하기 위해서 설계되었습니다.
마치 물리적 세계에 대해
과학실험을 하는 것 처럼요.
이렇게 미묘한 윤리적 쟁점을
지금 발견하는 것은
우리가 익숙치 않은
기술윤리의 길을 나아가고,
우리가 확신을 가지고 양심적으로
멋진 미래를 항해하도록 할 겁니다.
हा एक वैचारिक प्रयोग आहे .
अगदी नजीकच्या काळात
तुम्ही चालकाविना चालणाऱ्या
कारने प्रवास करणार
आणि तुमच्या आजूबाजूस
अश्याच सर्व कार असतील .
अचानक एक मोठी अवजड वस्तू तुमच्या
पुढ्यात पडते.
तुमच्या कारला पुरेसा वेळ मिळत नाही
थांबविण्यासाठी .
निर्णय चटकन घ्यायचा असतो .
सरळ जाऊन त्यावर आदळावे ,
व डाव्या बाजूस वळावे
का उजव्या बाजूस मोटार सायकलकडे वळावे
मोटारसायकलवर आदळून तुम्ही सुरक्षित असाल
ते कमी नुकसानकारक आहे काय
पुढील मोठ्या वस्तूवर आदळण्याहून
किवा मधल्या ट्रकवर आदळावे,
ज्यामुळे तिच्यातील उतारूंना मोठी
इजा होणार नाही.
मग ही स्वयंचलित गाडी कोणता निर्णय घेईल
जर आपण अशी गाडी MANUAL MODE
मध्ये चालवीत असू
तर आपण कोणताही मार्ग स्वीकारला तर
ती एक प्रतिक्रिया असेल'
तो काही मुदामच घेतलेला निर्णय नसेल
आपण तो भयाने घेतलेला निर्णय असेल
कोणाशी इजा करण्याचा हेतू त्यात नसतो.
पण जर प्रोग्रामरनेच तशी सूचना देऊन
ठेवली असेल
याच स्थितीत तर --असे भविष्यात होऊ शकते
असे करणे आत्मघातकी आहे.
खरेतर,
या कारमुळे होणारे अपघात कमी होतील .
आणि मृत्यूही .
कारण त्यात मानवी चुका टाळता येतील .
याचे आणखी काही फायदे आहेत.
रस्त्यावरील गर्दी कमी होईल .
प्रदुषणास आळा बसेल.
चालकावरील ताण कमी होईल .
पण अपघात तरीही होतच राहतील.
आणि ते होतील तेव्हा
त्याचे दुष्परिणाम काही महिने व वर्षात
निश्चित होतील.
त्यावर उपाय शोधतील प्रोग्रामर व धोरण
ठरविणारे.
त्यांना काही कटू निर्णय घ्यायला लागतील.'
सर्वसामान्य निर्णय घेण्याचा कल असेल .
जसे कमीत कमी नुकसान.
पण त्यातही निर्णयाबाबत
नैतिकतेचा मुद्दा उद्भवेल .
उदाहरणार्थ ,
पूर्वीच्या स्थितीचे पुन्हा अवलोकन करू
तुमच्या डाव्या बाजूस हेल्मेट घातलेला
मोटारसायकल चालक आहे .
उजव्या बाजूस बिना हेल्मेटचा
मोटारसायकल चालक आहे .
तुमची ही यांत्रिक कार कोणावर आदळेल ?
तुम्ही म्हणाल डाव्या बाजूकडील कारण तिने
हेल्मेट घातल्याने बचावण्याची संधी आहे .
अश्या स्थितीत तुम्ही नियम पाळणाऱ्या
व्यक्तीस धोक्यात टाकीत नाही काय ?
तुम्ही तर हेल्मेट नसलेल्याला
संरक्षण देत आहात.
तो तर बेजबाबदार आहे .
पण तसे केले तर तुम्ही कमीतकमी नुकसानीच्या
तत्वास हरताळ फासत आहात.
यांत्रिक कार आता रस्त्यावरील
न्याय लागू करेल
या ठिकाणी निर्णय घेण्यात
नैतिकतेचा मोठा मुद्दा आहे.
दोन्ही दृश्यात ,
यात दडलेला अल्गोरीदम कोणत्या प्रकारचा
आहे त्यावर अंतिम निर्णय होईल.
दुसऱ्या शब्दात ,
हा पद्धतशीर फायद्याचा
वा अन्यायाचा निर्णय असेल .
एखाद्या वस्तूवर आघात करण्याचा.
आणि त्या वस्तूच्या मालकावरही
आघात करण्याचा .
त्यांना या अल्गोरीद्मचा नकारात्मक धोरणाने
फटका बसेल.
त्यांचा काहीही दोष नसतांना.
नवतंत्रज्ञान असे अनेक नैतिक मुद्दे
समोर ठेवीत आहे.
समजा , तुम्हाला निवड करावयाची आहे
दोघातून
अश्या कारची जी अनेकांचे
प्राण वाचवेल अपघात होताना.
की अशी जी कोणत्याही
स्थितीत तुमचे प्राण वाचवेल
कोणती कार घ्याल ?
जेव्हा या कार ओळखतील व कार्यरत होतील
प्रवास करणाऱ्याचे जीवन त्याचे महत्व
आणि ते ध्यानी घेऊन एकदम निर्णय घेईल .
जो कमीत कमी नुकसानीच्या तत्वास
दूर करून प्रवाश्याचा बचाव करेल'
हे सर्व निर्णय कोण घेणार ?
प्रोग्रामर ?
कार कंपन्या ?
सरकार ?
आपल्या विचारानुसार वास्तवता नसेलही.
पण तो काही मुद्दा नाही.
त्यांची रचना झाली असते आपल्या
नैसर्गिक नैतिकतेवर व सहजप्रवृत्तीवर.
जसे वैज्ञानिक प्रयोग असतात भौतिक जगात
नैतिकतेचे हे दुहेरी स्वरूप
आपल्याला तंत्रज्ञानातील नैतिकतेच्या
मार्गात मदत करेल .
आणि आपल्यास आत्मविश्वासाने व सदविचाराने
मार्गस्थ करेल.
आपल्या धीरोदत्त जगात.
Isto é um exercício intelectual.
Digamos que, um dia,
num futuro não muito distante,
seguem rapidamente pela autoestrada
no vosso carro autónomo
e encontram-se rodeados
de carros por todos os lados.
Subitamente, um objeto grande e pesado
cai do camião que está à vossa frente.
O vosso carro não vai conseguir parar
a tempo de evitar a colisão,
portanto tem que tomar uma decisão:
avançar e colidir com o objeto,
desviar-se para a esquerda
e bater noutro veículo
ou desviar-se para a direita
e bater numa motoreta.
Deverá dar prioridade à vossa segurança,
batendo na motoreta,
minimizar o perigo para os outros,
não se desviando,
mesmo que isso implique bater no objeto
e sacrificar a vossa vida,
ou escolher uma solução intermédia,
e colidir com o outro veículo
que tem uma alta probabilidade
de segurança para o passageiro?
Que deverá fazer o carro autónomo?
Se estivermos a guiar o carro
em modo manual,
qualquer que seja a nossa reação,
ela será entendida apenas como tal,
uma reação,
e não uma decisão deliberada.
Será um gesto instintivo de pânico
sem premeditação ou maldade.
Mas, se um programador tiver que instruir
o carro para agir do mesmo modo,
segundo condições
que possam acontecer no futuro,
isso já se parece mais
com um homicídio premeditado.
Para sermos justos,
prevê-se que os carros autónomos
reduzam drasticamente
os acidentes de trânsito e as mortes,
eliminando o erro humano
da equação da condução.
Além disso, pode haver todo o tipo
de outros benefícios:
redução dos engarrafamentos na estrada,
redução das emissões prejudiciais,
e redução ao minimo do tempo de condução,
Improdutiva e desgastante.
Mesmo assim, podem ocorrer,
e ocorrerão, acidentes.
Quando isso acontecer,
os resultados podem ter sido determinados
com meses ou anos de antecedência
pelos programadores ou pelos legisladores.
Vão ter que tomar decisões difíceis.
É tentador apresentar princípios gerais
de tomada de decisões,
como minimizar sempre os prejuízos.
Mas até isso leva facilmente
a decisões moralmente questionáveis.
Por exemplo,
digamos que temos o mesmo cenário inicial,
mas agora. à vossa esquerda,
há um motociclista de capacete
e à vossa direita há outro sem capacete.
Em qual deles é que
o nosso carro robô deve bater?
Se escolherem o motociclista de capacete
porque tem maior hipótese de sobreviver,
não estão a penalizar
o motociclista responsável?
Se, pelo contrário, escolherem
o motociclista sem capacete
porque está a agir irresponsavelmente,
estão a ultrapassar o princípio inicial
de minimização de prejuízos
e o carro robô estará a fazer
justiça pelas próprias mãos.
As considerações éticas
ainda se complicam mais.
Em ambos os cenários,
o objetivo subjacente funciona
como um algoritmo de focalização de tipos.
Por outras palavras,
favorece ou discrimina,
sistematicamente,
um certo tipo de objeto
no qual irá bater.
Os proprietários dos veículos alvo
sofrerão as consequências negativas
desse algoritmo
sem qualquer culpa pessoal.
As novas tecnologias estão a apresentar
muitos novos dilemas éticos.
Por exemplo, se tiverem que escolher
entre um carro que salve sempre
tantas vidas quanto possível, num acidente
e um carro que vos salve a qualquer custo,
qual é que vão comprar?
O que acontece se os carros
começarem a analisar e a ponderar
os passageiros dos carros
e os pormenores da vida deles?
Será que uma decisão ao acaso
continua a ser melhor do que
uma razão pré-determinada,
destinada a minimizar os prejuízos?
De resto, quem é que toma
todas essas decisões?
Os programadores?
As empresas?
Os governos?
A realidade não corresponde exatamente
aos nossos exercícios intelectuais
mas o problema não é esse.
São concebidas para isolar e testar
ao máximo as nossas intuições éticas,
tal como as experiências científicas
o fazem para o mundo físico.
Ter consciência destas reviravoltas morais
ajudar-nos-á a percorrer a estrada
desconhecida da ética da tecnologia
e permitir-nos-á viajar
com confiança e consciência
até ao nosso bravo futuro novo.
Este é um experimento mental.
Digamos que, em algum ponto
de um futuro não tão distante,
você esteja à vontade na estrada,
em seu carro autodirigível,
e se veja encurralado
por carros em todos os lados.
De repente, um objeto grande e pesado
cai do caminhão que está à sua frente.
Seu carro não consegue
parar a tempo de evitar a colisão,
e ele precisa decidir:
seguir em frente e colidir com o objeto,
desviar para a esquerda e bater num SUV,
ou desviar para a direita
e bater numa moto.
Será que ele deve priorizar
a sua segurança, atingindo a moto;
minimizar o risco aos outros,
não desviando para o lado,
mesmo que isso signifique colidir
com o grande objeto e sacrificar sua vida;
ou ficar no meio termo e bater no SUV,
que tem um alto índice
de segurança para passageiros?
O que o autodirigível deve fazer, então?
Se estivéssemos dirigindo
manualmente esse carro encurralado,
qualquer que fosse nossa reação,
seria apenas isso, uma reação,
não uma decisão intencional.
Seria um movimento instintivo e abrupto,
sem premeditação ou maldade.
Mas se um programador instruísse
o carro a fazer a mesma manobra,
dando-lhe condições
de prever situações semelhantes,
bem, isso parece mais
homicídio premeditado.
Bem, para ser justo,
espera-se que carros autodirigíveis
reduzam drasticamente
os acidentes de trânsito e fatalidades,
retirando a falha humana da equação.
E talvez haja vários outros benefícios:
menos congestionamento,
menos emissão de gases nocivos
e menos tempo improdutivo
e estressante na direção.
Mas os acidentes podem
e vão continuar ocorrendo
e, quando ocorrerem, os resultados
poderão ser determinados
com meses ou anos de antecedência
por programadores ou gestores públicos.
E eles terão decisões difíceis a tomar.
É tentador elaborar princípios gerais
de tomada de decisão,
como "minimizar danos",
mas até isso imediatamente nos leva
a decisões moralmente obscuras.
Por exemplo, na situação
apresentada no início,
digamos que uma motociclista
esteja à esquerda, com capacete,
e que outro motociclista,
sem capacete, esteja à direita.
Com qual deles seu carro-robô
deveria colidir?
Se você disser que é com a com capacete
porque tem mais chances de sobreviver,
você não estaria penalizando
uma motorista responsável?
Se você salvar o que está sem capacete,
por ele estar sendo irresponsável,
você terá ido muito além
do princípio inicial de minimizar danos,
e o carro-robô agora estará
atuando como juiz nas ruas.
As considerações éticas
ficam mais complicadas aqui.
Em ambos os cenários,
a programação oculta estará funcionando
como um algoritmo de escolha de alvos.
Em outras palavras, estará favorecendo
ou discriminando, de forma sistemática,
determinado tipo de objeto
com o qual pode colidir ou não.
E os proprietários dos veículos-alvo
sofrerão as consequências desse algoritmo
sem ter qualquer culpa.
Nossas novas tecnologias estão trazendo
muitos outros novos dilemas éticos.
Por exemplo, se você tivesse que escolher
entre um carro que sempre poupasse
o máximo de vidas possível num acidente,
ou um que poupasse você a qualquer custo,
qual você compraria?
E se os carros começarem
a analisar e a julgar
os passageiros dos carros
e as particularidades de suas vidas?
Será que uma decisão aleatória
seria melhor do que uma premeditada
que vise a minimizar os danos?
De qualquer forma, quem deveria
tomar todas essas decisões?
Programadores? Empresas? Governos?
A realidade pode não ser exatamente
como nossos experimentos mentais,
mas essa não é a questão.
Eles são feitos para isolar e pôr à prova
nossas intuições sobre a ética,
tal como experimentos científicos
fazem com o mundo físico.
Vislumbrar agora
essas curvas morais sinuosas
vai nos ajudar a manobrar na estrada
desconhecida da ética tecnológica
e nos permitir viajar
de forma confiante e cuidadosa
rumo ao nosso novo e corajoso futuro.
Проведём мысленный эксперимент.
Скажем, однажды
в не столь отдалённом будущем
вы мчитесь по шоссе
на своём беспилотном автомобиле
и оказываетесь окружены
другими автомобилями со всех сторон.
Внезапно крупный тяжёлый предмет
сваливается с грузовика перед вами.
Ваше авто не может вовремя остановиться —
столкновение неизбежно,
поэтому оно должно принять решение:
двигаться прямо и столкнуться
с предметом,
сдать в левую полосу
и столкнуться с внедорожником
или — вправо и столкнуться с мотоциклом.
Стоит ли автомобилю
позаботиться о вашей безопасности
и въехать в мотоцикл,
или обезопасить остальных
и не сворачивать,
даже если это значит
столкнуться с крупным объектом
и пожертвовать вашей жизнью,
или выбрать золотую середину
и столкнуться с внедорожником
с высоким уровнем безопасности пассажиров.
Что должен сделать беспилотный автомобиль?
Если бы мы самостоятельно
управляли автомобилем,
то как бы мы ни поступили,
это бы воспринималось как реакция,
а не как осознанное решение.
Инстинктивное, паническое действие
без какого-либо злого умысла.
Но если бы программист дал машине
инструкции так поступить,
учитывая, что она окажется
в подобных условиях в будущем,
тогда это будет больше похоже
на умышленное убийство.
Если серьёзно,
то прогнозируется, что благодаря
беспилотным автомобилям
произойдёт значительное
снижение числа ДТП,
в том числе со смертельным исходом,
ведь ошибка водителя будет исключена
из факторов дорожного движения.
К тому же есть множество
других преимуществ:
снижение числа пробок на дорогах,
снижение вредных выбросов,
сведение к минимуму
непродуктивного времени
и уровня стресса за рулём.
Но аварии всё же могут
и будут происходить,
и когда произойдут,
их исход может быть предопределён
за месяцы или даже годы до этого
программистами или законодателями.
И им придётся принимать
достаточно сложные решения.
Довольно заманчиво предложить
универсальные принципы принятия решений,
например сведение ущерба к минимуму,
но даже тогда это приведёт
к сомнительным моральным решениям.
Например,
у нас те же изначальные условия,
но теперь слева от вас едет
мотоциклистка в шлеме,
а справа — тоже мотоциклист,
но без шлема.
С кем должен столкнуться
ваш беспилотный автомобиль?
Если вы выберете мотоциклистку в шлеме,
потому что у неё больше шансов выжить,
не наказываете ли вы тем самым
ответственных водителей?
Если же, наоборот, вы выбираете
байкера без шлема,
потому что он поступает безответственно,
тогда вы выходите за рамки
изначального принципа
о сведении ущерба к минимуму,
а ваш робот-автомобиль
ещё и сам наказывает нарушителей.
Этические соображения
становятся здесь ещё сложнее.
В обоих сценариях
заложен принцип, который действует
как некий направленный алгоритм.
Другими словами,
он последовательно
принимает или отбрасывает
определённый тип объекта
для столкновения.
И владельцы выбранных автомобилей
столкнутся с негативными последствиями
этого алгоритма
не по своей вине.
В связи с новыми технологиями возникает
всё больше новых этических дилемм.
Например, если бы вам пришлось выбирать
между автомобилем, который сохраняет
наибольшее количество жизней в аварии,
и тем, который спасёт
вашу жизнь любой ценой,
какой бы вы приобрели?
Что произойдёт, если машины станут
анализировать и выделять
отдельных пассажиров
и особенности их жизней?
Возможно ли, что спонтанное решение
всё же лучше заранее продуманного
с целью минимизации ущерба?
И кто должен принимать все эти решения?
Программисты?
Производители автомобилей?
Государственные власти?
Реальность может не совсем совпадать
с нашим мысленным экспериментом,
но дело не в этом,
ведь эксперименты создаются
для выявления и проверки
нашей интуиции в вопросах этики,
так же как научные эксперименты
изучают физический мир.
Обнаружение подобных
моральных «виражей» сейчас
поможет нам лучше маневрировать
на незнакомой дороге этики прогресса
и позволит нам уверенно
и добросовестно мчаться
навстречу прекрасному новому миру.
Ovo je misaoni eksperiment.
Recimo da u nekom trenutku
u ne tako dalekoj budućnosti
jurite niz auto-put u svom autu
sa automatskim upravljanjem
i nađete se zarobljeni sa svih strana
među drugim automobilima.
Odjednom, veliki i težak predmet
padne sa kamiona ispred vas.
Vaš auto ne može da se zaustavi na vreme
da bi izbegao sudar,
stoga mora da donese odluku -
ići pravo i udariti u predmet,
naglo skrenuti ka terencu
ili se zaleteti desno u motocikl.
Da li treba da da prioritet
vašoj bezbednosti i udari motocikl,
da umanji opasnost za druge
tako što neće skrenuti,
čak i ako to znači da će udariti
veliki predmet i žrtvovati vaš život,
ili da odabere srednje rešenje
i udari terenca,
koji je visoko ocenjen
u pogledu bezbednosti za putnike?
Dakle, šta bi auto bez vozača
trebalo da uradi?
Ako bismo mi ručno upravljali
tim zarobljenim autom,
kako god da reagujemo
bilo bi shvaćeno prosto tako kako jeste,
kao reakcija,
a ne kao promišljena odluka.
To bi bio instiktivan potez u panici
bez predumišljaja ili loše namere.
Međutim, kada bi programer
naložio automobilu da učini to isto,
pod uslovima koji se mogu
javiti u budućnosti,
pa, to više izgleda
kao ubistvo sa predumišljajem.
Sad, da budemo fer,
predviđa se da će automobili bez vozača
drastično smanjiti broj
saobraćajnih nesreća i smrtnih slučajeva
tako što će ukloniti ljudsku grešku
iz jednačine vožnje.
Plus, tu može biti
svakojakih drugih pogodnosti:
olakšano zakrčenje puteva,
smanjeno ispuštanje štetnih gasova
i neproduktivno i stresno vreme vožnje
svedeno na minimum.
Međutim, nesreće se mogu
i dalje desiti i dešavaće se,
a kada se dogode,
njihovi ishodi mogu biti određeni
mesecima ili godinama unapred
od strane programera ili donosioca zakona.
A moraće da donose neke teške odluke.
Primamljivo je dati ponudu
opštih principa donošenja odluka
poput svođenja štete na najmanju meru,
ali čak i to ubrzo dovodi
do sumnjivih moralnih odluka.
Na primer,
recimo da imamo istu početnu postavku,
ali sada se sa vaše leve strane
nalazi motociklista sa kacigom
i još jedan bez kacige
sa vaše desne strane.
U koga treba da udari vaš robotski auto?
Ako kažete da je to bajker sa kacigom
jer je verovatnije da će preživeti,
zar onda ne kažnjavate
odgovornog motociklistu?
Ako umesto toga spasite
bajkera bez kacige
jer se neodgovorno ponaša,
onda ste se udaljili
od prvobitnog principa o smanjenju štete
i sada robotski auto
sprovodi uličnu pravdu.
Etička razmatranja
ovde postaju komplikovanija.
U oba naša scenarija,
dizajn koji se nalazi u osnovi funkcioniše
kao neka vrsta algoritma
za nalaženje mete.
Drugim rečima,
sistematski favorizuje ili diskriminiše
određenu vrstu predmeta u koji će udariti.
A vlasnici vozila koja su postala meta
će snositi negativne posledice
ovog algoritma
iako nisu ni za šta krivi.
Naše nove tehnologije otvaraju
i mnoge druge nove etičke dileme.
Na primer, ako biste morali da odaberete
između automobila koji bi uvek spasio
što je više moguće života u nesreći,
ili automobila koji bi vas spasio
po bilo koju cenu,
koji biste kupili?
Šta bi se desilo ako bi automobil
počeo da analizira i uzima u obzir faktore
putnika u automobilu
i njihove pojedinačne živote?
Da li može biti slučaj
da je slučajna odluka
i dalje bolja od unapred određene
koja je osmišljena da se umanji šteta?
Ko bi uopšte trebalo da donosi
sve te odluke?
Programeri?
Kompanije?
Vlade?
Stvarnost se možda neće odvijati
baš kao naši misaoni eksperimenti,
ali nije u tome poenta.
Oni su osmišljeni da izoluju
našu intuiciju vezanu za etiku
i podvrgnu je testu o stresu,
baš kao što naučni eksperimenti čine
kada se radi o fizičkom svetu.
Uočavanje ovakvih moralnih krivina sada
pomoći će nam u upravljanju
nepoznatim putem tehnološke etike
i omogućiti nam da uplovimo
samopouzdano i savesno
u našu hrabru novu budućnost.
นี่เป็นการทดลองทางความคิด
เอาเป็นว่าในอนาคตอันใกล้
คุณกำลังเดินทางลงไปตามทางหลวง
ในรถที่ขับเคลื่อนเอง
และคุณพบว่า คุณถูกกักอยู่ท่ามกลางรถคันอื่น
ทันใดนั้นเอง วัตถุหนักขนาดใหญ่
ตกลงมาจากรถบรรทุกตรงหน้าคุณ
รถของคุณไม่สามารถหยุดได้ทันเวลา
เพื่อที่จะป้องกันการปะทะ
ฉะนั้น มันจึงต้องทำการตัดสินใจ
พุ่งตรงไปและชนวัตถุ
เบี่ยงซ้ายเข้าหารถอเนกประสงค์
หรือหักขวาเข้าหารถจักรยานยนต์
มันควรให้ความสำคัญ
กับความปลอดภัยของคุณก่อน
ลดอันตรายที่จะมีต่อคนอื่นโดยไม่เปลี่ยนทิศทาง
แม้ว่านั่นหมายถึงการชนวัตถุขนาดใหญ่
และการสละชีวิตตนเอง
หรือใช้ทางสายกลาง
โดยชนรถอเนกประสงค์
ซึ่งมีอัตราความปลอดภัยสำหรับผู้โดยสารสูง
แล้วรถที่ขับเคลื่อนเองจะทำอย่างไร
ถ้าเรากำลังขับรถที่ตนเองโดนกักไว้แบบทั่วไป
ไม่ว่าจะเป็นทางใดที่เราเลือก
จะถูกเข้าใจให้อย่างที่มันเป็น
การโต้ตอบ
ไม่ใช่การตัดสินใจที่เกิดจากการคิดที่รอบคอบ
มันอาจเป็นการกระทำอย่างตระหนกตกใจ
ตามสัญชาตญาณโดยไม่มีการวางแผนหรือมุ่งร้าย
แต่ถ้าคนเขียนโปรแกรมกำกับรถ
ให้ทำการเช่นเดียวกัน
ให้สถานการณ์ที่มันอาจเจอได้ในอนาคต
นั่นดูเหมือนเป็นการฆาตกรรมโดยเจตนา
ตอนนี้ ความจริงก็คือ
รถที่ขับเคลื่อนเองถูกคาดว่า
จะลดอุบัติเหตุและการสูญเสียบนท้องถนน
ได้อย่างมาก
โดยกำจัดความผิดพลาดของคน
จากสมการการขับรถ
รวมถึง มันอาจมีประโยชน์อย่างอื่น เช่น
ทำให้ถนนไม่คับคั่งมากนัก
ลดการปลดปล่อยก๊าซอันตราย
และลดเวลาการขับรถที่ไม่มีประสิทธิภาพ
และน่าหงุดหงิด
แต่อุบัติเหตุจะยังสามารถและจะยังเกิดขึ้น
และเมื่อมันเกิดขึ้น
ผลที่ออกมาอาจถูกกำหนดเอาไว้แล้ว
หลายเดือนหรือหลายปีล่วงหน้า
โดยผู้เขียนโปรแกรม หรือผู้วางนโยบาย
และพวกเขาก็ต้องลำบากใจในการตัดสินใจ
ใจหนึ่งก็อยากจะให้สิทธิ
ในหลักการตัดสินใจพื้นฐาน
อย่างเช่น การลดอันตรายให้น้อยที่สุด
แต่กระนั้น มันก็อาจนำไปสู่การตัดสินใจ
ในเชิงจริยธรรมที่คลุมเครือ
ยกตัวอย่างเช่น
สมมติว่า เรามีการตั้งค่าแต่แรกเหมือนกัน
แต่ตอนนี้ มีผู้ขับขี่รถจักรยานยนต์
ที่สวมหมวกกันน็อค ขับมาทางซ้ายของคุณ
และอีกคนหนึ่งที่ไม่สวมหมวกกันน็อค
ขับมาทางขวาของคุณ
คนไหนล่ะที่รถหุ่นยนต์ของคุณควรจะชน
ถ้าคุณบอกว่า คนที่สวมหมวกกันน็อค
เพราะว่าเธอมีโอกาสที่จะรอดชีวิตมากกว่า
นั่นไม่เป็นการลงโทษกับผู้ขับขี่จักรยานยนต์
ที่มีความรับผิดชอบหรอกหรือ
แต่ถ้าคุณช่วยคนที่ไม่สวมหมวกกันน็อค
เพราะว่าเขาไม่รับผิดชอบ
นั่นก็เป็นการทำเกินไปกว่าหลักการที่ออกแบบ
ไว้แต่แรกให้ลดอันตรายให้น้อยที่สุด
และตอนนี้ รถหุ่นยนต์ก็ต้องแบ่งรับแบ่งสู้
กับความยุติธรรมบนท้องถนน
การตัดสินทางจริยธรรมในสถานการณ์นี้
ซับซ้อนยิ่งขึ้น
ในทั้งสองเหตุการณ์ของเรา
การออกแบบพื้นฐานทำหน้าที่
เป็นดั่งอัลกอริทึมเป้าหมายของโจทย์
หรืออาจกล่าวได้ว่า
มันคือการเลือกหรือลำเอียงอย่างเป็นระบบ
เทียบกับวัตถุบางประเภทที่จะถูกเข้าชน
และผู้เป็นเจ้าของของพาหนะเป้าหมาย
จะต้องได้รับผลเชิงลบจากอัลกอริทึม
แม้ว่าตัวพวกเขาเองจะไม่มีความผิดอะไร
เทคโนโลยีใหม่ของเรากำลังเปิดทาง
ให้กับความยุ่งยากใหม่ทางจริยธรรม
ยกตัวอย่างเช่น ถ้าคุณจำเป็นต้องเลือก
ระหว่างรถที่จะรักษาชีวิต
เอาไว้ให้ได้จำนวนมากที่สุดเสมอ
กับรถที่จะช่วยคุณไม่ว่าจะอย่างไรก็ตาม
คุณจะซื้อรถแบบไหน
จะเกิดอะไรขึ้น ถ้ารถเริ่มที่จะวิเคราะห์
และหาค่าปัจจัย
ของผู้โดยสารของรถยนต์
และรายละเอียดต่าง ๆ เกี่ยวกับชีวิต
จะเป็นไปได้ไหมว่า
การตัดสินอย่างสุ่ม
ยังคงดีกว่าการกำหนดไว้ล่วงหน้า
ที่ถูกออกแบบให้ลดอันตรายให้น้อยที่สุด
แล้วว่าแต่ใครกันล่ะ
ที่ควรจะเป็นผู้ทำการตัดสินใจ
นักเขียนโปรแกรม
บริษัท
รัฐบาล
ความเป็นจริงอาจไม่ได้เป็นไป
ตามการทดลองทางความคิดของเรา
แต่นั่นไม่ใช่ประเด็น
พวกเราถูกออกแบบให้แยกแยะ และทดสอบ
สำนึกทางจริยธรรมของเรา
เหมือนกับที่การทดลองทางวิทยาศาสตร์
กระทำกับโลกทางกายภาพ
การที่เราตระหนักถึงจุดเปลี่ยนเล็ก ๆ
ทางจริยธรรมนี้
จะช่วยให้เราวางกลยุทธกับถนนที่ไม่คุ้นเคย
ด้วยจริยธรรมทางเทคโนโลยีได้
และทำให้เราแล่นไปได้อย่างมั่นใจและมีสติ
สู่อนาคตใหม่ที่เราเชื่อมั่น
Bu bir düşünce deneyi.
Diyelim ki gelecekte, çok da uzak
olmayan bir noktada,
sürücüsüz arabanızla
otoyolda hızla giderken
diğer arabalar sizi
dört bir yandan çeviriyor.
Birden önünüzdeki tırdan
büyük, ağır bir nesne düşüyor.
Arabanız çarpışmadan kaçınmak için
zamanında duramaz,
o yüzden bir karar vermesi lazım:
Düz gidip nesneye çarpmak,
soldaki cipin üzerine kırmak
veya sağdaki motosikletin üzerine kırmak.
Motosiklete çarparak
güvenliğinize öncelik mi vermeli,
yandakilere doğru kırmayarak
tehlikeyi mi azaltmalı,
büyük nesneye çarparak hayatınızı
feda etmeniz anlamına gelse bile,
yoksa yolcu güvenlik
puanlaması yüksek olan
cipe çarparak orta yolu mu seçmeli?
Bu durumda sürücüsüz araba ne yapmalı?
Eğer arabanın içinde
manuel olarak biz sürüyor olsaydık,
ne şekilde reaksiyon vereceğimiz,
kasıtlı bir karar
olarak değil, bir reaksiyon
olarak görülürdü.
Önceden düşünce veya kasıt olmayan
içgüdüsel bir panik hareketi olurdu.
Ama bir programcı arabaya gelecekte
hissettiği koşulları göz önüne alarak
aynı hareketi yapmasını emrederse,
bu önceden tasarlanmış
bir cinayete benzer.
Adil olmak gerekirse,
sürücüsüz arabaların sürüş denkleminden
insan hatasını kaldırarak
trafik kazalarını
ve ölümleri dramatik olarak
azaltacağı öngörülüyor.
Artı, belki başka yararları da var:
Rahatlayan trafik sıkışıklığı,
düşen zararlı emisyonlar,
azalan verimsiz ve stresli sürüş zamanı.
Ama kazalar olabilir ve hâlâ olacaktır;
olduğu zamansa,
sonuçları programcılar veya
karar alıcılar tarafından
aylar veya yıllar önce belirlenebilir.
Bazı zor kararlar vermeleri gerek.
Zararı azaltmak gibi genel
karar alma prensiplerini
koymaları cazip gelmekle birlikte,
bu bile hemen etiksel olarak
belirsiz kararlara yol açıyor.
Örneğin,
aynı başlangıç kurulumuna sahibiz diyelim,
ama şimdi solunuzda kask
giymiş bir motosikletçi var
ve sağınızda ise kask giymemiş
bir motosikletçi var.
Robot arabanız hangisine çarpmalı?
Eğer yaşaması daha muhtemel diye
kasklı motosikletçiye derseniz,
o zaman sorumluluk sahibi olan
motosikletçiyi cezalandırmıyor musunuz?
Eğer onun yerine
sorumsuzca hareket ettiği için
kasksız motosikletçiyi kurtarırsanız,
o zaman zararı azaltma konusundaki ilk
tasarım prensibinin çok ötesine geçtiniz
ve robot araba artık yol
adaletini pay etmiş olur.
Burada etik düşünceler
daha karmaşık hâle geliyor.
Her iki senaryomuzda da,
altta yatan tasarım sözde hedeflenen
algoritma olarak işliyor.
Diğer bir deyişle,
çarpmak için belli türde bir nesneyi
sistemli olarak kayırıyor
veya ayrım yapıyor.
Hedef araçların sahipleri ise
kendi hataları olmadan
bu algoritmanın olumsuz
sonuçlarına katlanacak.
Yeni teknolojilerimiz pek çok
değişik etiksel ikileme yol açıyor.
Örneğin, bir kazada hep mümkün olan
en çok hayatı kurtaran
ile ne olursa olsun
sizi kurtaran bir araba arasında
seçim yapmak zorunda kalsanız
hangisini alırdınız?
Eğer arabalar analiz etmeye
ve arabaların yolcularını ve
onların hayatlarının ayrıntılarını
dâhil etmeye başlarsa ne olur?
Rastgele bir kararın,
zararı azaltmak için
tasarlanmış, önceden belirlenen bir
karardan daha iyi olması hâlâ mümkün mü?
Bütün bu kararları
bir şekilde kim veriyor?
Programcılar?
Şirketler?
Hükümetler?
Gerçek tam olarak düşünce
deneylerimiz gibi olup bitmeyebilir,
ama esas husus bu değil.
Etik konusundaki
önsezilerimizi soyutlayarak
stres testi yapmak için tasarlandılar,
aynı bilim deneylerinin
fiziksel dünyaya yaptığı gibi.
Bu ahlak virajlarını şimdi fark etmek,
teknoloji etiklerinin bilinmeyen
yollarında manevra yapmakta
bize yardımcı olur ve
cesur, yeni geleceğimize güvenle
ve dikkatlice yol almamızı sağlar.
Đây là một thử nghiệm về nhận thức.
Giả sử tại một thời điểm nào đó không xa,
bạn đang đi trên đường cao tốc
trong chiếc xe tự lái của bạn,
và bạn bị vây quanh bởi các xe khác.
Bỗng nhiên, một vật to và nặng rơi xuống
từ chiếc xe tải ngay trước mặt bạn.
Bạn không thể dừng lại lập tức
để tránh bị va chạm,
nên bạn cần ra quyết định lập tức:
đi thẳng và đụng vào vật đó,
quẹo trái trúng chiếc SUV,
hay quẹo phải trúng chiếc xe máy.
Chiếc xe sẽ ưu tiên sự an toàn của bạn
bằng cách tông vào xe máy,
giảm nguy hiểm cho người khác
bằng cách đi thẳng,
mặc dù đó nghĩa là tông vào vật lớn
và hi sinh mạng sống của bạn,
hay lựa chọn tông vào chiếc SUV,
khi mà khả năng an toàn
cho hành khách trên xe khá cao?
Vậy xe tự lái sẽ làm gì?
Nếu chúng ta chạy xe ở chế độ người lái,
cách phản ứng nào của chúng ta
đều được xem là,
một phản ứng đơn thuần,
không phải một quyết định
có tính suy xét.
Nó sẽ là phản ứng tự nhiên
mà không có sự suy nghĩ hay ý đồ xấu.
Nhưng nếu một người lập trình ra lệnh
cho chiếc xe phản ứng tương tự,
trong một tình huống có thể xảy ra
ở tương lai,
có thể bị coi là giết người có chủ đích.
Để công bằng,
xe tự lái được cho là sẽ
giảm thiểu tai nạn giao thông đáng kể
và tỉ lệ thương vong
bằng việc loại bỏ sự sai sót của con người
trong phương trình lái xe.
Và, còn có những lợi ích khác:
giảm tắc đường,
giảm khí thải độc hại,
và rút ngắn thời gian lái xe
vô bổ và căng thẳng.
Nhưng tai nạn vẫn và sẽ tiếp tục xảy ra,
và khi đó,
hậu quả của nó có thể đã được xác định
vài tháng hay vài năm trước đó
bởi người lập trình viên hay
nhà hoạch định chính sách
Và họ sẽ phải đưa ra những
quyết định khó khăn.
Chúng ta thường hướng tới những
nguyên tắc ra quyết định
như giảm thiểu thiệt hại,
nhưng những nguyên tắc này
cũng gặp phải các vấn đề đạo đức.
Ví dụ như,
trong hoàn cảnh tương tự,
nhưng giờ người đi xe máy phía bên trái
có đội nón bảo hiểm
và một người khác không đội nón
bên phải bạn.
Xe tự lái của bạn sẽ chọn tông vào ai?
Nếu bạn nói người đó là người có
nón bảo hiểm vì khả năng sống sót cao hơn,
vậy nghĩa là bạn đang trừng phạt
một người lái xe có trách nhiệm?
Nói cách khác, bạn sẽ cứu
người không có nón
bời vì anh ta hành động vô trách nhiệm,
khi đó bạn đã đi quá xa khỏi ranh giới
nguyên tắc giảm thiểu thiệt hại,
và chiếc xe giờ đối mặt với
công lý trên đường.
Vần đề đạo đức càng trở nên phức tạp hơn.
Trong cả hai tình huống trên,
thiết kế mấu chốt đang hoạt động
như một hàm số.
Nói cách khác,
nó lựa chọn và lọc ra có hệ thống
những vật mà xe tự lái có thể va chạm.
Và người điều khiển phương tiện mục tiêu
sẽ phải chịu những hậu quả từ hàm số này
mặc dù họ không có lỗi.
Công nghệ mới của chúng ta đang mở ra
nhiều tình huống nan giải khác.
Ví dụ, nếu bạn phải lựa chọn giữa việc
một chiếc xe luôn cố gắng cứu càng nhiều
mạng người càng tốt khi tai nạn xảy ra,
và chiếc xe chỉ cứu sống bạn bằng mọi giá,
bạn sẽ mua chiếc nào?
Điều gì sẽ xảy ra nếu những chiếc xe
tự phân tích và bao hàm
các hành khách trên xe
và mạng sống của từng người?
Như vậy, liệu một quyết định ngẫu nhiên
sẽ tốt hơn là quyết định có suy tính trước
để giảm thiểu thiệt hại?
Và ai sẽ là người ra những quyết định này?
Lập trình viên?
Công ty?
Chính phủ?
Thực tế có thể sẽ không giống
thử nghiệm của chúng ta,
nhưng đó không phải là điểm chính.
Các thử nghiệm nhằm cô lập và thử thách
trực giác của chúng ta về đạo đức,
giống như thí nghiệm khoa học đã làm
trong thế giới vật chất.
Nhận ra các phương diện về mặt đạo đức
sẽ giúp chúng ta tinh chỉnh
đạo đức công nghệ trên con đường mới mẻ,
và cho phép ta tự tin
và sáng suốt trong hành trình
vào một tương lai tươi sáng.
这是一个思想实验。
假定在不久的将来,
你坐在你的无人驾驶汽车里面
在高速公路上飞驰,
这时候你发现你周围全是车。
突然,一个巨大且沉重的物体
从你前面的卡车上掉下来,
你的车来不及刹车来避免碰撞,
因此它必须做一个决定:
继续往前然后撞在这个物体上,
迅速往左撞向一辆 SUV,
或迅速往右撞向一辆摩托车。
你的车应该以你的安全为重从而撞向摩托车吗?
还是为了最大程度地降低危险,不迅速转弯——
虽然这意味着它要撞上那个巨大的物体
并可能牺牲掉你的性命?
亦或是应该选择中间道路,撞向 SUV ——
因为 SUV 的安全性能较高?
无人驾驶汽车应该怎么做呢?
这种情况下,如果我们掌握着方向盘,
不管我们怎么做,
都会被理解为瞬间的反应,
而不是经过深思熟虑的决定。
我们是在惊恐之下做出本能反应,
并未深谋远虑或怀揣恶意。
但是如果一个程序员要指令这个车
在未来的特定情况下做出某一决定,
这听上去有点像蓄意谋杀啊。
不过话说回来,
无人驾驶汽车预计
可以大大减少交通事故和死亡率,
因为这中间避免了人类会犯的错误。
而且,还有很多其他的潜在好处:
不再拥堵的路面,
汽车尾气排放的减少,
以及没有了开车的浪费时间和压力。
但是交通意外肯定还是会发生,
当它们发生时,
意外的后果可能在很久以前就已经
被程序员或政策制定者设定好了,
这些决定可不好做。
我们倾向于提供笼统的指导决定的原则,
比如最小化伤害,
但是这很快也会导致道德上模棱两可的决定。
举个例子,
假定前面的情况一致,
但是这时候你的左边是一个
戴着头盔骑摩托车的人,
而你的右边是一个没戴头盔骑摩托车的人,
你的无人驾驶汽车应该撞哪个?
如果说撞那个戴着头盔的人因为她的存活率更高,
你难道不是在惩罚那个更负责任的骑摩托车者吗?
反之,如果说撞那个没戴头盔的人
因为不戴头盔是不负责任的行为,
但是这样你就彻底违反了原先的“最小化伤害”的原则,
无人驾驶汽车现在在主持公路正义了。
道德的问题还要复杂得多。
两种情况下,
其背后的设计都是基于某种目标算法。
换句话说,
它系统地倾向,或者说歧视
某一类特定目标。
而目标车辆的车主
就得承担这一算法的消极后果,
虽然他们自己并没有犯任何错。
这些最新的科技还引起了其他的道德困境。
比如,如果你从以下两辆车中选择——
一辆在事故发生时总是试图拯救尽可能多的生命的车,
和一辆不顾一切拯救你的车,
你会买哪一辆?
如果汽车开始分析并考虑
车里的乘客以及他们的生存概率,
情况又会怎样?
一个随机的决定会不会还是
比一个以“最小化伤害”为原则事先设计的决定更好?
谁又应该做这些决定呢?
程序员?
公司?
政府?
现实可能跟我们的思想实验有所出入,
但是这不重要,
思想实验的目的是对我们的道德本能
进行分离和压力测试,
就像物理世界的科学实验一样。
现在识别这些道德的急转弯
能帮助我们更好地掌控
科技及其道德问题的未知之路,
并让我们充满信心和正义地
驶向我们的勇敢、崭新的未来。
這是一個假想的實驗
假設在不久將來的某時
你坐在無人駕駛車內
高速行駛於高速公路上
你發現你的四周都有車
突然前面卡車有大型重物掉落
你無法及時煞車以避免衝撞
所以必須做個決定:
直行撞擊那重物、
轉向左邊撞運動休旅車、
或轉向右邊撞摩托車
它應該以你的安全
為優先考慮去撞摩托車
還是應該不要轉向,以減少傷害他人
即使這意謂著直撞那重物
犧牲你的生命
或是取折中方式去撞運動休旅車
因為它有較高的乘客安全等級?
無人駕駛車應該怎麼做呢?
如果我們是徒手駕駛那輛
被夾在車陣中的車子
無論我們做出那種反應
都將被視為
一種生理反應
而非經深思熟慮後的決定
那是一種本能的驚慌舉動
不是預先策劃或蓄意的
但如果是程式設計師下指令
讓車子做出同樣的動作 ─
針對它未來可能感應到的狀況 ─
這就比較像是預謀殺人了
平心而論
無人駕駛車是預計來
大幅降低意外車禍
及死亡事故
因可經由駕駛程式來去除人為疏失
況且尚有其他許多好處
疏解道路壅塞
減少排放有害廢氣
及減少無效率及緊張的開車時間
但意外還是仍然會發生
當發生時
它們的結果可能早在數月
或數年前就已經預先
被程式設計師或決策者所決定了
他們將要做出一些困難的決定
試圖提出一般性決策原則
例如「傷害最小化」
即使如此,它仍很快變成
道德上含糊不清的決定
例如
比方說我們遇到和原先相同的狀況
但現在有個戴安全帽的
摩托車騎士在你左邊
而另有一位沒戴安全帽的在你右邊
你的自動車應該撞向那邊?
如果你說是那位戴安全帽的騎士
因為她存活率比較高
那麼你不就是在懲罰
一位守法的摩托車騎士呢?
反之,你說撞向那位沒戴安全的騎士
因為他不負責任
那麼你這做法已經遠離
「傷害最小化」的最初設計原則了
而那自動車現在做出懲罰
執行道路正義了
道德的考量在此變得更複雜
這兩種情況
其基本設計是一種
「標靶運算法則」的運作
換言之
它蓄意地厚此薄彼
撞向一個特定物體
那位被選中的車主
因這運算的負面結果而遭殃了
而這並不是他們自己的錯
我們的新技術出現了
許多其他新的道德難題
例如,如果你必須二選一時
一輛意外時會有最多存活率的車
或是一輛不計一切代價先救你的車
你會買那一輛?
如果車子開始分析並考慮
乘客及他們的身份地位
你想會發生什麼事?
會不會一個隨機的決定
仍優於一個「傷害最小化」
的預定程式呢?
到底應該由誰來做所有的決定?
程式設計師?
公司?
政府?
實際情形也許不會和我們
假想實驗的情況完全相同
但重點不在這兒
它們被設計來單獨在壓力下
測試我們對道德的直覺
就如同真實世界的科學實驗一樣
發現這些道德急轉彎
將協助我們駕馭在這條
陌生的 “技術倫理學” 路上
讓我們有信心地、有良知地
駛向我們新的美好未來
翻譯:Yun An Chen