Tämä on ajatuskoe. Kuvittele, että jossain vaiheessa lähitulevaisuudessa ajat itseohjautuvalla autolla valtatietä ja huomaat olevasi muiden autojen välissä. Yhtäkkiä raskas esine tipahtaa edelläsi kulkevasta rekasta eteesi. Autosi ei voi pysähtyä ajoissa välttääkseen törmäystä, joten sen on tehtävä päätös: mennä suoraan esinettä päin kaarrettava vasemmalla olevaan citymaasturiin tai oikealle moottoriåyötää päin. Pitäisikö sen priorisoida sinun etuasi törmäämällä moottoripyörään. minimoida muiden vahinkoja pysymällä kaistalla, vaikka se tarkoittaisi törmäämistä ja sinun elämäsi uhraamista, vai törmätä maasturiin, jolla on korkein luokitus matkustajaturvallisuudessa? Mitä siis itseohjautuvan auton tulisi tehdä? Jos ajaisimme autoa itse, reaktiomme ymmärrettäisiin juuri sellaisena, eli reaktiona, ei tietoisena päätöksenä. Se tulkittaisiin paniikinomaisena liikkeenä ilman pahaa tarkoitusta. Mutta jos ohjelmoija antaa autolle ohjeet samaan liikkeeseen määrittäen ehdot, joita se voi kohdata tulevaisuudessa, se alkaisi näyttää enemmän harkitulta murhalta. Ollaksemme reiluja: itseohjautuvien autojen on ennustettu vähentävän onnettomuuksia dramaattisesti, samoin kuolemia, poistamalla yhtälöstä inhimillisen erehdyksen. Niistä voi olla myös muunlaista hyötyä: sujuvampaa liikennettä, päästöjen vähentymistä. ja vähemmän tuottamatonta ja stressaavaa ajoaikaa. Onnettomuuksia voi silti tapahtua, ja tapahtuu, ja kun niin käy, lopputuloksen on ehkä määritellyt kuukausia tai vuosia sitten ohjelmoija tai päättäjä. Heillä on edessään vaikeita päätöksiä. On houkuttavaa tarjota yleisiä päätöksentekoperiaatteita, kuten haitan minimointia, mutta jopa tämä johtaa pian moraalisesti hämäriin päätöksiin. Esimerkiksi oletetaan lähtötilanne muuten samaksi, mutta nyt vasemmalla on kypäräpäinen moottoripyöräilijä ja oikealla kypärätön. Kumpaan robottiautosi tulisi törmätä? Jos valitset kypäräpäisen siksi, että hän selviytyy todennäköisemmin, etkö silloin rankaise vastuullista motoristia? Jos taas valitset kypärättä ajavan pyöräilijän, koska hän käyttäytyy vastuuttomasti, olet kaukana alkuperäisestä ohjeesta vanhinkojen minimoimisesta ja robottiauto harjoittaakin nyt katuoikeutta. Eettinen pohdinta mutkistuu. Molemmissa skenaarioissa suunnitelma perustuu kohteen luokittelualgoritmiin. Toisin sanoen se systemaattisesti suosii tai syrjii tiettyjä kohteita törmäystilanteessa. Kohdeajoneuvojen kuljettajat kärsivät näiden algoritmien kielteiset seuraukset ilman omaa syytään. Teknologiamme avaa tien uusille eettisille dilemmoille. Esimerkiksi jos sinun on valittava auto, joka aina pelastaisi onnettomuudessa mahdollisimman monta elämä, tai auto, joka pelastaisi aina sinut, kumman ostaisit? Mitä tapahtuu, jos auto alkaa analysoida ja arvioida auton matkustajien elämien arvoa? Voiko sattumaan perustuva päätös ollakin parempi kuin ennalta haitan minimoimiseen perustuva päätös? Ja kenelle nämä päätökset kuuluvat? Ohjelmoijille? Yrityksille? Hallituksille? Todellisuus ei aina toimi kuten ajatuskokeemme, mutta se ei ole tärkeää. Niiden avulla voi eristää ja testata eettisiä intuitioitamme, kuten tieteelliset kokeet testaavat fyysistä maailmaa. Kun huomaamme näitä moraalisia käänteitä nyt, se auttaa kulkemaan teknologian etiikan uusilla poluilla ja kuljettaa meidät varmasti ja tietoisesti kohti uljasta uutta tulevaisuutta.