Chris Anderson: Nick Bostrom.
Bize çoktan birçok çılgın fikir verdin.
Sanırım 20 yıl önce
hepimizin bir simülasyonda yaşıyor olabileceğini ortaya attın
ya da geçmişte yaşadığımızı.
Yakın zamanda,
yapay genel zekânın nasıl korkunç düzeyde kötüye gidebileceğinin
en gerçekçi örneklerini gösterdin.
Ve bu yıl da
hassas dünya hipotezi denen bir konu üzerinde
bir yazı yayımlamak üzeresin.
Bu akşam bizim görevimiz buna örnekli bir kılavuz sunmak.
Hadi başlayalım.
Nedir bu hipotez?
Nick Bostrom: Bu, şu anki insan durumunun
bir tür yapısal özelliği üzerinde düşünmeye çalışma.
Sen vazo örneğini seviyorsun,
bu yüzden açıklamak için o örneği kullanacağım.
Fikirleri, metotları ve olası teknolojileri temsil eden
toplarla dolu büyük bir vazo hayal et.
İnsan yaratıcılığının tarihini,
bu vazoya ulaşma ve topları birer birer çıkarma süreci olarak düşünebilirsin
ve ağ etkisi şimdiye kadar oldukça yararlıydı değil mi?
Bazısı hem faydalı hem zararlı olan çeşitli gri tonlarda
oldukça fazla sayıda beyaz top çıkardık.
Şimdiye kadar siyah topu çıkarmadık --
onu keşfeden medeniyeti sürekli olarak yok eden bir teknoloji.
Yazı, siyah topun ne olabileceği üzerine düşünmeye çalışıyor.
CA: Yani bu topu, kaçınılmaz bir şekilde
medeniyet yıkımı getirecek bir şey olarak tanımlıyorsun.
NB: Yarı anarşik standart koşul diye adlandırdığım şeyden çıkmadığımız sürece.
Ama bir çeşit, varsayımla.
CA: Yani, aslında şu zamana kadar
şanslı olduğumuza inandığın,
o ölüm topunu hiç bilmeden çekmiş olabileceğimiz
bir çeşit karşıt örnekler vererek
durumu zorlaştırıyorsun.
Evet bir alıntı var, nedir bu alıntı?
NB: Sanırım, bu sadece
ana keşiflerin neye yol açacağını
öngörmenin zorluğunu anlatmaya yarıyor.
Henüz bu yetiye sahip değiliz.
Çünkü, topları çıkarmakta çok iyi hâle geldik
ama topu geri vazoya doğru şekilde koyma yeteneğine aslında sahip değiliz.
İcat edebiliyoruz ama geri bozamıyoruz.
Yani bizim stratejimiz, olduğu gibi,
vazoda hiç siyah top olmadığını ummak.
CA: Yani bir kez dışarı çıktığında dışarıdadır, onu geri içine koyamazsın
ve şanslı olduğumuzu düşünüyorsun.
Bu örneklerden bazıları üzerinde konuşalım.
Farklı türdeki zaaflar hakkında konuşalım.
NB: Anlamanın en kolay türü
büyük miktarda yıkımlara yol açmayı
oldukça çok kolaylaştıran bir teknoloji.
Sentetik biyoloji, bu siyah topu bulmakta verimli bir kaynak olabilir
ama iklim mühendisliğiyle ilgili düşünebileceğimiz --
diğer birçok mümkün şey de gerçekten harika, değil mi?
Küresel ısınmayla mücadele edebiliriz
ama bunun çok kolay hâle gelmesini de istemezsin;
rastgele birinin ve büyük annesinin
Dünya ikliminde köklü değişiklikler yapabilmesini istemezsin.
Ya da belki, ölümcül özerk drone'lar,
toplu üretilmiş, sivrisinek boyunda öldürücü sürüler.
Nanoteknoloji, yapay genel zekâ.
CA: Yazıda savunduğun,
nükleer gücün bir bomba yaratabileceğini öğrendiğimizde
sen zaten herkes için erişilebilir daha kolay kaynaklarla
şans eseri bir bomba yaratmış olabilirsin.
NB: 1930'lu yılları düşünelim,
nükleer fizikte harika yenilikler yaptığımız ilk zamanları,
bazı dâhiler nükleer zincirleme reaksiyon yaratmanın mümkün olduğunu anlıyor
ve sonra bunun ucunun bombaya uzanacağını anlıyor.
Birkaç tane daha çalışma yaptık;
bir nükleer bomba yapmak için ihtiyacın olan şeylerin,
yüksek oranda zenginleştirilmiş uranyum ve plutonyum,
elde etmesi çok zor materyaller.
Ultrasantrifüje, reaktörlere,
yani büyük miktarda enerjiye ihtiyaç var.
Ama bunlar yerine,
atomun enerjisini açığa çıkarmanın kolay bir yolu olduğunu düşün.
Belki mikrodalga fırında kum pişirerek
ya da bunun gibi bir şeyle
bir nükleer patlama yaratabilirdin.
Bunun fiziksel olarak imkânsız olduğunu biliyoruz.
Ama ilgili fiziği bilmeden önce
bunun neye dönüşeceğini nasıl bilebilirdin?
CA: Ama şöyle düşünmüyor musun,
Dünya'daki yaşamın evrilmesi
ve bunun bir tür durağan çevre anlamına gelmesi için
büyük nükleer reaksiyonlar yaratmak nispeten daha kolay ve mümkün olsaydı
Dünya hiç sabit kalmazdı,
biz burada bile olmazdık.
NB: Evet, şayet bilerek yapılması kolay
ama rastgele şansla olmayacak bir şey var olmasaydı.
Yani kolayca yapabildiğimiz şeyler,
üst üste 10 tane blok dizebiliriz
ama doğada üst üste dizilmiş 10 blok bulamazsın.
CA: Tamam, yani bu muhtemelen
çoğumuzun en çok endişelendiği şey
ve evet yapay biyoloji belki de yakın gelecekte öngördüğümüz,
bizi oraya götürebilecek en hızlı yöntem.
NB: Evet ve diyelim ki bir öğleden sonra
mutfağında çalışan herhangi birinin bir şehri yok edebilmesi
nasıl olurdu bir düşün.
Bizim bildiğimiz modern medeniyet böyle bir şeyden
nasıl kurtulabilirdi kestirmek zor.
Çünkü mutlaka her bir milyonluk insan nüfusunda,
herhangi bir sebep için bu yıkıcı gücü kullanmayı
seçecek biri olacaktır.
Yani, eğer bu kıyamet kalıntısı
bir şehri yok etmeyi ya da daha kötüsünü isterse
şehirler yok edilirdi.
CA: İşte başka tür bir zayıflık.
Bunun hakkında konuşalım.
NB: Evet, birçok şeyi patlatmayı mümkün kılan
bu tür siyah topların yanında
diğer türler de insanlarda onları zararlı şeyler yapmaya iten
kötü güdüleri dürtebilir.
Yani Tür 2A diye adlandırabileceğimiz bu şey,
inanılmaz ölçüde kuvvet kullanarak yıkım yatratmak için
büyük güçleri teşvik eden bir teknoloji.
Aslında nükleer silahlar buna oldukça yakınlardı değil mi?
Yaptığımız şey, 70.000 nükleer savaş başlığı yapmak için
10 trilyon dolar harcamak
ve onları tetikte tutmaktı.
Ve Soğuk Savaş sırasında
neredeyse birbirimizi havaya uçurduğumuz zamanlar oldu.
Birçok insan bunun iyi bir fikir olduğunu düşündüğünden değil,
hadi kendimizi patlatmak için 10 trilyon dolar harcayalım,
teşvikler öyle bir ayarlandı ki
kendimizi daha kötü olabilirdi diye düşünürken bulduk.
Güvenli bir ilk atış olduğunu düşünün.
O zaman bir kriz durumunda,
bütün nükleer füzelerini fırlatmak kendilerini alıkoymaları zor olurdu.
En kötü ihtimalle bunu diğer taraf yapabilir korkusu olurdu.
CA: Evet, karşılıklı yıkım güvencesi Soğuk Savaş'ı nispeten dengede tuttu,
o olmasaydı şu an burada olmayabilirdik.
NB: Her şey daha istikrarsız olabilirdi.
Ve daha farklı teknolojiler olabilirdi.
Nükleer silahlar yerine daha küçük
ya da daha az belirgin şeyler olsaydı
silah anlaşmaları yapmak daha zor olurdu.
CA: Güçlü aktörler için kötü teşvikler kadar
Tür 2B'de hepimizin için olan kötü teşvikler için de endişeleniyorsun.
NB: Evet, küresel ısınmayı ele alabiliriz.
Pek çok küçük eylem var,
her birimizin yapabileceği şeyler
ama tek başımıza yapsak hiçbir etkisi olmayacak şeyler.
Ama milyarlarca insan bunu yaparsa
bunlar birikerek zararlı bir etkiye sahip olur.
Küresel ısınma şimdikinden çok daha kötü olabilirdi.
Bu yüzden iklim duyarlılığı ölçeğimiz var.
Bu ölçek, belli bir miktarda sera gazı saldığında
iklimin ne kadar ısındığını söylüyor.
Bunun, yükselen ısı yerine saldığımız sera gazı miktarıyla ilgili varsayalım
2100'e kadar 3 ve 4,5 derece arası ısı yükselişi yerine
15 veya 20 derece arası olduğunu varsay.
Çok kötü bir durumda olabilirdik.
Ya da yenilenebilir enerji yapmanın çok daha zor olduğunu varsay.
Ya da yer altında daha fazla fosil yakıt olduğunu.
CA: Böyle bir durumda --
eğer bugün yaptığımız şey
görebileceğimiz süreçte 10 derece farklılık yarattıysa
aslında insanoğlu yerinden kalkıp bununla ilgili bir şeyler yapabilirdi.
Aptalız ama belki de o kadar da aptal değiliz.
Ya da belki öyleyiz.
NB: Bu kadar emin olmazdım.
(Kahkahalar)
Diğer özellikleri hayal edebilirsin.
Şu anda yenilenebilir ve diğerleri arasında geçiş yapmak bir miktar zor,
evet, ama yapılabilir.
Biraz farklı bir fizikle mümkün olabilirdi
ama bu tür şeyleri yapmak daha pahalı olurdu.
CA: Peki senin görüşün ne Nick?
Bu ihtimalleri bir araya koyarsak
bu yeryüzü, insanlık olarak biz,
savunmasız bir dünya olarak sayılır mıyız?
Geleceğimizde bir ölüm topu olur mu?
NB: Bunu söylemek zor.
Anlatmak istediğim, vazoda göründüğü gibi çok çeşitli siyah toplar olabilir.
Siyah toplara karşı korunmamıza yardım edecek altın toplar da olabilir.
Hangi sırayla ortaya çıkacaklarını bilmiyorum.
CA: Yani, bu fikirle ilgili olası bir felsefi eleştiri de
geleceğin aslında belirlenmiş olduğuyla ilgili bir görüşü işaret eder.
O top ya vardır ya da yoktur.
Ve bir taraftan,
bu inanmak istediğim bir gelecek görüşü değil.
Geleceğin belirlenmediğine, bugünkü kararlarımızın
o vazodan hangi topu çekeceğimizi belirleyeceğine inanmak istiyorum.
NB: İcat etmeye devam edersek
en sonunda tüm topları çıkaracağız.
Yani, oldukça mantıklı bir tür güçsüz, teknolojik determinizm var olabilir,
el baltası ve jet uçaklar kullanan bir topluma rastlamak çok zormuş gibi.
Ama teknolojiyi neredeyse bir takım sağlayıcı olarak düşünebilirsin.
Teknoloji, farklı şeyler yapmamızı
ve dünyada farklı etkilere ulaşmamızı sağlayan bir şey.
Bunu nasıl kullandığımız tabii ki insan seçimlerine bağlı.
Ama bu üç çeşit zaafı düşünürsek
onları kullanma seçimimizle ilgili oldukça zayıf varsayımlar yapıyorlar.
Tür-1 zaaf, yeniden, bu büyük, yıkıcı güç,
milyonlarca insanlık bir nüfusta
bunu yıkıcı bir şekilde kullanacak birinin olacağını düşünmek
oldukça zayıf bir varsayım.
CA: Benim için tek rahatsız edici argüman,
ölüme mahkum edildiğimiz ihtimalinin yüksek olduğu
bir tür bakış açısına sahip olabilirdik.
Şöyle ki eğer hızlanan güce inanıyorsan --
giderek hızlanan teknolojiye
ve bununla bizi daha güçlü kılan araçları yaptığımıza
o hâlde bir noktada tek bir kişinin hepimizi yok edebileceği bir sahne çıkıyor
ve işimiz bitik görünüyor.
Bu argüman oldukça korkutucu değil mi?
NB: Ah, evet.
(Kahkahalar)
Bence --
Evet, gittikçe daha çok güç kazanıyoruz
ve bu gücü kullanmak gittikçe daha kolay hale geliyor
ama insanların bu gücü nasıl kullandığını kontrol etmemize yardımcı olacak
teknolojiler de üretebiliriz.
CA: O zaman bunun hakkında konuşalım, geri bildirim hakkında.
Şu an mevcut tüm ihtimalleri düşündüğünü var say --
sadece sentetik biyoloji değil, siber savaş gibi bir şey bu,
yapay zeka ve benzerleri gibi --
geleceğimizde ciddi bir kötü sonla karşılaşabiliriz.
Mümkün olan tepkiler neler?
Dört olası tepki hakkında da konuşmuştun.
NB: Teknolojik gelişime karşı bir durdurma hakkında konuşacak olursak
teknolojik gelişimleri kısıtlamak hiç mantıklı görünmüyor.
Bence ne ikisi de mümkün,
ne de bunu yapabilseydik bile bu çekici olurdu.
Bence, daha yavaş teknolojik gelişmeler isteyebileceğin
oldukça sınırlı alanlar olabilir.
Bana kalırsa biyolojik silahlarda ya da diyelim ki izotop ayırmada
atom bombası yaratmayı daha kolay hâle getirebilecek hızda
bir gelişme istemezsin.
CA: Eskiden buna tamamen katılırdım.
Ama bir dakikalığına bu fikri uzaklaştırıyorum.
Her şeyden önce,
eğer son birkaç on yıldaki tarihe bakacak olursak
bu her zaman son hızda ilerlemiştir,
bu konuda bir sıkıntı yok, tek şansımız bu.
Ama küreselleşmeye yükseliş hızına bakarsan
eğer "hızlı hareket et ve bir şeyleri kır" stratejisine
ve bununla ne olduğuna bakarsan
ve sonra sentetik biyolojinin potansiyeline bakacak olursan
her evde ve lise laboratuvarında bir DNA yazıcısı olabildiği bir dünyaya
hızlı bir şekilde veya hiçbir kısıtlama olmadan
devam etmeli miyiz bilmiyorum.
Bazı kısıtlamalar var değil mi?
NB: Muhtemelen, ilk bölüm, mümkün olmaz.
Bunu durdurmanın mantıklı olduğunu düşünürsen
uygulanabilirlik sorunu var olur.
Yani aslında bu hiç yardımcı olmazdı, şayet bir millet --
CA: Hayır bir millet yapsa yardımcı olmazdı
ama daha önce anlaşmalarımız vardı.
Bu aslında nükleer tehditlerden nasıl kurtulduğumuzun cevabı,
oraya giderek
ve pazarlığın zorlu sürecinden geçerek.
Sadece mantığının küresel bir öncelik olayı olup olmadığını merak ediyorum,
oraya gidip şunu denememeliyiz,
sentetik biyolojik araştırmaya dair kuralların müzakeresini yapmak...
bunu demokratikleştirmek istemezsin, değil mi?
NB: Buna kesinlikle katılıyorum --
bu oldukça ilgi çekici olurdu, mesela,
belki DNA sentez makinelerine sahip olmak,
her laboratuvarın kendine ait olan bir ürünü olarak değil
ama belki bir hizmet olarak.
Belki dünyada dijital planını yolladığın ve DNA'nın geri geldiği
dört ya da beş yer vardır, değil mi?
Ve sonra, yetiye sahip olabilirsin,
eğer bir gün bu gerçekten gerekli gibi görünürse
sınırlı bir miktar tıkanma noktasına sahip olabiliriz.
Sanırım sen daha sıkı bir kontrole sahip olabileceğin
özel fırsatlara bakmak istiyorsun.
CA: Temelde senin inancın,
sadece geri çekilerek başarılı olamayacağındır.
Birileri, bir yerler -- mesela Kuzey Kore --
eğer bilgi keşfedilecek bir yerdetse biri oraya gidecek
ve bu bilgiyi keşfedecektir.
NB: Şu anki koşullar altında mantıklı duruyor.
Bu sadece sentetik biyoloji de değil.
Demek istediğim, dünyadaki her türlü derin ve yeni değişim
bir siyah topa dönüşebilir.
CA: Bir diğer olası tepkiye bakalım.
NB: Bence bu da sadece sınırlı potansiyele sahip.
Yani, yine Tür-1 zaafla,
dünyayı yok etmek için teşvik edilen insan sayısını düşürebilirsen
ve bu araçlara sadece onlar erişebilse işte bu güzel olurdu.
CA: Bizden yapmamızı istediğin bu görselde
yüz tanıma sistemiyle tüm dünyada dolaşan drone'ları hayal ediyorsun.
Sosyopatik davranış sergileyen birini saptadıklarında
onları sevgiyle yıkayıp düzeltiyorlar.
NB: Bunun hibrid bir görsel olduğunu düşünüyorum.
Eleme ya hapsetmektir ya da öldürmek
ya da onları daha iyi bir dünya görüşüne ikna etmek demektir.
Ama asıl nokta şu ki
bu konuda fazlasıyla başarılı olduğunu düşün
ve bu tür bireylerin sayısını yarıya düşürdüğünü.
Ve eğer bunu ikna yoluyla yapmak istiyorsan
insanları ikna etme uğraşında diğer tüm güçlerle rekabet hâlindesin,
partiler, din, eğitim sistemi.
Ama yarıya kadar düşürdüğünü varsay,
yine de riskin yarıya kadar düşeceğini düşünmüyorum.
Belki yüzde 10 ya da 5 düşebilir.
CA: İnsanlığın geleceğini tepki iki üzerine riske atmamızı önermiyorsun.
NB: Bence insanları vazgeçirmeye ve ikna etmeye çalışmakta sıkıntı yok
ama tek korumamız olarak buna sırt yaslamamalıyız.
CA: Peki ya üç?
NB: Bence olası zayıflıkların tüm spektrumuna karşı
dünyayı stabilize edebilmek için kullanabileceğimiz iki genel metot var.
Ve muhtemelen ikisine de ihtiyaç duyardık.
Biri, önleyici politikalar yapmanın oldukça etkili bir yetisi.
Müdahele edebilmek için.
Eğer biri tehlikeli bir şey yapmaya başlamışsa,
gerçek zamanlı olarak onları engelleyip durdurabilirsin.
Bu eş zamanlı gözetim gerektirirdi,
herkes, sürekli olarak izleniyor olurdu.
CA: Bu özünde bir tür "Azınlık Raporu."
NB: Yapay zekâ algoritmaların olabilir,
bunu inceleyen büyük özgürlük merkezleri gibi.
CA: Şu an bu kitle gözetimi pek sevilen bir terim değil biliyor musun?
(Kahkahalar)
NB: Evet, şuradaki küçük cihaz,
farklı yönlü bir sürü kameralı, sürekli takmak zorunda olduğun
o tarz bir kolyeyi hayal et.
Ama daha trajikomik hâle getirmek için
ona "özgürlük etiketi" ya da o tarz bir şey diyelim.
(Kahkahalar)
CA: Tamam.
Yani, bu bir sohbet, arkadaşlar,
bu denli akıllara durgunluk veren bir sohbet olmasının sebebi işte bu.
NB: Aslında, sadece bunun üzerine kurulabilecek büyük bir sohbet olur.
Bununla ilgili büyük problemler ve riskler var, değil mi?
Buna geri döneriz.
Ve diğeri, sonuncusu,
diğer genel dengeleme yetimiz
bir tür başka yönetişim boşluğu kapatmak.
Gözetim mikro düzeyde yönetişim boşluğu olurdu,
birilerini yasa dışı şeyler yapmaktan alıkoymak gibi.
Böylece, makro düzeyde küresel boyutta
uyumlu bir yönetim boşluğu olur.
En kötü türde küresel koordinasyon hatalarını engellemek için
bu yeteneğe ihtiyaç duyardık,
büyük güçler arası savaşları,
silah yarışlarını,
kataklizmik doğal kaynak sorunları için.
tüm bu Tip 2a zayıflıklarıyla başa çıkabilmek için.
CA: Küresel yönetişim, şu anda
kesinlikle demode olan bir terim,
ama konuyu tarih boyunca, insan tarihi boyunca işleyemez misin?
Teknolojik güç artışının her aşamasında
insanlar gücü yeniden düzenledi ve bir bakıma merkezleştirdiler.
Yani mesela bir grup başıboş suçlu,
toplumu ele geçirdiğinde
yanıt; peki, bir ulus devletin var
ve gücü merkezleştirdin, polisi ya da bir ordu,
yani "Hayır, bunu yapamazsın" olurdu.
İnsanlığı ele geçirebilecek bir insan ya da belki bir grup mantığı da
bir noktada bu yönden gitmemiz gerekecek anlamına gelmez mi?
NB: İnsanlık tarihinin yolu boyunca politik organizasyon ölçeğinin
yükseldiği kesinlikle doğru.
Eskiden avcı-toplayıcı grup vardı
ve sonra şerifler, şehir devletleri, uluslar,
şimdi uluslararası organizasyonlar var ve buna benzer şeyler.
Ben yine şunu vurgulamak istiyorum;
hem kitlesel gözetim hem de küresel yönetişime dair
dev dezavantajar ve de çok büyük riskler var.
Şunu vurgulamak istiyorum ki eğer şanslıysak
dünya öyle bir durumda olabilir ki
bir siyah toptan kurtulmanın tek yolu bunlar olur.
CA: Anladığım kadarıyla bu teorinin mantığı
hepsine sahip olamayacağımızı anlamamız gerektiği.
Bu bir bakıma,
teknolojinin her zaman iyiye kullanılacağına dair
hepimizin kurduğu saf bir hayal diyebilirim,
devam et, durma, gidebildiğin kadar hızlı git
ve bazı sonuçlara çok takılma
ki bu aslında bir seçenek sayılmaz.
Buna sahip olabiliriz.
Buna sahip olursak
bununla beraber
diğer rahatsız edici şeyleri de kabullenmek zorunda kalırız
ve bir bakıma kendimizle bir silahlanma yarışı içinde oluruz,
güç istiyorsan onu sınırlaman lazım,
nasıl sınırlandıracağını çözsen iyi edersin.
NB: Bence bu bir seçenek,
oldukça cazip bir seçenek, bi bakıma en kolay seçenek
ve işe yarayabilir
ama bu, özünde bir siyah top çekmeye eğimli olmamız anlamına gelir.
Bence biraz koordinasyonla
mesela, bu makro ve mikro yönetişim sorununu çözersen
vazodaki bütün topları çıkarırdık
ve bundan oldukça yararlanırdık.
CA: Bir simülasyonda yaşıyorsak bile bu fark eder mi?
Sadece yeniden başlatırız.
(Kahkahalar)
NB: O zaman... ben...
(Kahkahalar)
Bunu kestiremedim.
CA: Peki senin görüşün ne?
Bütün parçaları birleştirdiğinde işimizin bitik olduğu ne kadar olası?
(Kahkahalar)
Bu soruyu sorduğumda insanların gülmesine bayılıyorum.
NB: Bir birey düzeyinde,
zaten bir tür mahkumuz, sadece zaman çizgisiyle,
çürüyor, yaşlanıyor ve bu tür diğer şeyleri yaşıyoruz değil mi?
(Kahkahalar)
Bu aslında biraz yanıltıcı.
Bir ihtimal yakalamak için tuzak kurmak istiyorsan
ilk olarak, biz kimiz?
Eğer çok yaşlıysan, muhtemelen doğal sebeplerle öleceksin,
eğer çok gençsen önünde 100 yılın olabilir --
ihtimali kime sorduğuna göre değişebilir.
Sonrasında eşik, mesela, ne medeniyet yıkımı olarak sayılır?
Yazıda, bunun sayılması için bir varoluş yıkımına ihtiyacım olmadı.
Bu sadece tanımsal bir mesele,
ben bir milyar ölü derim
ya da dünya GSYİH'sinde yüzde 50 bir azalma
ama senin eşiğe ne anlam yüklediğine bağlı,
sen farklı bir olası tahmin yürütürsün.
Ama sanırım beni korkmuş bir iyimser olarak yazardın.
(Kahkahalar)
CA: Sen korkmuş bir iyimsersin
ve bence büyük sayıda başka korkmuş insan yarattın.
(Kahkahalar)
NB: Simülasyonda.
CA: Simülasyonda.
Nick Bostrom, zihnine hayranım.
bize korku saldığın için çok teşekkürler.
(Alkışlar)