Chris Anderson: Nick Bostrom. Bize çoktan birçok çılgın fikir verdin. Sanırım 20 yıl önce hepimizin bir simülasyonda yaşıyor olabileceğini ortaya attın ya da geçmişte yaşadığımızı. Yakın zamanda, yapay genel zekânın nasıl korkunç düzeyde kötüye gidebileceğinin en gerçekçi örneklerini gösterdin. Ve bu yıl da hassas dünya hipotezi denen bir konu üzerinde bir yazı yayımlamak üzeresin. Bu akşam bizim görevimiz buna örnekli bir kılavuz sunmak. Hadi başlayalım. Nedir bu hipotez? Nick Bostrom: Bu, şu anki insan durumunun bir tür yapısal özelliği üzerinde düşünmeye çalışma. Sen vazo örneğini seviyorsun, bu yüzden açıklamak için o örneği kullanacağım. Fikirleri, metotları ve olası teknolojileri temsil eden toplarla dolu büyük bir vazo hayal et. İnsan yaratıcılığının tarihini, bu vazoya ulaşma ve topları birer birer çıkarma süreci olarak düşünebilirsin ve ağ etkisi şimdiye kadar oldukça yararlıydı değil mi? Bazısı hem faydalı hem zararlı olan çeşitli gri tonlarda oldukça fazla sayıda beyaz top çıkardık. Şimdiye kadar siyah topu çıkarmadık -- onu keşfeden medeniyeti sürekli olarak yok eden bir teknoloji. Yazı, siyah topun ne olabileceği üzerine düşünmeye çalışıyor. CA: Yani bu topu, kaçınılmaz bir şekilde medeniyet yıkımı getirecek bir şey olarak tanımlıyorsun. NB: Yarı anarşik standart koşul diye adlandırdığım şeyden çıkmadığımız sürece. Ama bir çeşit, varsayımla. CA: Yani, aslında şu zamana kadar şanslı olduğumuza inandığın, o ölüm topunu hiç bilmeden çekmiş olabileceğimiz bir çeşit karşıt örnekler vererek durumu zorlaştırıyorsun. Evet bir alıntı var, nedir bu alıntı? NB: Sanırım, bu sadece ana keşiflerin neye yol açacağını öngörmenin zorluğunu anlatmaya yarıyor. Henüz bu yetiye sahip değiliz. Çünkü, topları çıkarmakta çok iyi hâle geldik ama topu geri vazoya doğru şekilde koyma yeteneğine aslında sahip değiliz. İcat edebiliyoruz ama geri bozamıyoruz. Yani bizim stratejimiz, olduğu gibi, vazoda hiç siyah top olmadığını ummak. CA: Yani bir kez dışarı çıktığında dışarıdadır, onu geri içine koyamazsın ve şanslı olduğumuzu düşünüyorsun. Bu örneklerden bazıları üzerinde konuşalım. Farklı türdeki zaaflar hakkında konuşalım. NB: Anlamanın en kolay türü büyük miktarda yıkımlara yol açmayı oldukça çok kolaylaştıran bir teknoloji. Sentetik biyoloji, bu siyah topu bulmakta verimli bir kaynak olabilir ama iklim mühendisliğiyle ilgili düşünebileceğimiz -- diğer birçok mümkün şey de gerçekten harika, değil mi? Küresel ısınmayla mücadele edebiliriz ama bunun çok kolay hâle gelmesini de istemezsin; rastgele birinin ve büyük annesinin Dünya ikliminde köklü değişiklikler yapabilmesini istemezsin. Ya da belki, ölümcül özerk drone'lar, toplu üretilmiş, sivrisinek boyunda öldürücü sürüler. Nanoteknoloji, yapay genel zekâ. CA: Yazıda savunduğun, nükleer gücün bir bomba yaratabileceğini öğrendiğimizde sen zaten herkes için erişilebilir daha kolay kaynaklarla şans eseri bir bomba yaratmış olabilirsin. NB: 1930'lu yılları düşünelim, nükleer fizikte harika yenilikler yaptığımız ilk zamanları, bazı dâhiler nükleer zincirleme reaksiyon yaratmanın mümkün olduğunu anlıyor ve sonra bunun ucunun bombaya uzanacağını anlıyor. Birkaç tane daha çalışma yaptık; bir nükleer bomba yapmak için ihtiyacın olan şeylerin, yüksek oranda zenginleştirilmiş uranyum ve plutonyum, elde etmesi çok zor materyaller. Ultrasantrifüje, reaktörlere, yani büyük miktarda enerjiye ihtiyaç var. Ama bunlar yerine, atomun enerjisini açığa çıkarmanın kolay bir yolu olduğunu düşün. Belki mikrodalga fırında kum pişirerek ya da bunun gibi bir şeyle bir nükleer patlama yaratabilirdin. Bunun fiziksel olarak imkânsız olduğunu biliyoruz. Ama ilgili fiziği bilmeden önce bunun neye dönüşeceğini nasıl bilebilirdin? CA: Ama şöyle düşünmüyor musun, Dünya'daki yaşamın evrilmesi ve bunun bir tür durağan çevre anlamına gelmesi için büyük nükleer reaksiyonlar yaratmak nispeten daha kolay ve mümkün olsaydı Dünya hiç sabit kalmazdı, biz burada bile olmazdık. NB: Evet, şayet bilerek yapılması kolay ama rastgele şansla olmayacak bir şey var olmasaydı. Yani kolayca yapabildiğimiz şeyler, üst üste 10 tane blok dizebiliriz ama doğada üst üste dizilmiş 10 blok bulamazsın. CA: Tamam, yani bu muhtemelen çoğumuzun en çok endişelendiği şey ve evet yapay biyoloji belki de yakın gelecekte öngördüğümüz, bizi oraya götürebilecek en hızlı yöntem. NB: Evet ve diyelim ki bir öğleden sonra mutfağında çalışan herhangi birinin bir şehri yok edebilmesi nasıl olurdu bir düşün. Bizim bildiğimiz modern medeniyet böyle bir şeyden nasıl kurtulabilirdi kestirmek zor. Çünkü mutlaka her bir milyonluk insan nüfusunda, herhangi bir sebep için bu yıkıcı gücü kullanmayı seçecek biri olacaktır. Yani, eğer bu kıyamet kalıntısı bir şehri yok etmeyi ya da daha kötüsünü isterse şehirler yok edilirdi. CA: İşte başka tür bir zayıflık. Bunun hakkında konuşalım. NB: Evet, birçok şeyi patlatmayı mümkün kılan bu tür siyah topların yanında diğer türler de insanlarda onları zararlı şeyler yapmaya iten kötü güdüleri dürtebilir. Yani Tür 2A diye adlandırabileceğimiz bu şey, inanılmaz ölçüde kuvvet kullanarak yıkım yatratmak için büyük güçleri teşvik eden bir teknoloji. Aslında nükleer silahlar buna oldukça yakınlardı değil mi? Yaptığımız şey, 70.000 nükleer savaş başlığı yapmak için 10 trilyon dolar harcamak ve onları tetikte tutmaktı. Ve Soğuk Savaş sırasında neredeyse birbirimizi havaya uçurduğumuz zamanlar oldu. Birçok insan bunun iyi bir fikir olduğunu düşündüğünden değil, hadi kendimizi patlatmak için 10 trilyon dolar harcayalım, teşvikler öyle bir ayarlandı ki kendimizi daha kötü olabilirdi diye düşünürken bulduk. Güvenli bir ilk atış olduğunu düşünün. O zaman bir kriz durumunda, bütün nükleer füzelerini fırlatmak kendilerini alıkoymaları zor olurdu. En kötü ihtimalle bunu diğer taraf yapabilir korkusu olurdu. CA: Evet, karşılıklı yıkım güvencesi Soğuk Savaş'ı nispeten dengede tuttu, o olmasaydı şu an burada olmayabilirdik. NB: Her şey daha istikrarsız olabilirdi. Ve daha farklı teknolojiler olabilirdi. Nükleer silahlar yerine daha küçük ya da daha az belirgin şeyler olsaydı silah anlaşmaları yapmak daha zor olurdu. CA: Güçlü aktörler için kötü teşvikler kadar Tür 2B'de hepimizin için olan kötü teşvikler için de endişeleniyorsun. NB: Evet, küresel ısınmayı ele alabiliriz. Pek çok küçük eylem var, her birimizin yapabileceği şeyler ama tek başımıza yapsak hiçbir etkisi olmayacak şeyler. Ama milyarlarca insan bunu yaparsa bunlar birikerek zararlı bir etkiye sahip olur. Küresel ısınma şimdikinden çok daha kötü olabilirdi. Bu yüzden iklim duyarlılığı ölçeğimiz var. Bu ölçek, belli bir miktarda sera gazı saldığında iklimin ne kadar ısındığını söylüyor. Bunun, yükselen ısı yerine saldığımız sera gazı miktarıyla ilgili varsayalım 2100'e kadar 3 ve 4,5 derece arası ısı yükselişi yerine 15 veya 20 derece arası olduğunu varsay. Çok kötü bir durumda olabilirdik. Ya da yenilenebilir enerji yapmanın çok daha zor olduğunu varsay. Ya da yer altında daha fazla fosil yakıt olduğunu. CA: Böyle bir durumda -- eğer bugün yaptığımız şey görebileceğimiz süreçte 10 derece farklılık yarattıysa aslında insanoğlu yerinden kalkıp bununla ilgili bir şeyler yapabilirdi. Aptalız ama belki de o kadar da aptal değiliz. Ya da belki öyleyiz. NB: Bu kadar emin olmazdım. (Kahkahalar) Diğer özellikleri hayal edebilirsin. Şu anda yenilenebilir ve diğerleri arasında geçiş yapmak bir miktar zor, evet, ama yapılabilir. Biraz farklı bir fizikle mümkün olabilirdi ama bu tür şeyleri yapmak daha pahalı olurdu. CA: Peki senin görüşün ne Nick? Bu ihtimalleri bir araya koyarsak bu yeryüzü, insanlık olarak biz, savunmasız bir dünya olarak sayılır mıyız? Geleceğimizde bir ölüm topu olur mu? NB: Bunu söylemek zor. Anlatmak istediğim, vazoda göründüğü gibi çok çeşitli siyah toplar olabilir. Siyah toplara karşı korunmamıza yardım edecek altın toplar da olabilir. Hangi sırayla ortaya çıkacaklarını bilmiyorum. CA: Yani, bu fikirle ilgili olası bir felsefi eleştiri de geleceğin aslında belirlenmiş olduğuyla ilgili bir görüşü işaret eder. O top ya vardır ya da yoktur. Ve bir taraftan, bu inanmak istediğim bir gelecek görüşü değil. Geleceğin belirlenmediğine, bugünkü kararlarımızın o vazodan hangi topu çekeceğimizi belirleyeceğine inanmak istiyorum. NB: İcat etmeye devam edersek en sonunda tüm topları çıkaracağız. Yani, oldukça mantıklı bir tür güçsüz, teknolojik determinizm var olabilir, el baltası ve jet uçaklar kullanan bir topluma rastlamak çok zormuş gibi. Ama teknolojiyi neredeyse bir takım sağlayıcı olarak düşünebilirsin. Teknoloji, farklı şeyler yapmamızı ve dünyada farklı etkilere ulaşmamızı sağlayan bir şey. Bunu nasıl kullandığımız tabii ki insan seçimlerine bağlı. Ama bu üç çeşit zaafı düşünürsek onları kullanma seçimimizle ilgili oldukça zayıf varsayımlar yapıyorlar. Tür-1 zaaf, yeniden, bu büyük, yıkıcı güç, milyonlarca insanlık bir nüfusta bunu yıkıcı bir şekilde kullanacak birinin olacağını düşünmek oldukça zayıf bir varsayım. CA: Benim için tek rahatsız edici argüman, ölüme mahkum edildiğimiz ihtimalinin yüksek olduğu bir tür bakış açısına sahip olabilirdik. Şöyle ki eğer hızlanan güce inanıyorsan -- giderek hızlanan teknolojiye ve bununla bizi daha güçlü kılan araçları yaptığımıza o hâlde bir noktada tek bir kişinin hepimizi yok edebileceği bir sahne çıkıyor ve işimiz bitik görünüyor. Bu argüman oldukça korkutucu değil mi? NB: Ah, evet. (Kahkahalar) Bence -- Evet, gittikçe daha çok güç kazanıyoruz ve bu gücü kullanmak gittikçe daha kolay hale geliyor ama insanların bu gücü nasıl kullandığını kontrol etmemize yardımcı olacak teknolojiler de üretebiliriz. CA: O zaman bunun hakkında konuşalım, geri bildirim hakkında. Şu an mevcut tüm ihtimalleri düşündüğünü var say -- sadece sentetik biyoloji değil, siber savaş gibi bir şey bu, yapay zeka ve benzerleri gibi -- geleceğimizde ciddi bir kötü sonla karşılaşabiliriz. Mümkün olan tepkiler neler? Dört olası tepki hakkında da konuşmuştun. NB: Teknolojik gelişime karşı bir durdurma hakkında konuşacak olursak teknolojik gelişimleri kısıtlamak hiç mantıklı görünmüyor. Bence ne ikisi de mümkün, ne de bunu yapabilseydik bile bu çekici olurdu. Bence, daha yavaş teknolojik gelişmeler isteyebileceğin oldukça sınırlı alanlar olabilir. Bana kalırsa biyolojik silahlarda ya da diyelim ki izotop ayırmada atom bombası yaratmayı daha kolay hâle getirebilecek hızda bir gelişme istemezsin. CA: Eskiden buna tamamen katılırdım. Ama bir dakikalığına bu fikri uzaklaştırıyorum. Her şeyden önce, eğer son birkaç on yıldaki tarihe bakacak olursak bu her zaman son hızda ilerlemiştir, bu konuda bir sıkıntı yok, tek şansımız bu. Ama küreselleşmeye yükseliş hızına bakarsan eğer "hızlı hareket et ve bir şeyleri kır" stratejisine ve bununla ne olduğuna bakarsan ve sonra sentetik biyolojinin potansiyeline bakacak olursan her evde ve lise laboratuvarında bir DNA yazıcısı olabildiği bir dünyaya hızlı bir şekilde veya hiçbir kısıtlama olmadan devam etmeli miyiz bilmiyorum. Bazı kısıtlamalar var değil mi? NB: Muhtemelen, ilk bölüm, mümkün olmaz. Bunu durdurmanın mantıklı olduğunu düşünürsen uygulanabilirlik sorunu var olur. Yani aslında bu hiç yardımcı olmazdı, şayet bir millet -- CA: Hayır bir millet yapsa yardımcı olmazdı ama daha önce anlaşmalarımız vardı. Bu aslında nükleer tehditlerden nasıl kurtulduğumuzun cevabı, oraya giderek ve pazarlığın zorlu sürecinden geçerek. Sadece mantığının küresel bir öncelik olayı olup olmadığını merak ediyorum, oraya gidip şunu denememeliyiz, sentetik biyolojik araştırmaya dair kuralların müzakeresini yapmak... bunu demokratikleştirmek istemezsin, değil mi? NB: Buna kesinlikle katılıyorum -- bu oldukça ilgi çekici olurdu, mesela, belki DNA sentez makinelerine sahip olmak, her laboratuvarın kendine ait olan bir ürünü olarak değil ama belki bir hizmet olarak. Belki dünyada dijital planını yolladığın ve DNA'nın geri geldiği dört ya da beş yer vardır, değil mi? Ve sonra, yetiye sahip olabilirsin, eğer bir gün bu gerçekten gerekli gibi görünürse sınırlı bir miktar tıkanma noktasına sahip olabiliriz. Sanırım sen daha sıkı bir kontrole sahip olabileceğin özel fırsatlara bakmak istiyorsun. CA: Temelde senin inancın, sadece geri çekilerek başarılı olamayacağındır. Birileri, bir yerler -- mesela Kuzey Kore -- eğer bilgi keşfedilecek bir yerdetse biri oraya gidecek ve bu bilgiyi keşfedecektir. NB: Şu anki koşullar altında mantıklı duruyor. Bu sadece sentetik biyoloji de değil. Demek istediğim, dünyadaki her türlü derin ve yeni değişim bir siyah topa dönüşebilir. CA: Bir diğer olası tepkiye bakalım. NB: Bence bu da sadece sınırlı potansiyele sahip. Yani, yine Tür-1 zaafla, dünyayı yok etmek için teşvik edilen insan sayısını düşürebilirsen ve bu araçlara sadece onlar erişebilse işte bu güzel olurdu. CA: Bizden yapmamızı istediğin bu görselde yüz tanıma sistemiyle tüm dünyada dolaşan drone'ları hayal ediyorsun. Sosyopatik davranış sergileyen birini saptadıklarında onları sevgiyle yıkayıp düzeltiyorlar. NB: Bunun hibrid bir görsel olduğunu düşünüyorum. Eleme ya hapsetmektir ya da öldürmek ya da onları daha iyi bir dünya görüşüne ikna etmek demektir. Ama asıl nokta şu ki bu konuda fazlasıyla başarılı olduğunu düşün ve bu tür bireylerin sayısını yarıya düşürdüğünü. Ve eğer bunu ikna yoluyla yapmak istiyorsan insanları ikna etme uğraşında diğer tüm güçlerle rekabet hâlindesin, partiler, din, eğitim sistemi. Ama yarıya kadar düşürdüğünü varsay, yine de riskin yarıya kadar düşeceğini düşünmüyorum. Belki yüzde 10 ya da 5 düşebilir. CA: İnsanlığın geleceğini tepki iki üzerine riske atmamızı önermiyorsun. NB: Bence insanları vazgeçirmeye ve ikna etmeye çalışmakta sıkıntı yok ama tek korumamız olarak buna sırt yaslamamalıyız. CA: Peki ya üç? NB: Bence olası zayıflıkların tüm spektrumuna karşı dünyayı stabilize edebilmek için kullanabileceğimiz iki genel metot var. Ve muhtemelen ikisine de ihtiyaç duyardık. Biri, önleyici politikalar yapmanın oldukça etkili bir yetisi. Müdahele edebilmek için. Eğer biri tehlikeli bir şey yapmaya başlamışsa, gerçek zamanlı olarak onları engelleyip durdurabilirsin. Bu eş zamanlı gözetim gerektirirdi, herkes, sürekli olarak izleniyor olurdu. CA: Bu özünde bir tür "Azınlık Raporu." NB: Yapay zekâ algoritmaların olabilir, bunu inceleyen büyük özgürlük merkezleri gibi. CA: Şu an bu kitle gözetimi pek sevilen bir terim değil biliyor musun? (Kahkahalar) NB: Evet, şuradaki küçük cihaz, farklı yönlü bir sürü kameralı, sürekli takmak zorunda olduğun o tarz bir kolyeyi hayal et. Ama daha trajikomik hâle getirmek için ona "özgürlük etiketi" ya da o tarz bir şey diyelim. (Kahkahalar) CA: Tamam. Yani, bu bir sohbet, arkadaşlar, bu denli akıllara durgunluk veren bir sohbet olmasının sebebi işte bu. NB: Aslında, sadece bunun üzerine kurulabilecek büyük bir sohbet olur. Bununla ilgili büyük problemler ve riskler var, değil mi? Buna geri döneriz. Ve diğeri, sonuncusu, diğer genel dengeleme yetimiz bir tür başka yönetişim boşluğu kapatmak. Gözetim mikro düzeyde yönetişim boşluğu olurdu, birilerini yasa dışı şeyler yapmaktan alıkoymak gibi. Böylece, makro düzeyde küresel boyutta uyumlu bir yönetim boşluğu olur. En kötü türde küresel koordinasyon hatalarını engellemek için bu yeteneğe ihtiyaç duyardık, büyük güçler arası savaşları, silah yarışlarını, kataklizmik doğal kaynak sorunları için. tüm bu Tip 2a zayıflıklarıyla başa çıkabilmek için. CA: Küresel yönetişim, şu anda kesinlikle demode olan bir terim, ama konuyu tarih boyunca, insan tarihi boyunca işleyemez misin? Teknolojik güç artışının her aşamasında insanlar gücü yeniden düzenledi ve bir bakıma merkezleştirdiler. Yani mesela bir grup başıboş suçlu, toplumu ele geçirdiğinde yanıt; peki, bir ulus devletin var ve gücü merkezleştirdin, polisi ya da bir ordu, yani "Hayır, bunu yapamazsın" olurdu. İnsanlığı ele geçirebilecek bir insan ya da belki bir grup mantığı da bir noktada bu yönden gitmemiz gerekecek anlamına gelmez mi? NB: İnsanlık tarihinin yolu boyunca politik organizasyon ölçeğinin yükseldiği kesinlikle doğru. Eskiden avcı-toplayıcı grup vardı ve sonra şerifler, şehir devletleri, uluslar, şimdi uluslararası organizasyonlar var ve buna benzer şeyler. Ben yine şunu vurgulamak istiyorum; hem kitlesel gözetim hem de küresel yönetişime dair dev dezavantajar ve de çok büyük riskler var. Şunu vurgulamak istiyorum ki eğer şanslıysak dünya öyle bir durumda olabilir ki bir siyah toptan kurtulmanın tek yolu bunlar olur. CA: Anladığım kadarıyla bu teorinin mantığı hepsine sahip olamayacağımızı anlamamız gerektiği. Bu bir bakıma, teknolojinin her zaman iyiye kullanılacağına dair hepimizin kurduğu saf bir hayal diyebilirim, devam et, durma, gidebildiğin kadar hızlı git ve bazı sonuçlara çok takılma ki bu aslında bir seçenek sayılmaz. Buna sahip olabiliriz. Buna sahip olursak bununla beraber diğer rahatsız edici şeyleri de kabullenmek zorunda kalırız ve bir bakıma kendimizle bir silahlanma yarışı içinde oluruz, güç istiyorsan onu sınırlaman lazım, nasıl sınırlandıracağını çözsen iyi edersin. NB: Bence bu bir seçenek, oldukça cazip bir seçenek, bi bakıma en kolay seçenek ve işe yarayabilir ama bu, özünde bir siyah top çekmeye eğimli olmamız anlamına gelir. Bence biraz koordinasyonla mesela, bu makro ve mikro yönetişim sorununu çözersen vazodaki bütün topları çıkarırdık ve bundan oldukça yararlanırdık. CA: Bir simülasyonda yaşıyorsak bile bu fark eder mi? Sadece yeniden başlatırız. (Kahkahalar) NB: O zaman... ben... (Kahkahalar) Bunu kestiremedim. CA: Peki senin görüşün ne? Bütün parçaları birleştirdiğinde işimizin bitik olduğu ne kadar olası? (Kahkahalar) Bu soruyu sorduğumda insanların gülmesine bayılıyorum. NB: Bir birey düzeyinde, zaten bir tür mahkumuz, sadece zaman çizgisiyle, çürüyor, yaşlanıyor ve bu tür diğer şeyleri yaşıyoruz değil mi? (Kahkahalar) Bu aslında biraz yanıltıcı. Bir ihtimal yakalamak için tuzak kurmak istiyorsan ilk olarak, biz kimiz? Eğer çok yaşlıysan, muhtemelen doğal sebeplerle öleceksin, eğer çok gençsen önünde 100 yılın olabilir -- ihtimali kime sorduğuna göre değişebilir. Sonrasında eşik, mesela, ne medeniyet yıkımı olarak sayılır? Yazıda, bunun sayılması için bir varoluş yıkımına ihtiyacım olmadı. Bu sadece tanımsal bir mesele, ben bir milyar ölü derim ya da dünya GSYİH'sinde yüzde 50 bir azalma ama senin eşiğe ne anlam yüklediğine bağlı, sen farklı bir olası tahmin yürütürsün. Ama sanırım beni korkmuş bir iyimser olarak yazardın. (Kahkahalar) CA: Sen korkmuş bir iyimsersin ve bence büyük sayıda başka korkmuş insan yarattın. (Kahkahalar) NB: Simülasyonda. CA: Simülasyonda. Nick Bostrom, zihnine hayranım. bize korku saldığın için çok teşekkürler. (Alkışlar)