چگونه یک تمدن می تواند خود را نابود کند -- و چهار راه برای جلوگیری از آن

بشریت در مسیر خود برای خلق یک «توپ سیاه» است: پیشرفتی در فناوری که می تواند همه ما را نابود کند، این گفته دانشمند و فیلسوف نیک بوستروم است. در این مکالمه صریح و بی تعارف با سرپرست تد کریس اندرسن، بوستروم به نقاط ضعفی اشاره می کند که می توانیم با آن مواجه شویم اگر ( و چه وقتی؟) کنترل نوآوری ها از دستمان در برود و بررسی می کند که چطور می توانیم از نابودی آتی خود جلوگیری کنیم.

کریس اندرسن: نیک بوستروم.

خوب، تو تا الان نظرات عجیب
و غریب زیادی داشته ای.

فکر کنم چند دهه قبل است،

پیشنهاد دادی که ممکن است همه ما
در یک شبیه سازی زندگی کنیم،

یا شاید می کردیم.

این اواخر،

مثال های کاملا زنده ای ترسیم کردی
از اینکه چطور هوش مصنوعی عمومی

می تواند به شکل وحشتناکی اشتباه باشد.

و حالا امسال،

در حال نشرِ

مقاله ای هستی که
فرضیات دنیایِ آسیب پذیر نام دارد.

و کار امروز عصر ما تهیه
یک بروشور راهنما برای آن است.

پس بیا تا انجامش دهیم.

این فرضیات چه هستند؟

نیک بوستروم: سعی می کند تا درباره

نوعی از ویژگی های ساختاری
وضعیت موجود انسان بیاندیشد.

تو از استعاره گلدان خوشت می آید،

پس از آن برای مثال استفاده می کنم.

یک گلدان بزرگ پر از توپ را تصور کن

که نمایشگر نظرات، راهکارها
و فناوری های ممکن است.

می توانی تاریخ خلاقیت انسان را

به شکل بردن دست در گلدان و بیرون
آوردن توپ یکی پس از دیگری تصور کنی،

و تاثیر کلی آن تا حالا
بسیار مفید بوده، درست؟

تا حالا توپ های
سفید خیلی خوبی را درآورده ایم،

انواع توپ های خاکستری،
که چیزهای درهم خوب و بدی هستند.

و تا حالا هیچ توپ سیاهی بیرون نیامده --

فناوری که به شکل دائمی، تمدنی
که پیدایش کند را نابود می کند.

این مقاله سعی دارد تا بررسی کند
که چه چیزی ممکن است یک توپ سیاه باشد.

ک.ا: پس تعریف شما از این توپ

چیزی است که همراهش نابودی حتمی تمدن است.

ن.ب.: مگر آنکه از شرایطی که من اسمش
را نیمه-آشفته گذاشته ام خارج شویم.

اما به شکلی، حتمی است.

ک.ا.: پس شما برای این که
این نظریه قابل را قبول کنید

انواع مثال های مخالف را می آورید

تا نشان دهید تا حالا شانس آورده ایم،

و ممکن بود که توپ مرگ
را بیرون می کشیدیم

بدون آنکه خودمان حتی بفهمیم.

گفته ای نقل شده، چه چیزی گفته شده؟

ن.ب.: خوب، معنی اش نشان دادن

سختی پیش بینی

این است که اکتشافات بنیادی
ما را به کجا خواهند برد.

ما هنوز این توانایی را نداریم.

چون در توپ بیرون آوردن ماهر شده ایم،

اما واقعا توانایی برگرداندن توپ
به گلدان را نداریم، غیر از این است؟

می توانیم اختراع کنیم،
اما نمی توانیم حذف-اختراع کنیم.

پس راهبرد ما، هم این که داریم،

امیدواری به این است
که توپ سیاهی در گلدان نباشد.

ک.ا.: پس وقتی بیرون آمد، بیرون آمده،
و نمی شود برش گرداند،

و فکر می کنی که ما شانس آورده ایم.

برایمان از اینها چند مثال بیاور.

از انواع مختلف آسیب پذیری صحبت کرده ای.

ن.ب : ساده ترین نوع آن برای فهمیدن

فناوری است که به سادگی امکان می دهد

تا مقادیر عظیمی از تخریب ایجاد شود.

زیست شناسی مصنوعی ممکن است
نمونه ای حاصلخیز از این توپ سیاه باشد،

اما خیلی چیزهای ممکن دیگر
هم می توانیم انجام دهیم --

به مهندسی زمین شناسی
توجه کنید که بسیار عالی است، نه؟

می توانیم با گرمایش جهانی مبارزه کنیم،

اما نمی خواهی که خیلی هم ساده باشد،

نباید که هر آدمی و مامان بزرگش مثلا

این قدرت را داشته باشند که آب و هوای زمین
را به شدت تغییر دهند.

یا شاید هم پهپادهای خودکار مرگبار،

تولید انبوه شوند، ربات هایی به اندازه پشه
هجوم ربات های کشنده.

فناوری نانو، هوش مصنوعی عمومی.

ک.ا : در این مقاله عنوان کرده ای

که این تنها از روی شانس است
که وقتی ما کشف کردیم

که فناوری هسته ای می تواند بمب تولید کند،

می توانست اینطور باشد

که بمبی اختراع شود

که منابع آن خیلی ساده تر باشد،
در دسترس همه.

ن.ب: درسته، فکر کنید
به سال های ۱۹۳۰ برگردیم

موقعی که توانستیم برای اولین بار
در فیزیک هسته ای پیشرفت هایی حاصل کنیم،

عده ای از نوابغ فهمیدند که می شود یک
واکنش زنجیره ای هسته ای هم ایجاد کرد

و بعد متوجه شدند
که این می تواند تبدیل به بمب شود.

و بعد ما کمی کار بیشتر کردیم،

و مشخص شد که چیزی
که برای ساختن بمب نیاز داری

اورانیوم بسیار غنی شده یا پلوتونیم است،

که تهیه این مواد بسیار سخت و مشکل است.

به سانتریفیوژ های با سرعت
خیلی بالا نیاز داری،

نیاز به راکتور دارید، مقادیر عظیم انرژی.

اما حالا فرض کنید به جایش

راه ساده ای وجود داشت
تا انرژی اتم را آزاد کنی.

مثا اگر با پختن شن توی دستگاه مایکروویو

یا چیزی شبیه به آن

می توانستی انفجار هسته ای ایجاد کنی.

این را می دانیم که
از لحاظ فیزیکی ممکن نیست.

اما قبل از انجام محاسبات فیزیکی لازم

از کجا می دانستی که نتیجه اش چه می شود؟

ک.ا: اگرچه، نمی شود بحث کرد

که تکامل حیات روی زمین

به طور ضمنی به معنی محیطی ثابت است،

و اگر ایجاد واکنش های
بزرگ هسته ای نسبتا ساده بود،

زمین هیچ وقت ثابت نمی بود،

و ما اصلا اینجا نبودیم.

ن.ب: درسته، مگر آنکه چیزی باشد
که انجام عمدی اش ساده باشد

اما به شکل اتفاقی انجام نشده باشد.

مثل کارهایی که به سادگی انجام می دهیم،

ما می توانیم ده قطعه چیزی
را روی هم بگذاریم،

اما در طبیعت نمی توانی
دسته ای از ۱۰ قطعه روی هم پیدا کنی.

ک.ا: بسیار خوب، پس این احتمالا همانی است

که خیلی از ما بیشتر نگرانش هستیم،

و بله، زیست شناسی مصنوعی
احتمالا سریعترین مسیری است

که پیش بینی می کنیم
که در آینده نزدیک ما را به اینجا بیاورد.

ن.ب: درسته، و توجه کن معنی اش چه بود

اگر، مثلا، هر کسی در آشپزخانه اش
بعد از ظهر کاری می کرد که

می توانست شهری را نابود کند.

قابل تصور نیست که چطور تمدن های
امروزی که ما می شناسیم

می توانستند باقی بمانند.

چون در هر جمعیتی از یک میلیون نفر،

همیشه کسی وجود دارد، که به هر دلیلی،

بخواهد که از نیروی تخریب استفاده کند.

پس اگر آن بازمانده از آخر دنیا

بخواهد که شهری
را نابود کند، یا بدتر از آن،

پس آن شهرها نابود می شوند.

ک.ا: پس این نوع دیگری از آسیب پذیری است.

برایمان توضیح بده.

ن.ب: بله، علاوه بر این نمونه های
کاملا واضح از توپ های سیاه

که می توانند چیزهای زیادی را منفجر کنند،

انواع دیگر از راه ایجاد
مشوق های بد عمل می کنند

تا انسانها کارهای مضری انجام دهند.

اگر اسمش را نوع ۲-الف بگذاریم،

درباره فناوری است که مشوق هایی
برای قدرت های بزرگ ایجاد می کند

که از نیروی عظیم شان
برای تخریب استفاده کنند.

سلاح های هسته ای
خیلی به این نزدیک هستند، نه؟

کاری که ما کردیم، کمی
بیش از ۱۰ تریلیون دلار هزینه کردیم

تا حدود ۷۰،۰۰۰ کلاهک هسته ای بسازیم

و آنها را آماده شلیک قرار دهیم.

و چند باری هم در طول جنگ سرد

تقریبا همدیگر را از بین بردیم.

دلیلش این نبود که خیلی از افراد
فکر می کردند که این کار خیلی خوبی است،

بیایید ۱۰ تریلیون دلار خرج کنیم
تا خودمان را منفجر کنیم،

اما مشوق ها به گونه ای بود
که خودمان را --

می توانست خیلی بدتر باشد.

فرض کنید که یک تهاجم
اولیه بدون مشکل انجام می شد.

بعد ممکن بود وضعیت
خیلی پیچیده ای پیش بیاید،

در شرایط بحران،

تا مانع از پرتاب تمام
موشک های هسته ای بشویم.

اگر مانعی نباشد، چون می ترسی
که طرف دیگر این کار را انجام دهد.

ک.ا: درست، تضمین تخریب متقابل

باعث شد تا دوران جنگ سرد نسبتا ثابت باشد،

بدون آن، شاید حالا الان اینجا نبودیم.

ن.ب: می توانست خیلی نامتعادل تر
از آنچه بود باشد.

و می توانست مشخصات دیگر فناوری هم باشد.

بستن پیمان های تسلیحاتی
می توانست سخت تر باشد،

اگر بجای تسلیحات اتمی

چیزهایی کوچکتر یا نامشخص تر بود.

ک.ا: و مانند مشوق های بد
برای بازیگران قدرت،

می توانی نگران مشوق های بد
برای همه ما باشی، اینجا در نوع ۲-ب.

ن.ب.: درسته، اینجا می شود
مسئله گرمایش جهانی را در نظر گرفت.

راحت طلبی های کوچک زیادی هستند

که باعث می شوند ما کارهایی انجام دهیم

که جداگانه هر کدام
اثر خیلی زیادی ندارند، درست؟

اما اگر میلیاردها نفر انجامش دهند،

اثر تجمیعی آن، مخرب است.

امروزه، گرمایش جهانی می توانست
خیلی از این بدتر باشد.

ما مولفه حساسیت آب و هوا را داریم.

این مولفه ای است که می گوید
چقدر گرمتر می شود

اگر مقدار معینی گاز گلخانه ای منتشر کنی.

اما، فرض کن به شکل دیگری بود

اگر با همان میزان گاز گلخانه ای
که منتشر می کردیم،

بجای افزایش دمای، مثلا،

بین ۳ تا ۴/۵ درجه تا سال ۲۱۰۰،

فرض کنید بین ۱۵ تا ۲۰ درجه می شد.

اینطور، ممکن بود وضعیت
خیلی بدی داشته باشیم.

یا فرض کنید که استفاده از انرژی های
تجدید پذیر خیلی مشکل تر بود.

یا اینکه سوخت های
فسیلی بیشتری در زمین بود.

ک.ا: آیا می شد دلیل آورد که در آن حالت --

اگر کاری که امروز می کنیم

موجب ۱۰ درجه تفاوت در مدت زمانی
که می توانستیم ببینیم می شد،

واقعا بشریت تکانی به خودش
می داد و کاری می کرد.

احمق هستیم. اما شاید نه آنقدر احمق.

شاید هم هستیم.

ن.ب: من اطمینان نمی کردم.

(خنده حضار)

می توانی ویژگی های دیگر را هم تصور کنی.

همین حالا، تغییر به انرژی های
تجدید پذیر کمی مشکل است، درست،

اما شدنی است.

اما اگر خواص فیزیکی کمی متفاوت بود،

ممکن بود این کارها
خیلی پر هزینه تر باشند.

ک.ا: و تو چه نظری داری، نیک؟

فکر می کنی با روی هم گذاشتن این احتمالات،

که با این زمین، بشریتی که ما هستیم

ما دنیایی آسیب پذیر هستیم؟

که یک توپ مرگ در آینده ما وجود دارد؟

ن.ب: پاسخ به آن سخت است.

منظورم اینکه فکر می کنم احتمال زیادی دارد
که توپ های سیاه مختلفی در گلدان باشند،

اینطور به نظر می رسد.

اما ممکن است توپ های طلایی هم باشند

که به ما در برابر توپ های سیاه کمک کنند.

و نمی دانم که ترتیب
بیرون آمدنشان به چه صورت است.

ک.ا: منظورم، یک انتقاد
محتمل فلسفی به این تفکر

این است که به طور ضمنی این دید را
دارد که آینده اساسا تثبیت شده است.

که یا این توپ آنجاست یا نیست.

و به شکلی،

این نگاهی به آینده نیست
که بخواهم باور کنم.

می خواهم باور کنم که آینده قطعی نیست،

که تصمیمات امروز ما معین می کنند

که چه توپی را از گلدان بیرون می آوریم.

ن.ب: منظورم این است،
که اگر همینطور نوآوری را ادامه دهیم،

نهایتا همه توپ ها را بیرون خواهیم آورد.

یعنی، فکر می کنم وجود مقدار کمی
جبرگرایی فناوری

کاملا ممکن است.

شبیه به اینکه، احتمال
کمی دارد که جامعه ای پیدا کنی

که از سنگ چخماق
و هواپیمای جت با هم استفاده کند.

اما اغلب می شود یک فناوری را به عنوان
مجموعه ای از ویژگی ها در نظر گرفت

پس فناوری چیزی است که به ما
امکان انجام کارهای مختلف

و دسترسی به نتایج گوناگون را می دهد.

اینکه چطور از آن استفاده کنیم،
مسلما به انتخاب انسان بستگی دارد.

اما اگر به این سه نوع
آسیب پذیری فکر کنیم،

آنها فرضیات کاملا ضعیفی از انتخاب ما
در چگونه استفاده کردنشان اند.

پس یک آسیب پذیری نوع ۱، مجددا،
این نیروی عظیم مخرب،

این فرض ضعیفی است

که در میان میلیون ها انسان

بعضی ها هستند که بخواهند
از آن برای تخریب استفاده کنند.

ک.ا: برای من، تنها موضوع ناراحت کننده

این است که واقعا ممکن است
ما نگاهی به داخل گلدان بیاندازیم

که موجب شود واقعا
محکوم به بدبختی شویم.

مثلا، اگر به قدرت مضاعف اعتقاد داشته باشی،

که شتاب فناوری ذاتی است،

که ما ابزارهایی می سازیم
که ما را قوی تر می کنند،

پس زمانی به صحنه می آیی

که یک نفر به تنهایی
می تواند حریف همه ما شود،

و بعد انگار که ما شکست خورده ایم.

این موضوعی خیلی نگران کننده نیست؟

ن.ب: آه، بله.

(خنده حضار)

به نظرم --

بله، ما بیشتر و بیشتر قدرت پیدا می کنیم،

و استفاده از آن ساده و ساده تر می شود،

ولی ما می توانیم فناوری هایی
هم بسازیم که به ما در کنترل آن

که چطور مردم از این قدرت ها
استفاده کنند کمک کند.

ک.ا: بگذار در موردش صحبت کنیم،
در مورد پاسخ به آن صحبت کنیم.

فرض کن در نظر گرفتن همه حالت های ممکن

که حالا آنجا است --

تنها زیست شناسی مصنوعی نیست،
چیزهایی مثل نبرد سایبری،

هوش مصنوعی، غیره و غیره. --

آن چیزها احتمالا
آینده ما را محکوم می کنند.

پاسخ های ممکن چه هستند؟

تو درباره چهار پاسخ ممکن صحبت کرده ای.

ن.ب: محدود کردن توسعه فناوری
به نظر امیدوار کننده نمی رسد،

اگر منظورمان یک توقف عمومی
در پیشرفت فناوری است.

فکر نمی کنم هیچ کدام شدنی باشند،

هیچ کدام خواسته ما نیستند
حتی اگر بتوانیم انجامشان دهیم.

به نظرم ممکن است در موضوعات محدودی

بخواهی که توسعه فناوری کندتر باشد.

فکر نکنم، توسعه سریعتر
تسلیحات زیستی را بخواهی،

یا فرضا، جداسازی ایزوتوپ ها،

که تولید تسلیحات هسته ای
را ساده تر می کند.

ک.ا: به نظرم، معمولا
کاملا با آن همراه بودم.

اما حالا واقعا می خواهم
دقیقه ای آن را کنار بگذارم.

تنها به دلیل، اول از همه،

اگر به تاریخ چند دهه اخیر نگاه کنی،

می بینی، که همیشه تخت گاز
فشار به جلو با حداکثر سرعت بوده،

اشکالی ندارد، این تنها انتخاب ماست.

اما اگر به جهانی شدن
و شتاب سریع آن فکر کنی،

اگر به راهبرد «تجربه
مادر علم است» توجه کنی

و نتایجش را بررسی کنی،

و بعد به توانایی ذاتی
زیست شناسی مصنوعی توجه کنی،

مطمئن نیستم که باید سریع حرکت کنیم

یا بدون هر گونه محدودیت

به سمت جهانی که می توانی یک
چاپگر دی ان ای در هر خانه

یا آزمایشگاه دبیرستان داشته باشی.

محدودیت هایی وجود دارند، بله؟

ن.ب: احتمالا وجود دارند، در بخش اول،
در امکان پذیر نبودن.

اگر توقف اش را بخواهی،

مشکل انجام شدنی بودن آن است.

پس واقعا فایده ای ندارد
اگر نوعی از یک کشور --

ک.ا: فایده ای ندارد
اگر یک کشور انجامش دهد،

ولی ما قبلا معاهده هایی داشته ایم.

روشی که واقعا
از خطر هسته ای عبور کرده ایم،

با حرکت به سمتش بوده

و عبور از مسیر دردناک مذاکرات.

تعجب می کنم که آیا منطقی نیست
اگر به عنوان اولویتی جهانی،

بخواهیم تلاش کنیم،

مثلا، همین حالا مذاکره
برای قوانینی خیلی محکم را شروع کنیم

که تحقیقات زیست شناسی
مصنوعی تا کجا ادامه یابد،

که این چیزی نیست که بخواهید
به دست همه بدهید، نه؟

ن.ب: من کاملا موافقم که --

که این را می خواهیم، برای مثال،

شاید داشتن دستگاه های ترکیب دی ان ای،

وسیله ای نباشد که هر آزمایشگاه
دستگاهش را داشته باشد،

شاید خدمات آن داشته باشد.

شاید مثلا چهار یا پنج محل در جهان باشند

که شما الگوی دیجیتال خود را می فرستید
و دی ان ای برایتان بر می گردد، درست؟

و حالا این توانایی را دارید،

که اگر روزی واقعا به نظر لازم رسید،

محل های مشخصی برای خفه کردن داریم.

پس به نظرم به دنبال
نوعی موقعیت خاص هستی،

که بتوانی کنترلی محکمتر داشته باشی.

ک.ا: به باور شما، اساسا،

ما با عقب نگاه داشتن
موفقیتی بدست نمی آوریم.

کسی، جایی --
کره شمالی، می دانی --

کسی به آنجا می رسد و دانش را بدست می آورد،

اگر آنجا باشد.

ن.ب: در شرایط موجود قابل قبول است.

تنها زیست شناسی مصنوعی هم نیست.

به نظرم هر نوعی از تغییرات
جدید و عمیق در جهان

می تواند تبدیل به یک توپ سیاه شود.

ک.ا: بیا تا به شکل دیگری
از پاسخ نگاه کنیم.

ن.ب: این هم، به نظرم،
تنها توانایی محدودی دارد.

برای آسیب پذیری نوع ۱،

منظورم اینکه اگر بتوانی
تعداد کسانی را کاهش دهی که انگیزه

نابودی جهان را دارند،

اگر تنها آنها به امکانات
و روش ها دسترسی داشته باشند ،

چیز خوبی است.

ک.ا: در این تصویری
که از ما می خواهی انجام دهیم

به نظرت این پهپاد هایی
که دور دنیا پرواز می کنند

با توانایی تشخیص چهره.

اگر کسی را پیدا کردند
که رفتارهای جامعه ستیزانه دارد،

باید با عشق نثارشان کرد، درمانشان کرد.

ن.ب: فکر می کنم این مثل
تصویری ترکیبی است.

حذف یا معنی، حبس و کشتن می دهد،

یا می تواند تشویق کردن
به نگاه بهتری از جهان باشد.

اما نکته اینجاست،

فرض کنید که بی نهایت در این موفق باشید،

و تعداد چنین افرادی را نصف کنید.

و اگر بخواهید با تشویق
این کار را انجام دهید،

مجبور به رقابت با همه انواع
نیروهای قدرتمند دیگر می شوید

که مردم را تشویق،

به صف بندی، دین،
سیستم های آموزشی می کنند.

اما فرض کنید بتوانید نصفش کنید،

فکر نمی کنم که خطر آن به نصف کاهش یابد.

شاید پنج یا ۱۰ درصد.

ک.ا: توصیه نمی کنی که ما آینده بشریت
را روی پاسخ دوم شرط بندی کنیم.

ن.ب: به نظرم این کار خوبی است
که برای تشویق و تغییر افراد تلاش کنیم،

اما نباید آن را به عنوان
تنها راه حفاظت بدانیم.

ک.ا: سومی چطور؟

ن.ب: به نظر من دو روش عمومی وجود دارد

که برای رسیدن به توانایی تثبیت جهان

در برابر طیف کاملی از نقاط ضعف
احتمالی قابل استفاده هستند.

که احتمالا به هر دو نیازمندیم.

یکی، توانایی است بی نهایت موثر

در ایجاد نظم پیشگیرانه.

به گونه ای که بتوانی رهگیری کنی.

هرکسی را که خواست از این کارهای
خطرناک انجام دهد،

بتوانی در لحظه پیدایشان کنی،
و جلویشان را بگیری.

و این نیازمند نظارت فراگیر در همه جاست،

همه باید همیشه تحت نظر باشند.

ک.ا: این مثل فیلم «گزارش اقلیت» است،
اساسا، به شکلی.

ن.ب: شاید الگوریتم های
هوش مصنوعی داشته باشی،

مراکز بزرگ آزادی خواهی
که این را بررسی می کنند، غیره و غیره.

ک.ا: می دانی که نظارت انبوه عمومی
این روزها موضوع خیلی محبوبی نیست؟

(خنده حضار)

ن.ب: بله، این وسیله کوچک اینجا،

فرض کن این نوع از گردنبند
که باید همیشه ببندی

با دوربین های تمام جهت.

اما، برای اینکه بهتر جا بیفتد،

اسمش را بگذار «پلاک آزادی»
یا چیزی مشابه آن.

(خنده حضار)

ک.ا: قبول.

دوستان، این همان صحبتی است که باید باشد،

به این دلیل است که چرا این صحبت
دیوانه کننده است.

ن.ب: واقعا، بحث های زیادی است

تنها در این مورد، مشخص است.

مشکلات و مخاطراتی عظیم
همراهش است، درسته؟

شاید به آن برگردیم.

آن بعدی، آخری،

توانایی ایجاد ثبات عمومی

به نوعی اتصال یک شکاف
مدیریتی دیگر است.

پس این نظارت نوعی
از مدیریت شکاف مدیریتی در سطح-خرد است.

مثل، جلوگیری از از اینکه کسی
هیچوقت خطای خیلی بزرگی نکند.

سپس، یک شکاف مدیریتی مشابه هم هست

در سطح-کلان، سطحی جهانی.

تو به توانایی و مطمئن بودن نیاز داری،

تا مانع از بدترین نوع
عدم هماهنگی جهانی شوی،

مانع از جنگ میان قدرت های بزرگ،

مسابقات تسلیحاتی،

مشکلات فاجعه آمیز مشترک،

تا بتوانی با آسیب پذیری های
نوع ۲-الف مواجه شوی.

ک.ا: مدیریت جهان عبارتی است

که امروزه خیلی از مد افتاده،

اما آیا می توانی اینطور
نتیجه بگیری که در طول تاریخ،

تارخ بشریت،

در هر مرحله از افزایش قدرت فناوری،

انسان با سازماندهی دوباره،
قدرت را مرکزی کرده.

برای مثال، وقتی که یک گروه جانی

می توانند جامعه ای را در اختیار بگیرند،

پاسخ این بود که شما یک کشور-ملت هستید

و تو نیرو را مرکزی مردی،
مثل نیروی پلیس یا ارتش،

پس، «نه نمی شود این کار را کرد.»

شاید، منطقِ داشتن یک شخص یا گروه

که بتواند بشریت را رها کند

به معنی این است که زمانی
باید وارد این مسیر شویم،

حداقل به شکلی، نه؟

ن.ب: مسلما درست است
که اندازه سازمان های سیاسی افزایش یافته

که در طول تاریخ بشر.

معمولا شکارچی-گردآور بوده است، درست،

و بعد رئیس قبیله، دولت-شهر، ملت،

و حالا سازمان های بین المللی
و به همین شکل و صورت.

حالا، می خواستم تا مطمئن شوم

که این موقعیت را داشته ام که تاکید کنم

مشخصا ضررهایی عظیم

و حقیقتا، خطراتی سنگین وجود دارند،

هم در نظارت سنگین عمومی
و هم در مدیریت جهانی.

اشاره من تنها این است
که ما خوش شانسیم،

جهان می توانست چنان باشد
که اینها تنها راه های

بقا بعد از یک توپ سیاه باشند.

ک.ا: منطق این نظریه،

به نظر من،

این است که باید تشخیص دهیم
که نمی شود همه چیز را با هم داشت.

که نوعی از،

رویای ساده لوحانه که خیلی از ما داشته ایم

که فناوری همیشه یک نیروی خوبی خواهد بود،

ادامه بده، توقف نکن،
تا می توانی تند برو

و به بعضی از نتایج توجه نکن،

واقعا دیگر امکان پذیر نیست.

می توانیم آن را داشته باشیم.

و اگر داشته باشیم،

باید قبول کنیم

بعضی از چیزهای ناراحت کننده ای
را که همراه آن است،

که نوعی از بودن در آن
مسابقه تسلیحاتی با خودت است

که اگر قدرت می خواهی،
بهتر است محدودش کنی،

بهتر است بفهمی چطور محدودش کنی.

ن.ب: به نظرم این یک انتخاب است،

یک انتخاب خیلی وسوسه کننده،
از این نظر که انتخابی ساده تر است

که ممکن است جواب هم بدهد،

اما معنی اش این است که ما ذاتا
در بیرون آوردن توپ سیاه آسیب پذیریم.

حالا، فکر کنم با کمی هماهنگی،

مثلا، اگر بتوانی مشکل
این مدیریت کلان را حل کنی،

و مدیریت خرد را حل کنی،

می توانی توپ را از گلدان بیرون آوری

و کلی مزیت بدست آورده ایم.

ک.ا: اگر ما در یک شبیه سازی
زندگی می کنیم، این اهمیتی دارد؟

برنامه را دوباره اجرا می کنیم.

( خنده حضار)

ن.ب.: پس ... من ...

(خنده حضار)

حواسم به این یکی نبود.

ک.ا: شما چه نگاهی دارید؟

با کنار هم گذاشتن همه این اجزاء،
احتمال محکوم به شکست بودنمان چقدر است؟

(خنده حضار)

عاشق خنده مردم هستم
وقتی این سوال را می پرسی.

ن.ب: در سطح فردی،

به نظر می رسد که به هر شکل محکوم هستیم،
تنها از دید زمانی،

ما می پوسیم و پیر می شویم
و هه این چیزها، درست؟

(خنده حضار)

واقعا کمی پیچیده است.

اگر بخواهی به شکلی تنظیمش کنی که،
بتوانی احتمالی هم به آن بدهی،

اول، ما که هستیم؟

اگر خیلی پیر هستید،
احتمالا به دلایل طبیعی خواهید مرد،

اگر جوان هستید،
احتمالا به ۱۰۰ سالگی برسید --

احتمال آن بستگی دارد از که بپرسید.

بعد آن آستانه، یعنی، چه چیزی
را نابودی تمدن می دانیم؟

در این مقاله، من نیازی
به یک فاجعه نابود کننده هستی

برای به حساب آوردن نداشته ام.

این تنها یک تعریف است.

فرض کنید یک میلیارد کشته،

یا کاهش ۵۰ درصدی تولید ناخالص ملی جهان،

اما با توجه به آستانه ای
که شما تعریف می کنید،

تخمین متفاوتی از احتمال بدست می آورید.

اما فکر کنم شما بهتر است من را
به عنوان یک خوشبین ترسو کنار بگذارید.

(خنده حضار)

ک.ا: تو یک خوشبین ترسو هستی،

که فکر کنم همین حالا کلی
ترسوی دیگر بوجود آوردی ....

آدمهای.

(خنده حضار)

ن.ب.: در شبیه سازی.

ک.ا: در شبیه سازی.

نیک بوستروم، ذهن تو مرا شگفت زده می کند،

خیلی متشکرم از اینکه
حالا ما را از روز روشن هم ترسانده ای.

(تشویق حضار)