WEBVTT

00:00:01.000 --> 00:00:02.809
كريس أندرسون: نيك بوستروم.

00:00:02.833 --> 00:00:06.809
إذاً، لقد أعطيتنا الكثير 
من الأفكار المجنونة من قبل.

00:00:06.833 --> 00:00:08.559
أعتقد أنه منذ عقدين،

00:00:08.583 --> 00:00:11.518
وضعت فكرة أننا ربّما نعيش في محاكاة،

00:00:11.542 --> 00:00:13.351
أو ربّما من المحتمل كنا نعيش فيها.

00:00:13.375 --> 00:00:14.726
في الآونة الأخيرة،

00:00:14.750 --> 00:00:19.351
وضعت مثالاً حياً لكيفية 
كون الذكاء الاصطناعي العام

00:00:19.375 --> 00:00:21.208
يمكنه أن يكون خطأً رهيباً.

00:00:21.750 --> 00:00:23.143
والآن في هذه السنة،

00:00:23.167 --> 00:00:25.393
أنت على وشك نشر

00:00:25.417 --> 00:00:29.351
بحث يعرض شيئاً يسمى فرضيات ضعف العالم.

00:00:29.375 --> 00:00:33.958
وعملنا في هذه الأمسية هو توضيح ذلك.

00:00:34.417 --> 00:00:36.250
لنفعلها.

00:00:36.833 --> 00:00:38.625
ما هي هذه الفرضيات؟

NOTE Paragraph

00:00:40.000 --> 00:00:42.434
نيك بوستروم: إنها محاولة التفكير

00:00:42.458 --> 00:00:45.542
في بناء خصائص لشروط الإنسان المعاصر.

00:00:47.125 --> 00:00:49.476
إذا أردت التعبير المجازي،

00:00:49.500 --> 00:00:51.393
سأستعمل هذا المجاز لأشرح.

00:00:51.417 --> 00:00:55.768
تصوّر جرّة كبيرة مملوءة بالكرات

00:00:55.792 --> 00:00:59.750
تعرض أفكاراً وأساليب وتقنيات ممكنة،

00:01:00.833 --> 00:01:04.559
يمكنك أن تفكر حول
اختراعات الإنسان عبر التاريخ

00:01:04.583 --> 00:01:08.393
كعملية وصول إلى هذه الجرّة 
وإخراج كرة بعد الأخرى،

00:01:08.417 --> 00:01:11.643
والنتيجة حتى الآن كانت مفيدة،
أليس كذلك؟

00:01:11.667 --> 00:01:14.393
لقد استخرجنا الكثير من الكرات البيضاء،

00:01:14.417 --> 00:01:17.292
وبعض الكرات المصبوغة بالرمادي،
مختلفة التأثير.

00:01:18.042 --> 00:01:21.000
حتى الآن لم نخرج الكرة السوداء...

00:01:22.292 --> 00:01:27.768
التكنولوجيا التي تدمّر بثبات 
الحضارة التي صنعتها.

00:01:27.792 --> 00:01:31.059
يحاول البحث التفكير حول
ماهية هذه الكرات السوداء.

NOTE Paragraph

00:01:31.083 --> 00:01:32.893
كريس أندرسون: إذن عرّفت هذه الكرات

00:01:32.917 --> 00:01:36.601
كواحدة ممّا لا يمكن 
تجنّبه في تدمير الحضارة.

NOTE Paragraph

00:01:36.625 --> 00:01:41.934
نيك بوستروم: إلا إذا أخرجنا ما أسميه
الشرط الافتراضي الشبه فوضوي.

00:01:41.958 --> 00:01:43.458
لكنه نوعاً ما افتراضي.

NOTE Paragraph

00:01:44.333 --> 00:01:47.851
كريس أندرسون: إذن جعلت القضية مقنعة

00:01:47.875 --> 00:01:49.893
بعرض بعض الأمثلة المخالفة

00:01:49.917 --> 00:01:52.851
حيث ترى أننا إلى الآن محظوظون،

00:01:52.875 --> 00:01:55.726
في كوننا ربّما نسحب كرة الموت

00:01:55.750 --> 00:01:57.309
ونحن حتى لا نعرفها.

00:01:57.333 --> 00:01:59.625
إذن، هذا المثل، ماذا يعنيه؟

NOTE Paragraph

00:02:00.625 --> 00:02:03.309
نيك بوستروم: أظن أنه يعني توضيح

00:02:03.333 --> 00:02:05.434
صعوبة بعد النظر

00:02:05.458 --> 00:02:08.143
حول ما تقودنا إليه الاكتشافات الأساسية.

00:02:08.167 --> 00:02:11.226
نحن فقط لا نملك هذه الإمكانية.

00:02:11.250 --> 00:02:14.601
لأننا أصبحنا جيدين في استخراج الكرات،

00:02:14.625 --> 00:02:18.351
لكننا لا نملك القدرة
على إرجاع الكرات إلى الجرّة.

00:02:18.375 --> 00:02:20.542
يمكننا أن تخترع، لكن لا يمكننا ألا نخترع.

00:02:21.583 --> 00:02:24.351
إذاً، استراتيجيتنا، وكأنها،

00:02:24.375 --> 00:02:26.809
الأمل في عدم إخراج كرة سوداء من الجرّة.

NOTE Paragraph

00:02:26.833 --> 00:02:30.893
كريس أندرسون: بمجرّد أن تخرج، فقد خرجت،
لا يمكنك إرجاعها،

00:02:30.917 --> 00:02:32.434
أنت تعتقد أننا كنا محظوظين.

00:02:32.458 --> 00:02:34.684
إذن حدثنا عن بعض الأمثلة.

00:02:34.708 --> 00:02:37.809
الأمثلة المختلفة عن نقاط الضعف.

NOTE Paragraph

00:02:37.833 --> 00:02:40.268
نيك بوستروم: أسهل طريقة للفهم

00:02:40.292 --> 00:02:43.434
أن التكنولوجيا تجعل من السهولة بمكان

00:02:43.458 --> 00:02:45.583
التسبب في كم هائل من التدمير.

00:02:47.375 --> 00:02:50.893
البيولوجيا الاصطناعية من المحتمل أنها
مورد خصب لهذه الكرات السوداء،

00:02:50.917 --> 00:02:53.601
لكن الكثير من الأشياء الأخرى،

00:02:53.625 --> 00:02:56.143
فكر مثلاً في الهندسة الجيولوجية،
رائعة، صحيح؟

00:02:56.167 --> 00:02:58.393
يمكننا مكافحة الاحتباس الحراري،

00:02:58.417 --> 00:03:00.559
لكنك لا تريدها أن تكون في متناول الجميع،

00:03:00.583 --> 00:03:03.059
أنت لا تريد لأي شخص مع جدته

00:03:03.083 --> 00:03:06.143
أن يكون لديه القدرة للرفع من حرارة الأرض.

00:03:06.167 --> 00:03:09.726
أو ربما طائرات بدون طيار قاتلة،

00:03:09.750 --> 00:03:13.083
أو إنتاج هائل للروبوتات 
القاتلة بحجم البعوضة.

00:03:14.500 --> 00:03:17.226
النانوتكنولوجي، الذكاء الاصطناعي العام.

NOTE Paragraph

00:03:17.250 --> 00:03:18.559
كريس أندرسون: جادلت في بحثك

00:03:18.583 --> 00:03:21.476
أنها مسألة حظ عندما اكتشفنا

00:03:21.500 --> 00:03:24.934
أن الطاقة الذرية يمكن أن تصنع القنبلة،

00:03:24.958 --> 00:03:26.351
إذا كان هذا هو الحال

00:03:26.375 --> 00:03:28.226
فمن الممكن أن تصنع قنبلة

00:03:28.250 --> 00:03:31.809
بموارد أسهل بكثير ومتاحة للجميع.

NOTE Paragraph

00:03:31.833 --> 00:03:35.393
نيك بوستروم: بالرجوع لسنة 1930

00:03:35.417 --> 00:03:40.018
عندما حققنا لأول مرّة بعض
الانجازات في مجال الفيزياء النووية،

00:03:40.042 --> 00:03:43.726
اكتشف بعض العباقرة أنه من الممكن 
إنشاء مجموعة من التفاعلات الذرية

00:03:43.750 --> 00:03:46.934
تقودنا نحو القنبلة.

00:03:46.958 --> 00:03:48.851
وأنجزنا بعض العمل،

00:03:48.875 --> 00:03:51.601
اتّضح أن صناعة القنبلة الذرية يتطلب

00:03:51.625 --> 00:03:54.018
يورانيوم والبلاتينيوم عالي التخصيب،

00:03:54.042 --> 00:03:56.059
وهي مواد من الصعب جداً الحصول عليها.

00:03:56.083 --> 00:03:58.351
أنت بحاجة لأجهزة طرد مركزي،

00:03:58.375 --> 00:04:02.143
تحتاج مفاعلات،
كميات هائلة من الطاقة.

00:04:02.167 --> 00:04:03.976
لكن لنفرض أنه تبين بدلاً من ذلك

00:04:04.000 --> 00:04:07.976
أن ثمة طريقة سهلة للحصول على طاقة الذرة.

00:04:08.000 --> 00:04:10.768
ربما مثل تحميص الرمل في أفران الميكروويف

00:04:10.792 --> 00:04:12.059
أو شيء من هذا القبيل

00:04:12.083 --> 00:04:14.184
يمكنك خلق تفجير نووي.

00:04:14.208 --> 00:04:16.351
فنحن نعلم أن هذا مستحيل فيزيائياً.

00:04:16.375 --> 00:04:18.268
لكن قبل إنشائك للمتعلقات الفيزيائية

00:04:18.292 --> 00:04:20.483
كيف يتضح لك ذلك؟

NOTE Paragraph

00:04:20.483 --> 00:04:22.393
كريس أندرسون: رغم أنك لم تتمكن من النقاش

00:04:22.393 --> 00:04:24.018
أن تطور الحياة على الأرض

00:04:24.042 --> 00:04:27.309
يطبق نوعاً من بيئة مستقرة،

00:04:27.333 --> 00:04:31.518
بحيث إذا حدثت تفاعلات نووية كبيرة
من المحتمل أنه من السهل،

00:04:31.542 --> 00:04:33.400
أن تصبح الأرض غير مستقرة،

00:04:33.424 --> 00:04:34.976
حيث أننا لن نكون هنا أبداً.

NOTE Paragraph

00:04:35.000 --> 00:04:38.393
نيك بوستروم: نعم، إلا إذا كان هناك
شيئاً يسهل هذا الهدف

00:04:38.417 --> 00:04:41.268
لكن هذا لن يحصل عشوائياً.

00:04:41.292 --> 00:04:42.871
مثل الأشياء السهلة،

00:04:42.896 --> 00:04:45.006
يمكنك أن تكدس عشرة طوابق فوق بعضها،

00:04:45.031 --> 00:04:48.228
لكن في الطبيعة لا يمكن أن تجد عشرة طوابق 
فوق بعضها.

NOTE Paragraph

00:04:48.253 --> 00:04:49.926
كريس أندرسون: من المحتمل أن هذا

00:04:49.950 --> 00:04:51.893
ما يخشاه الكثير منا،

00:04:51.917 --> 00:04:55.434
ونعم، علم الأحياء الاصطناعية
من المحتمل أنه أسرع طريق

00:04:55.458 --> 00:04:58.476
يمكننا التنبؤ به في المستقبل القريب.

NOTE Paragraph

00:04:58.500 --> 00:05:01.434
نيك بوستروم: فكر في ما الذي يعنيه هذا

00:05:01.458 --> 00:05:05.101
إذا قلنا، أن أي شخص يعمل بمطبخه في المساء

00:05:05.125 --> 00:05:06.518
يمكنه تدمير مدينة.

00:05:06.542 --> 00:05:10.101
من الصعب تصور الحضارة المعاصرة كما نعرفها

00:05:10.125 --> 00:05:11.559
أن تتمكن من النجاة من هذا.

00:05:11.583 --> 00:05:14.101
لأنه في أي مجتمع من مليون شخص،

00:05:14.125 --> 00:05:16.809
سيختار دائماً البعض لأي سبب

00:05:16.833 --> 00:05:18.917
أن يستعمل هذه القوة المدمرة.

00:05:19.750 --> 00:05:22.893
إذا اختار هؤلاء المروعون

00:05:22.917 --> 00:05:24.893
تدمير المدينة أو أسوأ،

00:05:24.917 --> 00:05:26.476
ستتدمر عندها المدن.

NOTE Paragraph

00:05:26.500 --> 00:05:28.851
كريس أندرسون: هذا نوع آخر من نقاط الضعف.

00:05:28.875 --> 00:05:30.518
كلمنا عنه.

NOTE Paragraph

00:05:30.542 --> 00:05:34.518
نيك بوستروم: بالإضافة إلى هذه 
الأنواع الواضحة من الكرات السوداء

00:05:34.542 --> 00:05:37.352
التي يمكنها أن تدمر الكثير من الأشياء،

00:05:37.376 --> 00:05:41.809
تقوم أنواع أخرى بإنشاء محفزات سيئة

00:05:41.833 --> 00:05:44.059
للبشر من أجل فعل أشياء ضارة.

00:05:44.083 --> 00:05:48.184
نوع-2a، يمكننا أن نسميه هكذا،

00:05:48.208 --> 00:05:52.726
وهو التفكير في بعض التكنولوجيا
التي تحفز القوى الكبرى

00:05:52.750 --> 00:05:57.226
لاستعمال كميتها الهائلة
من القوة لإنشاء التدمير.

00:05:57.250 --> 00:06:00.083
لذا الأسلحة النووية في الحقيقة 
جد قريبة من هذا، أليس كذلك؟

00:06:02.083 --> 00:06:05.143
ماذا فعلناه، أنفقنا 10 ترليون دولار

00:06:05.167 --> 00:06:07.684
لبناء 70.000 رأس نووي

00:06:07.708 --> 00:06:10.143
ووضعناها في حالة تأهب.

00:06:10.167 --> 00:06:12.434
وهناك حالات كثيرة في الحرب الباردة

00:06:12.458 --> 00:06:13.893
كدنا أن نفجر بعضنا.

00:06:13.917 --> 00:06:17.018
إنها ليست فكرة الكثير من الناس
أنهم شعروا بأنها فكرة جيدة،

00:06:17.042 --> 00:06:19.726
لننفق 10 ترليون دولار من أجل تفجير أنفسنا،

00:06:19.750 --> 00:06:22.684
لكن المحفزات أننا وجدنا أنفسنا،

00:06:22.708 --> 00:06:24.018
كان هذا من الممكن أن يسوء.

00:06:24.042 --> 00:06:26.476
تخيل لو كانت هناك ضربة أولى آمنة.

00:06:26.500 --> 00:06:28.809
كان من الممكن أن تكون خادعة.

00:06:28.833 --> 00:06:30.101
في حالة أزمة،

00:06:30.125 --> 00:06:32.602
للامتناع عن إطلاق كل الصواريخ النووية.

00:06:32.626 --> 00:06:35.918
لا شيء آخر سوى الخوف من الجانب الآخر
أن يطلق الصواريخ النووية.

NOTE Paragraph

00:06:35.918 --> 00:06:37.875
كريس أندرسون: حافظ الدمار المؤكد المتبادل

00:06:37.875 --> 00:06:40.601
على توازن الحرب الباردة،

00:06:40.625 --> 00:06:42.559
لولا هذا، ربما لم نكن هنا اليوم.

NOTE Paragraph

00:06:42.559 --> 00:06:45.267
نيك بوستروم: كان من الممكن 
أن يكون غير مستقر أكثر من ذلك.

00:06:45.267 --> 00:06:47.268
ويمكن أن تكون تكنولوجيا أخرى.

00:06:47.292 --> 00:06:49.601
من الممكن أن يكون أصعب من معاهدات التسليح،

00:06:49.625 --> 00:06:51.226
إذا كان البديل عن الأسلحة النووية

00:06:51.250 --> 00:06:54.268
أشياء أصغر أو شيء أقل تميزاً.

NOTE Paragraph

00:06:54.292 --> 00:06:56.851
كريس أندرسون: مثل المحفزات السيئة
للقوى الفاعلة،

00:06:56.875 --> 00:07:00.393
أنت أيضاً قلق من محفزات
سيئة لنا جميعا، نوع 2b هنا.

NOTE Paragraph

00:07:00.417 --> 00:07:04.667
نيك بوستروم: هنا يمكننا أن نأخذ 
حالة الاحتباس الحراري.

00:07:06.958 --> 00:07:08.851
هناك الكثير من الفرص المناسبة

00:07:08.875 --> 00:07:11.059
التي جعلتنا جميعاً نفعل أشياء

00:07:11.083 --> 00:07:13.934
في فرديتها لن يكون لها أي تأثير، صحيح؟

00:07:13.958 --> 00:07:15.934
لكن إذا كان المليارات من الناس يفعلونها،

00:07:15.958 --> 00:07:18.018
تراكمياً، لديها تأثيرات مدمرة.

00:07:18.042 --> 00:07:20.851
الآن، يمكن أن يكون
الاحتباس الحراري أسوأ بكثير.

00:07:20.875 --> 00:07:23.851
لدينا معامل حساسية المناخ، أليس كذلك؟

00:07:23.875 --> 00:07:27.518
هي معامل تخبرنا بحجم الحرارة المرتفعة

00:07:27.542 --> 00:07:30.226
إذا نشرت كمية من غازات الاحتباس الحراري.

00:07:30.250 --> 00:07:32.643
لنفرض أن هذه هي القضية

00:07:32.667 --> 00:07:35.184
أن كمية الغاز المنبعثة التي ننشرها،

00:07:35.208 --> 00:07:37.268
بدلاً من كون الحرارة ترتفع،

00:07:37.292 --> 00:07:41.018
من 3 إلى 4.5 حتى سنة 2100،

00:07:41.042 --> 00:07:43.542
فرضاً كانت بين 15 و20 درجة.

00:07:44.375 --> 00:07:46.934
سنكون في وضع سيىء جداً.

00:07:46.958 --> 00:07:50.101
أو لنفرض أن الطاقات 
المتجددة كانت صعبة الإنجاز.

00:07:50.125 --> 00:07:52.768
أو كان هناك وقود أحفوري أكثر في الأرضية.

NOTE Paragraph

00:07:52.792 --> 00:07:55.434
كريس أندرسون: هل يمكن أن تجادل
إذا كانت القضية

00:07:55.458 --> 00:07:57.184
إذا كان ما نفعله اليوم

00:07:57.208 --> 00:08:01.768
أنتج فرقاً من 10 درجات في حياتنا،

00:08:01.792 --> 00:08:05.476
على البشرية أن تفعل شيئاً حيال ذلك.

00:08:05.500 --> 00:08:08.309
نحن أغبياء لكن ليس إلى هذه الدرجة.

00:08:08.333 --> 00:08:09.601
أو ربما إلى هذه الدرجة.

NOTE Paragraph

00:08:09.625 --> 00:08:11.097
نيك بوستروم: لا أراهن على ذلك.

NOTE Paragraph

00:08:11.097 --> 00:08:13.101
(ضحك)

NOTE Paragraph

00:08:13.125 --> 00:08:14.809
يمكنك أن تتصور ميزات أخرى.

00:08:14.833 --> 00:08:20.351
الآن بالتحديد لا يمكننا التحول 
نحو الطاقات المتجددة،

00:08:20.375 --> 00:08:21.643
لكن يمكن أن نفعلها.

00:08:21.667 --> 00:08:24.643
لكن ربما بفيزياء مختلفة قليلاً،

00:08:24.667 --> 00:08:27.458
يمكن أن يكون فعل هذه الأشياء مكلفاً قليلاً

NOTE Paragraph

00:08:28.375 --> 00:08:29.893
كريس أندرسون: ماذا ترى، نيك؟

00:08:29.917 --> 00:08:32.351
هل تعتقد أن جمع هذه الإمكانيات مع بعض،

00:08:32.375 --> 00:08:36.643
الأرض والإنسانية التي نحن عليها،

00:08:36.667 --> 00:08:38.226
أننا متوجهون نحو عالم ضعيف؟

00:08:38.250 --> 00:08:40.667
أن هناك كرة موت في المستقبل؟

NOTE Paragraph

00:08:43.888 --> 00:08:45.226
نيك بوستروم: من الصعب الحكم.

00:08:45.250 --> 00:08:50.309
أعتقد أن هناك عدة كرات سوداء في الجرة،

00:08:50.333 --> 00:08:51.643
هذا ما تبدو عليه.

00:08:51.667 --> 00:08:54.059
لكن هناك أيضاً كرات ذهبية

00:08:54.083 --> 00:08:57.559
التي يمكن أن تساعدنا 
للحماية ضد الكرات السوداء.

00:08:57.583 --> 00:09:00.559
وأنا لا أعلم بأي نظام تخرج.

NOTE Paragraph

00:09:00.583 --> 00:09:04.434
كريس أندرسون: أريد نقد فلسفي
ممكن لهذه الفكرة

00:09:04.458 --> 00:09:10.101
التي يكمن أن يستقر عليها المستقبل

00:09:10.125 --> 00:09:12.601
سواء كانت هناك كرات أم لا.

00:09:12.625 --> 00:09:15.643
وفي هذا الطريق،

00:09:15.667 --> 00:09:18.268
ليست فكرة عن المستقبل الذي أريد تصديقه.

00:09:18.292 --> 00:09:20.643
أريد التصديق أن المستقبل غير محدد،

00:09:20.667 --> 00:09:22.601
أن قراراتنا اليوم ستحدد

00:09:22.625 --> 00:09:24.833
أي نوع من الكرات يمكننا أن نخرجها.

NOTE Paragraph

00:09:25.917 --> 00:09:29.684
نيك بوستروم: إذا كنا فقط
مستمرون في الاختراع،

00:09:29.708 --> 00:09:32.042
في النهاية سنخرج جميع الكرات.

00:09:32.875 --> 00:09:36.268
أظن أن هناك ضعف في شكل تحديد التكنولوجيا

00:09:36.292 --> 00:09:37.559
معقولة جداً،

00:09:37.583 --> 00:09:40.226
مثلاً، من غير المحتمل أن تلتقي بمجتمع

00:09:40.250 --> 00:09:43.083
يستعمل الفؤوس الحجرية والطائرات الخاصة.

00:09:44.208 --> 00:09:48.268
لكن يمكنك التفكير في التكنولوجيا على أنها
مجموعة من إمكانيات الفعل.

00:09:48.292 --> 00:09:51.309
إذاً التكنولوجيا هي التي تمكننا 
من فعل أشياء مختلفة

00:09:51.333 --> 00:09:53.309
وتحقيق إنجازات هامة في العالم.

00:09:53.333 --> 00:09:56.143
كيف نستعملها، هذا راجع إلى الإنسان.

00:09:56.167 --> 00:09:58.851
لكن إذا فكرنا في هذه 
الأنواع الثلاثة من الضعف،

00:09:58.875 --> 00:10:02.268
ستترك لنا افتراضات ضعيفة 
حول كيفية الاختيار في استعمالها.

00:10:02.292 --> 00:10:05.684
لذا، النوع-1 من الضعف، مرة أخرى،
القوة الهائلة للتدمير،

00:10:05.708 --> 00:10:07.143
افتراض ضعيف إلى حد ما

00:10:07.167 --> 00:10:09.559
أن نفكر في أن ملايين الناس

00:10:09.583 --> 00:10:12.518
قد يكون منهم من يستعمل هذه القوة المدمرة.

NOTE Paragraph

00:10:12.542 --> 00:10:14.976
كريس أندرسون: بالنسبة لي أكبر دليل مزعج

00:10:15.000 --> 00:10:19.559
هو أننا في الحقيقة نملك 
نظرة عما يوجد داخل الجرّة

00:10:19.583 --> 00:10:23.101
تجعلنا في الحقيقة وكأننا
محكوم علينا بالفشل.

00:10:23.125 --> 00:10:27.768
أعني، أنه إذا كنت تصدق بالقوة المتسارعة،

00:10:27.792 --> 00:10:30.059
التي تسير بها التكنولوجيا،

00:10:30.083 --> 00:10:32.518
حيث صنعنا الأدوات التي تجعلنا أكثر قوة،

00:10:32.542 --> 00:10:35.184
عندها تصل إلى مرحلة

00:10:35.208 --> 00:10:38.268
حيث يمكن لشخص واحد أن يدمرنا،

00:10:38.292 --> 00:10:41.143
عندها يبدو أننا في مأزق.

00:10:41.167 --> 00:10:44.101
أليس هذا الدليل يدق ناقوس الخطر؟

NOTE Paragraph

00:10:44.125 --> 00:10:45.875
نيك بوستروم: نعم

NOTE Paragraph

00:10:46.708 --> 00:10:47.976
(ضحك)

NOTE Paragraph

00:10:48.000 --> 00:10:49.333
أظن...

00:10:50.875 --> 00:10:52.476
نعم، أصبحا أكثر قوة،

00:10:52.500 --> 00:10:56.434
ومن السهل استعمال هذه القوة،

00:10:56.458 --> 00:11:00.018
لكن يمكننا أيضاً اختراع تقنيات
تساعدنا في الحفاظ على السيطرة

00:11:00.042 --> 00:11:02.059
في كيفية استعمال الناس لهذه القوة.

NOTE Paragraph

00:11:02.083 --> 00:11:04.934
كريس أندرسون: لنتكلم عن هذا،
عن الاستجابة.

00:11:04.958 --> 00:11:07.268
مفترضين هذا التفكير حول الإمكانيات

00:11:07.292 --> 00:11:09.393
الموجودة هناك الآن

00:11:09.417 --> 00:11:13.143
ليس فقط مشروع سينبابو،
هناك حرب الإنترنت،

00:11:13.167 --> 00:11:16.518
الذكاء الاصطناعي، إلخ، إلخ،

00:11:16.542 --> 00:11:21.059
ربّما هناك خطر حقيقي على مستقبلنا.

00:11:21.083 --> 00:11:22.684
ما هي الاستجابات الممكنة؟

00:11:22.708 --> 00:11:27.601
وأنت تكلمت عن أربع احتمالات ممكنة.

NOTE Paragraph

00:11:27.625 --> 00:11:31.268
نيك بوستروم: لا يبدو تقييد التطور
التكنولوجي واعداً،

00:11:31.292 --> 00:11:34.518
إذا كنا نتحدث عن وقفة 
عامة للتطور التكنولوجي.

00:11:34.542 --> 00:11:35.809
أعتقد أنه ليس ممكناً،

00:11:35.833 --> 00:11:38.143
ولا مرغوباً فيه 
وحتى ولو كنا قادرين على ذلك.

00:11:38.167 --> 00:11:41.184
أظن من الممكن وجود بعض المساحات المحدودة

00:11:41.208 --> 00:11:43.934
حيث يمكنك إبطاء تطور التكنولوجيا.

00:11:43.958 --> 00:11:47.351
أنت لا تريد، تطوراً
سريعاً في الأسلحة البيولوجية،

00:11:47.375 --> 00:11:49.434
أو فصل النظائر،

00:11:49.458 --> 00:11:51.708
التي ستجعل من السهل
إنشاء الأسلحة النووية.

NOTE Paragraph

00:11:52.583 --> 00:11:55.893
كريس أندرسون: أنا متفق تماماً معك في هذا.

00:11:55.917 --> 00:11:59.184
لكن أريد أن ندفع هذا للخلف لدقيقة.

00:11:59.208 --> 00:12:00.518
لأننا، أولاً،

00:12:00.542 --> 00:12:03.226
إذا نظرت إلى تاريخ العقود الأخيرة،

00:12:03.250 --> 00:12:06.809
كان دائماً يدفع إلى الأمام بأقصى سرعة،

00:12:06.833 --> 00:12:08.684
هذا خيارنا الوحيد.

00:12:08.708 --> 00:12:12.976
لكن لو نظرت إلى العولمة
والتسارع حول هذا،

00:12:13.000 --> 00:12:16.434
لو نظرت إلى استراتيجية
"تحرك بسرعة وحطم الأشياء"

00:12:16.458 --> 00:12:18.518
ما الذي حصل لهذا،

00:12:18.542 --> 00:12:21.309
ثم تنظر إلى احتمال 
علم الأحياء الاصطناعية،

00:12:21.333 --> 00:12:25.768
أنا لا أعلم هل يجب
أن نتحرك إلى الأمام بسرعة

00:12:25.792 --> 00:12:27.434
دون أي نوع من التقييد

00:12:27.458 --> 00:12:30.768
في عالم حيث يمكن أن يكون
في كل منزل طابعة حمض نووي

00:12:30.792 --> 00:12:32.125
ومخبر عالي التقنية.

00:12:32.947 --> 00:12:34.875
يجب أن يكون هناك بعض التقييد، أليس كذلك؟

NOTE Paragraph

00:12:34.875 --> 00:12:37.518
نيك بوستروم: محتمل أن هناك الجزء الأول 
وهو غير فعال.

00:12:37.542 --> 00:12:39.726
إذا فكرت أنه سيكون مرغوباً إيقافه،

00:12:39.750 --> 00:12:41.476
هناك مشكلة الجدوى من ذلك.

00:12:41.500 --> 00:12:44.309
لذا لن يساعدنا إذا أمة...

NOTE Paragraph

00:12:44.309 --> 00:12:46.595
كريس أندرسون: لن يساعدنا
إذا فعلتها أمة من الأمم،

00:12:46.595 --> 00:12:49.309
لكن كانت هناك معاهدات من قبل.

00:12:49.333 --> 00:12:52.684
هكذا نجونا من التهديد النووي،

00:12:52.708 --> 00:12:53.976
حيث ذهبنا هناك

00:12:54.000 --> 00:12:56.518
خلال العملية المؤلمة من التفاوض.

00:12:56.542 --> 00:13:01.976
أنا فقط أتساءل، أليس منطقياً لنا،
كقضية عالمية،

00:13:02.000 --> 00:13:03.684
أن نذهب ونحاول،

00:13:03.708 --> 00:13:06.393
مثلاً، نبدأ في المفاوضة حول قواعد واضحة

00:13:06.417 --> 00:13:09.101
لضبط أبحاث البيولوجيا،

00:13:09.125 --> 00:13:11.976
هذا شيء لا تريد أن تعممه على الجميع،
أليس كذلك؟

NOTE Paragraph

00:13:12.000 --> 00:13:13.809
نيك بوستروم: أنا متفق معك تماماً

00:13:13.833 --> 00:13:18.059
في رغبتنا، مثلاً،

00:13:18.083 --> 00:13:21.684
أن تكون آلة تصنيع الحمض النووي،

00:13:21.708 --> 00:13:25.268
ليس شيئا متوفراً لتكون موجودة في كل مخبر،

00:13:25.292 --> 00:13:26.768
لكن ربما كخدمة.

00:13:26.792 --> 00:13:29.309
ربما يكون هناك أربعة
أو خمسة أماكن في العالم

00:13:29.333 --> 00:13:32.851
حيث يمكنك أن ترسل نموذج رقمي
ثم تحصل على الحمض النووي، أليس كذلك؟

00:13:32.875 --> 00:13:34.643
عندها ستكون لك القدرة،

00:13:34.667 --> 00:13:37.059
إذا رأيت في يوم ما أنه من الضروري،

00:13:37.083 --> 00:13:39.434
كنا نفضل، مجموعة محددة من نقاط الاختناق.

00:13:39.458 --> 00:13:42.976
لذا أعتقد أن ما تريده البحث
عن فرص استثنائية،

00:13:43.000 --> 00:13:45.059
حيث يمكنك تشديد الرقابة.

NOTE Paragraph

00:13:45.083 --> 00:13:46.726
كريس أندرسون: تؤمن بشكل أساسي،

00:13:46.750 --> 00:13:49.643
أننا لن نكون ناجحين بالتقييد.

00:13:49.667 --> 00:13:52.393
كما تعلم سيقوم شخص ما في مكان ما
- كوريا الشماية -

00:13:52.417 --> 00:13:55.934
بالذهاب هناك واكتشاف المعرفة،

00:13:55.958 --> 00:13:57.226
إذا كان يمكن العثور عليها.

NOTE Paragraph

00:13:57.250 --> 00:13:59.601
نيك بوستروم: يبدو هذا منطقياً
في الوضع الحالي.

00:13:59.625 --> 00:14:01.559
إنها ليست مجرد أحياء تخليقية أيضاً.

00:14:01.583 --> 00:14:04.101
أعني، أي شيء جذري،
يمكن للتغيير الجديد في العالم

00:14:04.101 --> 00:14:05.727
أن يتحول لكرة سوداء.

NOTE Paragraph

00:14:05.727 --> 00:14:07.823
كريس أندرسون: لننظر إلى رد فعل آخر ممكن.

NOTE Paragraph

00:14:07.823 --> 00:14:10.350
نيك بوستروم: أعتقد أن هذه أيضاً له
إمكانية محدودة فقط.

00:14:10.350 --> 00:14:13.809
مع ثغرة نوع-1 مرة أخرى،

00:14:13.833 --> 00:14:18.184
بمعنى إذا كانت لديك المقدرة لتقليل
عدد الأشخاص المتحفزين

00:14:18.208 --> 00:14:19.476
لتدمير العالم،

00:14:19.500 --> 00:14:21.559
إذا تم الوصول إليهم وإلى وسائلهم،

00:14:21.583 --> 00:14:22.851
سيكون هذا جيداً.

NOTE Paragraph

00:14:22.851 --> 00:14:25.145
كريس أندرسون: في هذه الصورة
التي تطلب منا أن نفعل

00:14:25.145 --> 00:14:27.434
تتخيل أن هذه الطائرات بدون طيار
تحلق حول العالم

00:14:27.458 --> 00:14:28.726
مع برامج التعرف على الوجه.

00:14:28.750 --> 00:14:31.643
عندما يكتشفوا شخصاً ما 
يُظهر سلوكيات مختلة،

00:14:31.667 --> 00:14:33.851
يمطرونهم بالحب ويصلحونهم.

NOTE Paragraph

00:14:33.875 --> 00:14:35.768
نيك بوستروم: أعتقد أنها صورة هجينة.

00:14:35.792 --> 00:14:39.809
يعني الإقصاء إما مثلاً الحبس أو القتل،

00:14:39.833 --> 00:14:42.851
أو إقناعهم رؤية العالم بصورة أفضل.

00:14:42.875 --> 00:14:44.601
لكن الفكرة هي،

00:14:44.625 --> 00:14:46.768
لنفترض أنك ناجح جداً في ذلك،

00:14:46.792 --> 00:14:50.101
واستطعت تقليل عدد هؤلاء الأشخاص للنصف.

00:14:50.125 --> 00:14:52.018
وإذا أردت أن تقوم بذلك بالإقناع،

00:14:52.042 --> 00:14:54.434
أنت تنافس القوى الأخرى كلها

00:14:54.458 --> 00:14:56.143
التي تحاول إقناع الناس،

00:14:56.167 --> 00:14:57.934
أحزاب، دين، نظام تعليم.

00:14:57.958 --> 00:14:59.863
لكن لنفترض أنه أمكنك تقليلهم للنصف،

00:14:59.887 --> 00:15:02.143
لا أعتقد أن الخطر سيقل للنصف.

00:15:02.167 --> 00:15:03.726
ربما يقل 5 أو 10%.

NOTE Paragraph

00:15:03.750 --> 00:15:08.101
كريس أندرسون: أنت لا توصي أن نغامر 
بمستقبل البشرية في الاستجابة الثانية.

NOTE Paragraph

00:15:08.125 --> 00:15:11.143
نيك بوستروم: أعتقد أنه من الجيد المحاولة
لردع وإقناع الأشخاص،

00:15:11.167 --> 00:15:14.143
لكن بدون الاعتماد على ذلك
كوسيلة وحيدة لحمايتنا.

NOTE Paragraph

00:15:14.143 --> 00:15:15.578
كريس أندرسون: ماذا عن الثالثة؟

NOTE Paragraph

00:15:15.578 --> 00:15:18.351
نيك بوستروم: أعتقد بوجود طريقتين أساسيتين

00:15:18.375 --> 00:15:22.351
يمكننا استخدامهما لتحقيق التوازن في العالم

00:15:22.375 --> 00:15:25.351
ضد كل نقاط الضعف المحتملة.

00:15:25.375 --> 00:15:26.934
وربما نحتاج لكليهما.

00:15:26.958 --> 00:15:31.476
واحدة منهما هي القدرة الفعالة جداً

00:15:31.500 --> 00:15:33.268
للقيام بأعمال الشرطة الوقائية.

00:15:33.292 --> 00:15:34.816
بحيث يمكنك الاعتراض.

00:15:34.840 --> 00:15:37.601
إذا قام أحد بفعل أمر خطير،

00:15:37.625 --> 00:15:40.309
يمكنك اعتراضهم في الوقت المناسب ومنعهم.

00:15:40.333 --> 00:15:42.809
هذا يتطلب مراقبة في كل مكان،

00:15:42.833 --> 00:15:45.208
سيراقب الجميع في كل وقت.

NOTE Paragraph

00:15:46.333 --> 00:15:48.833
كريس أندرسون: شكل من أشكال
"تقرير الأقلية".

NOTE Paragraph

00:15:48.833 --> 00:15:51.455
نيك بوستروم: ربما يكون لديك
خوارزميات الذكاء الاصطناعي،

00:15:51.455 --> 00:15:55.292
مراكز حرية كبرى الذين كانوا يراجعون، إلخ.

NOTE Paragraph

00:15:56.583 --> 00:16:00.976
كريس أندرسون: تعلم أن مراقبة الجمهور
ليس مصطلحاً شائعاً الآن، أليس كذلك؟

NOTE Paragraph

00:16:01.000 --> 00:16:02.250
(ضحك)

NOTE Paragraph

00:16:03.288 --> 00:16:05.292
نيك بوستروم: نعم، لذا يوجد جهاز صغير هناك،

00:16:05.292 --> 00:16:08.893
تخيل مثل نوع من القلادة سترتديها طول الوقت

00:16:08.917 --> 00:16:10.917
بها آلة تصوير متعددة الاتجاهات.

00:16:11.792 --> 00:16:13.601
لكن، لجعل الأمر أكثر جودة،

00:16:13.601 --> 00:16:16.233
ما عليك سوى تسميتها "بطاقة الحرية"
أو شيء من هذا القبيل.

NOTE Paragraph

00:16:16.233 --> 00:16:18.184
(ضحك)

NOTE Paragraph

00:16:18.208 --> 00:16:19.476
كريس أندرسون: حسناً.

00:16:19.500 --> 00:16:21.601
هذا هو الحوار، أصدقاء،

00:16:21.625 --> 00:16:25.184
هذا هو السبب في أن مثل هذا الحوار مذهل.

NOTE Paragraph

00:16:25.208 --> 00:16:27.809
نيك بوستروم: حقاً، هناك حوار كبير حول هذا

00:16:27.833 --> 00:16:29.143
في حد ذاته، بوضوح.

00:16:29.167 --> 00:16:31.643
هناك مشاكل ضخمة ومخاطر في هذا، أليس كذلك؟

00:16:31.667 --> 00:16:32.934
يمكننا الرجوع لذلك.

00:16:32.958 --> 00:16:34.226
لذا الآخر، النهائي،

00:16:34.250 --> 00:16:36.809
القدرة العامة الأخرى على الاستقرار

00:16:36.833 --> 00:16:38.893
هو نوع من سد فجوة حكم أخرى.

00:16:38.917 --> 00:16:43.101
لذا المراقبة ستكون نوعاً
من فجوة الحكم على المستوى الجزئي،

00:16:43.125 --> 00:16:46.226
مثل، منع أي شخص من القيام
بأي شيء غير قانوني.

00:16:46.250 --> 00:16:48.559
ثم، يوجد فجوة حكم مقابلة

00:16:48.583 --> 00:16:50.518
على المستوى الكلي، المستوى العالمي.

00:16:50.542 --> 00:16:54.476
ستحتاج إلى القدرة، الثقة،

00:16:54.500 --> 00:16:57.309
لمنع الأنواع الأسوأ
من فشل التنظيم العالمي،

00:16:57.333 --> 00:17:01.101
لتجنب الحروب بين القوى العظمى،

00:17:01.125 --> 00:17:02.458
سباقات الأسلحة،

00:17:03.500 --> 00:17:05.708
المشاكل الشائعة الكارثية،

00:17:07.667 --> 00:17:11.851
للتعامل مع نقاط ضعف نوع 2a.

NOTE Paragraph

00:17:11.875 --> 00:17:13.809
كريس أندرسون: الحكم العالمي مصطلح

00:17:13.833 --> 00:17:16.059
يخرج بالتأكيد من النمط الآن،

00:17:16.083 --> 00:17:18.601
ولكن يمكن أن تجعل القضية أنه عبر التاريخ،

00:17:18.625 --> 00:17:19.893
هو أن تاريخ الإنسانية

00:17:19.917 --> 00:17:25.351
في كل مرحلة من زيادة القوة التكنولوجية،

00:17:25.375 --> 00:17:28.601
أعاد الناس تنظيم ومركزة السلطة.

00:17:28.625 --> 00:17:32.059
مثلاً، عندما يسيطر مجموعة من المجرمين

00:17:32.083 --> 00:17:33.768
على المجتمع،

00:17:33.792 --> 00:17:36.031
كان رد الفعل، لديك دولة قومية

00:17:36.055 --> 00:17:38.489
وتقوم بتمركز القوة،
قوة شرطة أو جيش،

00:17:38.513 --> 00:17:40.143
لذا ، "لا ، لا يمكنك فعل ذلك."

00:17:40.167 --> 00:17:44.726
ربما المنطق لتملك شخص واحد أو مجموعة واحدة

00:17:44.750 --> 00:17:46.393
قادرون على إخراج الإنسانية

00:17:46.417 --> 00:17:49.143
يعني في مرحلة ما
أننا مضطرون للمضي في هذا الطريق،

00:17:49.143 --> 00:17:50.625
على الأقل في شكل ما، أليس كذلك؟

NOTE Paragraph

00:17:50.625 --> 00:17:54.309
نيك بوستروم: من المؤكد
أن مستوى التنظيم السياسي زاد

00:17:54.333 --> 00:17:56.476
على مدار تاريخ البشرية.

00:17:56.500 --> 00:17:58.518
أعتاد أن يكون قبلي،

00:17:58.542 --> 00:18:01.476
ثم مشيخة، مدن، أمم،

00:18:01.500 --> 00:18:05.476
الآن هناك منظمات عالمية وهكذا.

00:18:05.500 --> 00:18:07.018
مرة أخرى، أريد فقط التأكد

00:18:07.042 --> 00:18:08.684
لدي الفرصة للتأكد

00:18:08.708 --> 00:18:10.684
أنه من الواضح أن هناك سلبيات ضخمة

00:18:10.708 --> 00:18:12.226
وبالتأكيد، مخاطر هائلة،

00:18:12.250 --> 00:18:15.601
لكلاً من المراقبة الجماهيرية
والحكم العالمي.

00:18:15.625 --> 00:18:18.184
أريد فقط أن أشير أنه إذا كنا محظوظين

00:18:18.208 --> 00:18:20.893
سيكون العالم مثل ذلك وستكون
هذه الطرق الوحيدة

00:18:20.893 --> 00:18:22.454
لتستطيع النجاة من الكرة السوداء.

NOTE Paragraph

00:18:22.458 --> 00:18:24.976
كريس أندرسون: منطق هذه النظرية،

00:18:25.000 --> 00:18:26.268
كما يبدو لي،

00:18:26.292 --> 00:18:29.893
أن علينا أن نعترف
أننا لا يمكنا الحصول عليها كلها.

00:18:29.917 --> 00:18:31.750
هذا نوع ما،

00:18:33.500 --> 00:18:36.476
يمكنني القول، حلم ساذج لدى الكثيرين

00:18:36.500 --> 00:18:39.851
أن التكنولوجيا ستكون دائماً
قوة من أجل الخير،

00:18:39.875 --> 00:18:42.851
استمر، لا تتوقف، أسرع بقدر إمكانك

00:18:42.875 --> 00:18:45.226
ولا تعر اهتماماً لبعض العواقب،

00:18:45.250 --> 00:18:46.934
هذا في الواقع ليس خياراً.

00:18:46.958 --> 00:18:48.893
يمكنا أن نحظى بذلك.

00:18:48.917 --> 00:18:50.184
إذا حظينا بذلك،

00:18:50.208 --> 00:18:51.643
سيتوجب علينا قبول

00:18:51.667 --> 00:18:54.226
بعض من نقاط الضعف الأخرى غير المريحة،

00:18:54.250 --> 00:18:56.476
ونوع ما في سباق التسلح مع أنفسنا

00:18:56.500 --> 00:18:58.768
تريد القوة، الأفضل أن تحد منها،

00:18:58.792 --> 00:19:00.934
الأفضل لك اكتشاف كيفية الحد منها.

NOTE Paragraph

00:19:00.958 --> 00:19:04.434
نيك بوستروم: أعتقد أنه خيار،

00:19:04.458 --> 00:19:07.226
خيار مغري للغاية، إلى حد ما الخيار الأسهل

00:19:07.250 --> 00:19:08.518
وربما ينجح،

00:19:08.542 --> 00:19:13.351
لكن يعني بشكل أساسي عرضة
لاستخراج كرة سوداء.

00:19:13.375 --> 00:19:15.518
الآن، أفكر بشكل منظم قليلاً،

00:19:15.542 --> 00:19:18.268
مثل، إذا قمنا بحل مشكلة الحكم الكلي،

00:19:18.292 --> 00:19:19.893
ومشكلة الحكم الجزئي،

00:19:19.917 --> 00:19:22.226
وقتها يمكننا استخراج الكرات من الجرة

00:19:22.250 --> 00:19:24.518
وسنستفيد كثيراً.

NOTE Paragraph

00:19:24.542 --> 00:19:27.976
كريس أندرسون: أعني، إذا كنا
نعيش في محاكاة، هل يهم؟

00:19:28.000 --> 00:19:29.309
نحن فقط ريبوت.

NOTE Paragraph

00:19:29.333 --> 00:19:30.601
(ضحك)

NOTE Paragraph

00:19:30.625 --> 00:19:32.268
نيك بوستروم: ثم... أنا...

NOTE Paragraph

00:19:32.292 --> 00:19:34.768
(ضحك)

00:19:34.792 --> 00:19:36.208
لا أتوقع حدوث ذلك.

NOTE Paragraph

00:19:38.125 --> 00:19:39.417
كريس أندرسون: ما وجهة نظرك؟

00:19:39.417 --> 00:19:44.226
وضع كل القطع معاً،
ما مدى احتمال أننا محكوم عليهم بالفشل؟

NOTE Paragraph

00:19:44.250 --> 00:19:46.208
(ضحك)

NOTE Paragraph

00:19:47.042 --> 00:19:49.434
أحب ضحك الناس عندما تسأل هذا السؤال.

NOTE Paragraph

00:19:49.434 --> 00:19:50.973
نيك بوستروم: على المستوى الشخصي،

00:19:50.973 --> 00:19:54.684
يبدو أننا من المحكوم عليهم بالفشل
على أي حال، فقط مع الخط الزمني،

00:19:54.708 --> 00:19:57.309
نحن نتعفن ونتقدم في السن
وجميع هذه الأشياء، أليس كذلك؟

NOTE Paragraph

00:19:57.333 --> 00:19:58.934
(ضحك)

NOTE Paragraph

00:19:58.958 --> 00:20:00.643
هذا خادع قليلاً.

00:20:00.667 --> 00:20:03.434
إذا أردت البدء،
يمكنك تربط الاحتمالات،

00:20:03.458 --> 00:20:04.726
أولاً، من نحن؟

00:20:04.750 --> 00:20:07.476
إذا كنت طاعن في السن،
ستموت بأسباب طبيعية غالباً،

00:20:07.500 --> 00:20:09.851
إذا كنت صغير جداً،
ربما لديك 100 عام

00:20:09.875 --> 00:20:12.018
وربما يعتمد الاحتمال على من تسأل.

00:20:12.042 --> 00:20:16.268
ثم البداية، مثل، ماذا يهم كدمار حضاري؟

00:20:16.292 --> 00:20:21.934
في الورقة لا أحتاج كارثة وجودية

00:20:21.958 --> 00:20:23.393
من أجل الاهتمام.

00:20:23.417 --> 00:20:25.101
هذه مجرد مسألة تعريفية،

00:20:25.125 --> 00:20:26.434
أقول مليار قتيل،

00:20:26.434 --> 00:20:28.762
أو تخفيض الناتج المحلي
الإجمالي العالمي بنسبة 50%،

00:20:28.762 --> 00:20:30.768
لكن اعتماداً على ما تقوله عن البداية،

00:20:30.792 --> 00:20:32.768
تحصل على تقييم احتمال مختلف.

00:20:32.792 --> 00:20:37.309
لكن أخمن أنني أصبحت متفائلاً متخوفاً.

NOTE Paragraph

00:20:37.333 --> 00:20:38.434
(ضحك)

NOTE Paragraph

00:20:38.458 --> 00:20:40.101
كريس أندرسون: أنت متفائل خائف،

00:20:40.125 --> 00:20:44.393
وأعتقد أنك نقلت خوفك لعدد كبير...

00:20:44.417 --> 00:20:45.684
من الأشخاص.

NOTE Paragraph

00:20:45.708 --> 00:20:46.768
(ضحك).

NOTE Paragraph

00:20:46.792 --> 00:20:48.059
نيك بوستروم: في المحاكاة.

NOTE Paragraph

00:20:48.083 --> 00:20:49.351
كريس أندرسون: في المحاكاة.

00:20:49.375 --> 00:20:51.059
لقد أدهشتني نيك بوستروم،

00:20:51.083 --> 00:20:53.976
شكراً لك لترويعنا.

NOTE Paragraph

00:20:54.000 --> 00:20:56.375
(تصفيق)