0:00:00.570,0:00:04.777
من با گروهی از ریاضیدان ها، فیلسوف ها و دانشمندان کامپیوتر کار می کنم،

0:00:04.777,0:00:09.986
ما دور هم می نشینیم و درباره آینده هوش ماشینی

0:00:09.986,0:00:12.030
در میان الباقی چیزها فکر می کنیم.

0:00:12.030,0:00:16.755
بعضی از مردم فکر می کنند که این چیزها تخیلات علمی،

0:00:16.755,0:00:19.856
و دور از واقعیت و دیوانه وارند.

0:00:19.856,0:00:21.326
اما مایل هستم که بگویم

0:00:21.326,0:00:24.930
بسیار خوب، بیایید نگاهی به شرایط مدرن بشر بیاندازیم.

0:00:24.930,0:00:26.622
(خنده)

0:00:26.622,0:00:29.024
این طریقه عادی بودن چیزهاست.

0:00:29.024,0:00:31.309
اما اگر درباره اش فکر کنید،

0:00:31.309,0:00:34.602
ما در واقعیت میهمانان تازه رسیده به این سیاره هستیم،

0:00:34.602,0:00:36.684
گونه بشر.

0:00:36.684,0:00:41.430
فکر کنید اگر زمین یک سال قبل خلق شده بود،

0:00:41.430,0:00:44.978
پس، گونه بشر ۱۰ دقیقه بیشتر عمرش نبود.

0:00:44.978,0:00:48.146
عصر صنعتی دو ثانیه قبل شروع می شد.

0:00:49.276,0:00:54.501
روش دیگر نگاه به این موضوع ،[br]فکر کردن در مورد تولید ناخالص داخلی جهان، طی ۱۰٫۰۰۰ سال گذشته است،

0:00:54.501,0:00:57.530
در واقع، من دردسر ترسیم آن را برای شما[br]در این نمودار کشیده ام.

0:00:57.530,0:00:59.304
مثل این به نظر می رسد.

0:00:59.304,0:01:00.667
(خنده)

0:01:00.667,0:01:02.818
شکل عجیبی برای شرایط عادی است.

0:01:02.818,0:01:04.516
مطمئنم که نمیخواهم در این وضع قرار بگیرم.

0:01:04.516,0:01:07.067
(خنده)

0:01:07.067,0:01:11.841
بگذارید از خودمان بپرسیم، دلیل این بی قاعدگی فعلی چیست؟

0:01:11.841,0:01:14.393
شاید بعضی بگویند فناوری.

0:01:14.393,0:01:19.061
درست است که فناوری در طول تاریخ بشر انباشته شده

0:01:19.061,0:01:23.713
و در حال حاضر فناوری با سرعت زیادی در حال پیشروی است--

0:01:23.713,0:01:25.278
اما این دلیل اصلی نیست،

0:01:25.278,0:01:27.843
چرا که ما در حال حاضر خیلی مولد هستیم.

0:01:28.473,0:01:32.134
اما دوست دارم برای علت اصلی، به عقب تر برگردم.

0:01:33.114,0:01:36.880
به این دو آقای بسیار متشخص نگاه کنید:

0:01:36.880,0:01:38.480
ما "کانزی" را داریم--

0:01:38.480,0:01:43.123
استاد ۲۰۰ توکن واژگانی، موفقیت شگفت آوری است.

0:01:43.123,0:01:46.817
و" اد ویتن" که دومین انقلاب ابرریسمان را مطرح کرد.

0:01:46.817,0:01:49.141
اگر به بررسی ادامه دهیم، به این نتیجه می رسیم که:

0:01:49.141,0:01:50.711
در اصل یک چیز است.

0:01:50.711,0:01:52.524
یکی، کمی بزرگتر است،

0:01:52.524,0:01:55.282
هر چند ممکن است چند حقه هم[br]در عجیب بودن این روش باشد،

0:01:55.282,0:01:59.094
اما این اختلافات غیرقابل مشاهده [br]چندان نمی توانند پیچیده باشند،

0:01:59.094,0:02:03.379
چون تنها ۲۵۰ هزار نسل از آخرین جد

0:02:03.379,0:02:05.111
مشترکمان می گذرد.

0:02:05.111,0:02:08.960
می دانیم که مکانیزم های پیچیده زمان طولانی برای تکامل دارند.

0:02:10.000,0:02:12.499
بنابراین چندتایی تغییرات جزئی نسبی

0:02:12.499,0:02:15.566
ما را از "کانزی" به "ویتن" می رساند،

0:02:15.566,0:02:20.109
از شاخه های درخت شکسته تا موشک های بالستیک بین قاره ای.

0:02:20.839,0:02:24.774
پس این خیلی واضح به نظر می رسد که همه چیز قابل دستیابی است،

0:02:24.774,0:02:26.152
و هر چه را که به آن اهمیت می دهیم،

0:02:26.152,0:02:31.380
عمدتا بستگی به تغییرات جزئی نسبی دارد[br]که ذهن بشر را می سازد.

0:02:32.650,0:02:36.312
و نتیجه آن، البته تغییرات بیشتری است

0:02:36.312,0:02:39.789
که می توانند بطور عمده بستر اندیشه را تغییر داده

0:02:39.789,0:02:42.991
و منجر به پیامد بالقوه ی عظیمی گردند.

0:02:44.321,0:02:47.226
برخی از همکارانم فکر می کردند که ما در آستانه

0:02:47.226,0:02:51.134
چیزی هستیم که می تواند منجر به تغییری ژرف در آن بستر شود،

0:02:51.134,0:02:54.347
و آن ماشین ابرهوشمند است.

0:02:54.347,0:02:59.086
پیش از این، هوش مصنوعی درباره[br]قرار دادن دستورات در یک جعبه بود.

0:02:59.086,0:03:00.751
شما برنامه نویس های انسانی را داشتید

0:03:00.751,0:03:03.886
که با زحمت آیتم های دانش را هنرمندانه شکل میدادند.

0:03:03.886,0:03:05.972
شما این سیستم های خبره را می سازید،

0:03:05.972,0:03:08.296
که به نحوی برای برخی مقاصد، مناسب بودند،

0:03:08.296,0:03:10.977
اما آنقدر بی دوام بودند که قادر به سنجش آنها نبودید.

0:03:10.977,0:03:14.410
در اصل، تنها چیزی را درو می کنید که کاشتید.

0:03:14.410,0:03:15.407
اما از آن موقع تاکنون،

0:03:15.407,0:03:18.874
تغییر قابل توجه ای در زمینه هوش مصنوعی رخ داده است.

0:03:18.874,0:03:21.644
امروزه، اقدامات حقیقتا درباره یادگیری ماشین است.

0:03:22.394,0:03:27.781
پس بجای هنرمندانه شکل دادن آرایه ها و نمایه های علمی،

0:03:28.511,0:03:34.065
الگوریتم هایی را خلق می کنیم که یاد می گیرد،[br]اغلب هم از داده های دریافتی خام.

0:03:34.065,0:03:39.063
عمدتا همان کاری را که نوزاد بشر انجام می دهد.

0:03:39.063,0:03:43.270
نتیجه، هوش مصنوعی است [br]که به یک حوزه محدود نیست--

0:03:43.270,0:03:47.901
نظام یکسانی که می تواند[br]ترجمه کردن بین هر دو زبان فرضی را یاد بگیرد،

0:03:47.901,0:03:53.338
یا بازی کردن هر بازی کامپیوتری را با آتاری.

0:03:53.338,0:03:55.117
البته الان،

0:03:55.117,0:03:59.116
هوش مصنوعی، هنوز جایی نزدیک همان [br]توانایی قدرتمند و مطمئن

0:03:59.116,0:04:02.335
برای یادگیری و برنامه ریزی است که بشر آن را دارد.

0:04:02.335,0:04:04.461
"کورتکس" هنوز برخی از همان حقه های الگوریتمی را دارد

0:04:04.461,0:04:06.816
که ما از نحوه قرار دادنشان در ماشینها بی اطلاعیم.

0:04:07.886,0:04:09.785
پس پرسش این است،

0:04:09.785,0:04:13.285
تا چه حد قادر به هماهنگی این حقه ها هستیم؟

0:04:14.245,0:04:15.328
دو سال پیش،

0:04:15.328,0:04:18.216
آمارگیری را بین متخصصان برجسته هوش مصنوعی انجام دادیم،

0:04:18.216,0:04:21.440
تا بدانیم به چه چیزی فکری می کنند، [br]و یکی از پرسش هایی که ما مطرح کردیم این بود که :

0:04:21.440,0:04:24.793
"فکر می کنید در چه سالی ۵۰ درصد احتمال خواهد داشت

0:04:24.793,0:04:28.275
که به ماشینی هوشمند در سطح بشر دست بیابیم؟"

0:04:28.785,0:04:32.968
در اینجا ما توانایی در سطح انسان را[br]بعنوان قابلیتی برای اجرای

0:04:32.968,0:04:35.839
هر کاری تعریف می کنیم که[br]حداقل انسان بالغ نیز آن را انجام دهد،

0:04:35.839,0:04:39.844
پس سطح انسانی واقعی، فقط چیزی در محدوده یک دامنه نیست.

0:04:39.844,0:04:43.494
و پاسخ میانگین در حدود سال ۲۰۴۰ یا ۲۰۵۰ بود.

0:04:43.494,0:04:46.300
دقیقا بسته به این که از کدام گروه از متخصصان سوال کردیم.

0:04:46.300,0:04:50.339
پس این اتفاق خیلی دیر یا زود اتفاق خواهد افتاد.

0:04:50.339,0:04:52.279
واقعیت این است که کسی دقیقا نمی داند.

0:04:53.259,0:04:57.671
آنچه می دانیم این است که حد نهایی برای پردازش اطلاعات

0:04:57.671,0:05:02.542
در بستر ماشین خارج از مرزهای موجود در بافت زیستی قرار می گیرد.

0:05:03.241,0:05:05.619
که به فیزیک منتهی می شود.

0:05:05.619,0:05:10.337
یک نورون زیستی شاید ۲۰۰ بار در ثانیه ۲۵۰ هرتز شلیک کند.

0:05:10.337,0:05:13.931
اما حتی ترانزیستورهای امروزی گیگاهرتزی عمل می کنند.

0:05:13.931,0:05:19.228
نورون ها به آرامی در محورها گسترده می شوند،[br]حداکثر ۱۰۰ متر در ثانیه.

0:05:19.228,0:05:22.339
اما در کامپیوترها، سیگنال ها قابلیت سفر با با سرعت نور را دارند.

0:05:23.079,0:05:24.948
محدودیت های ابعادی نیز هست،

0:05:24.948,0:05:27.975
مثل مغز انسانی که باید درون جمجمه جا شود،

0:05:27.975,0:05:32.736
اما کامپیوتر می تواند به بزرگی یک انباری یا بزرگتر نیز باشد.

0:05:32.736,0:05:38.335
بنابراین پتانسیل ابَرهوشمند هنوز نهفته است،

0:05:38.335,0:05:44.047
بیشتر مثل نیروی اتم که در طول تاریخ بشریت نهفته بود

0:05:44.047,0:05:48.452
تا این که در ۱۹۴۵ کشف شد.

0:05:48.452,0:05:49.700
در این قرن،

0:05:49.700,0:05:53.818
دانشمندان شاید یاد بگیرند نیروی هوش مصنوعی را بیدار کنند.

0:05:53.818,0:05:57.826
و فکر می کنم بعد آن شاهد انفجار هوشی باشیم.

0:05:58.406,0:06:02.363
اکنون اغلب مردم وقتی به زیرک یا کودن بودن چیزی فکر می کنند،

0:06:02.363,0:06:05.386
فکر می کنم این تصویر نسبتا خشن را در ذهنشان دارند.

0:06:05.386,0:06:07.984
که در یکسو دهکده خرفت ها را داریم

0:06:07.984,0:06:10.467
و در سوی دیگر

0:06:10.467,0:06:15.223
امثال "اد ویتن" و "آلبرت اینشتن" یا هر کسی که معلم مذهبی ما است را داریم.

0:06:15.223,0:06:19.057
اما بنظرم از دیدگاه هوش مصنوعی

0:06:19.057,0:06:22.738
تصویر حقیقی باید در واقع چیزی شبیه به این باشد:

0:06:23.258,0:06:26.636
هوش مصنوعی در نقطه ای اینجا آغاز می شود، در هوش صفر،

0:06:26.636,0:06:29.647
و سپس بعد از سالهای سال کار واقعا سخت،

0:06:29.647,0:06:33.491
شاید سرانجام به هوش مصنوعی سطح موش برسیم،

0:06:33.491,0:06:35.921
چیزی که بتواند که در محیط های درهم، جهت یابی کند،

0:06:35.921,0:06:37.908
همانطور که موش ها می توانند.

0:06:37.908,0:06:42.221
و سپس، بعد از سال های خیلی خیلی بیشتر دیگری[br]از کار واقعا سخت، کلی سرمایه گذاری،

0:06:42.221,0:06:46.860
شاید سرانجام به هوش مصنوعی سطح شامپانزه برسیم.

0:06:46.860,0:06:50.070
و بعد، پس از سال های بازهم بیشتری از کار واقعا سخت،

0:06:50.070,0:06:52.983
ما به هوش مصنوعی سطح دهکده خرفت ها می رسیم.

0:06:52.983,0:06:56.255
و چند لحظه بعد از آن، پشت سر"اد ویتن" هستیم.

0:06:56.255,0:06:59.225
قطار در ایستگاه دهکده بشری متوقف نمی شود.

0:06:59.225,0:07:02.247
احتمالا بجایش با سرعت از آن بگذرد.

0:07:02.247,0:07:04.231
خب از اینجاست که احتمالا پیامدهای عمیق داشته باشد،

0:07:04.231,0:07:08.093
به ویژه وقتی پای قدرت در میان باشد.

0:07:08.093,0:07:09.992
برای مثال، شامپانزه ها قوی هستند--

0:07:09.992,0:07:15.214
در ازای هر کیلو، یک شامپانزه دو برابر یک انسان مذکر قدرت دارد.

0:07:15.214,0:07:19.828
و هنوز سرنوشت "کانزی" و رفقایش بیشتر بستگی

0:07:19.828,0:07:23.968
به عملکرد ما انسانها دارد تا آنچه خود شامپانزه ها انجام می دهند.

0:07:25.228,0:07:27.542
وقتی پای هوش مصنوعی در میان باشد،

0:07:27.542,0:07:31.381
سرنوشت بشریت شاید به هوش مصنوعی وابسته باشد.

0:07:32.451,0:07:33.508
به آن فکر کنید:

0:07:33.508,0:07:38.552
هوش ماشینی آخرین اختراعی است که بشریت به آن نیاز خواهد داشت.

0:07:38.552,0:07:41.525
ماشینها پس از آن نسبت به ما عملکرد بهتری در اختراعات خواهند داشت،

0:07:41.525,0:07:44.065
و آن را در مقیاس زمانی دیجیتال انجام خواهند داد.

0:07:44.065,0:07:48.966
که به طور اساسی به معنای فشرده کردن آینده است.

0:07:48.966,0:07:52.524
به همه فناوریهای دیوانه واری فکر کنید که شاید بشر در آینده

0:07:52.524,0:07:55.322
بطور کامل توسعه دهد و شما قادر به تصور کردنشان هستید:

0:07:55.322,0:07:58.580
درمان پیری، سکنا گزیدن در فضا،

0:07:58.580,0:08:02.311
نانوباتهای خودجایگزین یا انتقال اطلاعت ذهن به کامپیوترها،

0:08:02.311,0:08:04.470
همه انواع موضاعات علمی تخیلی

0:08:04.470,0:08:07.207
که با این حال با قوانین فیزیک مرتبط اند.

0:08:07.207,0:08:11.419
تمامی این هوش مصنوعی قادر به توسعه یافتن است،[br]و احتمالا هم بسیار سریع.

0:08:12.449,0:08:16.007
حال، یک هوش مصنوعی با چنین بلوغ در فناوری

0:08:16.007,0:08:18.186
بی نهایت قدرتمند خواهد بود،

0:08:18.186,0:08:22.732
و حداقل در برخی سناریوها، قادر به رسیدن به آنچه می خواهد است.

0:08:22.732,0:08:28.393
پس آینده ای که خواهیم داشت [br]بواسطه ترجیحات این هوش مصنوعی شکل می گیرد.

0:08:29.855,0:08:33.604
حال پرسشی که مطرح است، این ترجیحات کدامند؟

0:08:34.244,0:08:36.013
اینجاست که پیچیده تر می شود.

0:08:36.013,0:08:37.448
برای هرگونه پیشرفت در این زمینه،

0:08:37.448,0:08:40.724
نخست باید از هر گونه انسان پنداری اجتناب کنیم.

0:08:41.934,0:08:45.235
و این کمی کنایه آمیز است زیرا تمامی مقالات روزنامه ها

0:08:45.235,0:08:49.090
درباره آینده هوش مصنوعی تصویر این چنینی ارائه می دهد:

0:08:50.280,0:08:54.414
پس فکر می کنم آنچه لازم است انجام دهیم[br]باور داشتن هر چه بیشتر مساله بخودی خود است،

0:08:54.414,0:08:57.204
نه در قالب سناریوهای هالیوودی تخیلی قوی.

0:08:57.204,0:09:00.821
لازم است به هوش، بعنوان فرایندی بهینه ساز فکر کنیم،

0:09:00.821,0:09:06.470
فرایندی که آینده را به مجموعه خاصی از ترتیب ها هدایت می کند.

0:09:06.470,0:09:09.981
هوش مصنوعی فرایند بهینه ساز واقعا قوی است.

0:09:09.981,0:09:14.098
در استفاده از ابزار در دسترس [br]جهت رسیدن به وضعیتی که در آن هدفش

0:09:14.098,0:09:16.007
تشخیص داده شود بی نهایت خوب است.

0:09:16.447,0:09:19.119
این به آن معناست که هیچ ارتباط لازمی

0:09:19.119,0:09:21.853
بین داشتن هوش بالا به این معنا،

0:09:21.853,0:09:26.515
و داشتن هدفی که ما انسانها آن را با معنا یا با ارزش بیابیم وجود ندارد.

0:09:27.321,0:09:31.115
فرض کنید به یک هوش مصنوعی،[br]هدف لبخند زدن مثل انسانها را بدهیم.

0:09:31.115,0:09:34.097
وقتی هوش مصنوعی ضعیف است، اعمال مفید یا جالب انجام می دهد

0:09:34.097,0:09:36.614
تا باعث لبخند زدن کاربرش شود.

0:09:36.614,0:09:39.031
وقتی هوش مصنوعی، ابرهوشمند می شود،

0:09:39.031,0:09:42.554
به این تشخیص می رسد که [br]روش موثرتری برای رسیدن به این هدف وجود دارد:

0:09:42.554,0:09:44.476
کنترل دنیا را در دست بگیر

0:09:44.476,0:09:47.638
و الکترود در ماهیچه های صورت آدمها کن

0:09:47.638,0:09:50.579
تا همیشه در حال لبخند زدن باشند.

0:09:50.579,0:09:51.614
مثال دیگر،

0:09:51.614,0:09:54.997
فرض کنید برای هوش مصنوعی،[br]هدف حل کردن یک مساله دشوار ریاضی را تعیین کنید.

0:09:54.997,0:09:56.934
وقتی هوش مصنوعی، ابر هوشمند شود

0:09:56.934,0:10:01.105
موثرترین روش را برای رسیدن به راه حل این مشکل را

0:10:01.105,0:10:04.035
تبدیل کردن سیاره به یک کامپیوتر عظیم تشخیص می دهد،

0:10:04.035,0:10:06.281
تا به این ترتیب ظرفیت فکر کردنش را افزایش دهد.

0:10:06.281,0:10:09.045
و البته متوجه باشید که این کار باعث می شود هوش مصنوعی دلیل ابزاری

0:10:09.045,0:10:11.561
برای انجام کارهایی برای ما داشته باشد[br]که شاید ما آن ها را تایید نکنیم.

0:10:11.561,0:10:13.496
انسانها در این الگو تهدید هستند،

0:10:13.496,0:10:16.417
ما می توانیم مانع حل شدن مساله ریاضی شویم.

0:10:17.207,0:10:20.701
البته، از جنبه ادراکی[br]اوضاع در چنین روشهای خاص به بیراهه نخواهد رفت؛

0:10:20.701,0:10:22.454
اینها نمونه های کارتونی هستند.

0:10:22.454,0:10:24.393
اما نکته کلی که در اینجا اهمیت دارد:

0:10:24.393,0:10:27.266
اگر پروسه بهینه واقعا قدرتمندی را بیافرینید

0:10:27.266,0:10:29.500
تا هدف ایکس را به حداکثر رسانید،

0:10:29.500,0:10:31.776
بهتر است مطمئن شوید که تعریف شما از ایکس

0:10:31.776,0:10:34.245
با هر آنچه راجع به آن اهمیت می دهید همکاری دارد.

0:10:34.835,0:10:39.219
این درسی که همچنین به کرات در اسطورها آموخته می شود.

0:10:39.219,0:10:44.517
شاه «میداس» آروزیش این بود که هر چه را لمس می کند به طلا تبدیل شود.

0:10:44.517,0:10:47.378
به دخترش دست می زند، به طلا تبدیل می شود.

0:10:47.378,0:10:49.931
به غذا دست می زدد، طلا می شود.

0:10:49.931,0:10:52.520
عملا می تواند مرتبط باشد،

0:10:52.520,0:10:54.590
نه فقط بعنوان کنایه از طمع

0:10:54.590,0:10:56.485
بلکه شرحی از آنچه اتفاق می افتد

0:10:56.485,0:10:59.322
اگر شما فرایند بهینه سازی قدرتمندی را خلق کنید

0:10:59.322,0:11:04.111
و برایش اهداف ضعیف یا نادرستی را تعیین کنید.

0:11:04.111,0:11:09.300
حالا شاید بگویید، اگر کامپیوتر شروع به فرو کردن الکترود به صورت آدمها کند،

0:11:09.300,0:11:11.565
خب آن را خاموش می کنیم.

0:11:12.555,0:11:17.895
الف: در صورتی که وابستگی ما به سیستم زیاد باشد، [br]انجام این کار چندن آسان نخواهد بود--

0:11:17.895,0:11:20.627
برای مثال، کلید قطعی اینترنت کجاست؟

0:11:20.627,0:11:25.747
ب: چرا شامپانزه ها کلید خاموشی بشریت را فشار ندادند،

0:11:25.747,0:11:27.298
یا ناندرتال ها؟

0:11:27.298,0:11:29.964
حتما دلایلی داشتند.

0:11:29.964,0:11:32.759
کلید خاموشی داریم، برای مثال همین جا.

0:11:32.759,0:11:34.313
(خفه شدن)

0:11:34.313,0:11:37.238
دلیلش این است که ما حریف باهوشی هستیم؛

0:11:37.238,0:11:39.966
می توانیم تهدیدات را پیش بینی کنیم و برایشان نقشه بکشیم.

0:11:39.966,0:11:42.470
خب یک عامل ابرهوشمند هم قادر به این کار است،

0:11:42.470,0:11:45.724
و خیلی هم بهتر از ما این کار را می کند.

0:11:45.724,0:11:52.911
موضوع این است که ما نباید به این یقین داشته باشیم که[br]اوضاع تحت کنترل ما است.

0:11:52.911,0:11:56.358
و می توانیم تلاش کنیم کارمان را با قرار دادن هوش مصنوعی

0:11:56.358,0:11:57.948
داخل جعبه، کمی آسانتر کنیم،

0:11:57.948,0:11:59.744
مثل یک محیط نرم افزاری ایمن،

0:11:59.744,0:12:02.766
شبیه سازی مجازی از واقعیت، آنچه نمی تواند فرار کند

0:12:02.766,0:12:06.912
اما چقدر مطمئن میتوانیم باشیم که هوش مصنوعی باگ نگیرد.

0:12:06.912,0:12:10.081
با این فرض که هکرهای انسانی همیشه قادر به پیدا کردن باگ هستند،

0:12:10.081,0:12:13.117
من که میگویم نباید خیلی مطمئن بود.

0:12:14.237,0:12:18.785
پس کابل اترنت را برای ایجاد شکاف هوایی خلق می کنیم،

0:12:18.785,0:12:21.453
اما، دوباره مثل هكرهاى انسانى

0:12:21.453,0:12:24.834
طبق عادت شکافهای هوایی را [br]با استفاده از مهندسی اجتماعی دچار خطا می کند.

0:12:24.834,0:12:26.093
همين حالا كه حرف مى زنم،

0:12:26.093,0:12:28.482
مطمئنم يك كارمندى آن بيرون در جايى

0:12:28.482,0:12:31.828
از وى خواسته مى شود كه جزييات حسابش را به كسى كه مدعى است

0:12:31.828,0:12:34.574
از بخش آى تى است بدهد.

0:12:34.574,0:12:36.701
البته سناريوهاى خلاقانه ترى هم ممكن است،

0:12:36.701,0:12:38.016
فرض کنید كه شما آن هوش مصنوعى هستيد،

0:12:38.016,0:12:41.548
می توانید آن الکترودهای در هم لولیده را [br]دور مدار داخلیتان تصور کنید

0:12:41.548,0:12:45.010
که در خلق امواج رادیویی برای ایجاد ارتباط استفاده می کنید.

0:12:45.010,0:12:47.434
یا حتی شاید وانمود به خراب شدن کنید،

0:12:47.434,0:12:50.931
و بعد وقتی برنامه نویسها برای فهم مشکل بازتان می کنند،

0:12:50.931,0:12:52.867
به کد منبع نگاه میاندازند-- گول خوردن!--

0:12:52.867,0:12:55.314
امکان اتفاق دستکاری وجود دارد.

0:12:55.314,0:12:58.744
یا بتواند بلوپرینتی را برای یک فناوری واقعا خوب و جالب بیرون دهد،

0:12:58.744,0:13:00.142
و وقتی آن را اجرا کردیم،

0:13:00.142,0:13:04.539
که بخاطر طرح ریزی شدن توسط هوش مصنوعی[br]اثر جانبی محرمانه ای دارد.

0:13:04.539,0:13:08.002
نکته اینجاست که ما نباید به تواناییمان در نگهداری

0:13:08.002,0:13:11.810
جن ابرهوشمند توی چراغ تا ابد مطمئن باشیم.

0:13:11.810,0:13:14.064
دیر یا زود، فرار می کند.

0:13:15.034,0:13:18.137
به باور من جواب در اینجا پی بردن به

0:13:18.137,0:13:23.161
نحوه آفرینش ابرهوشمند است.[br]اینطور که حتی وقتی فرار می کند،

0:13:23.161,0:13:26.438
هنوز ایمن است چون اساسا در طرف ما قرار دارد

0:13:26.438,0:13:28.337
چون ارزشهای ما را همخوان می کند.

0:13:28.337,0:13:31.547
راه دیگری درباره این مشکل دشوار نمی بینم.

0:13:32.557,0:13:36.391
اکنون، من واقعا درباره حل این مشکل خوش بینم.

0:13:36.391,0:13:40.294
فهرست بلند و بالایی از ههمه آنچه برایمان اهمیت دارد ننوشته ایم،

0:13:40.294,0:13:43.937
یا بدتر از آن، کافی است به بعضی زبانهای کامپیوتری بیان شود

0:13:43.937,0:13:45.391
مثل ++C یا پیتون،

0:13:45.391,0:13:48.158
نتیجه فراتر از مایوسانه خواهد بود.

0:13:48.158,0:13:52.455
در عوض، هوش مصنوعی خلق خواهیم کرد[br]که از هوش خود برای آموختن چیزی استفاده کند

0:13:52.455,0:13:55.226
که آن را ارج می نهیم،

0:13:55.226,0:14:00.506
و انگیزه سیستمی آن بر مبنایی ساخته شده است که اشتیاقش

0:14:00.506,0:14:05.738
دنبال کردن ارزشهای ما یا اجرای اقداماتی است[br]تا آنچه را که تایید می کنیم پیش بینی کند.

0:14:05.738,0:14:09.152
بنابراین هوشش را تا حد امکان بهبود می بخشیم

0:14:09.152,0:14:11.897
تا مشکل بارگذاری ارزش را حل کنیم.

0:14:12.727,0:14:14.239
این شدنی است،

0:14:14.239,0:14:17.835
و نتیجه می تواند برای انسانیت خوب باشد.

0:14:17.835,0:14:21.792
اما خب بطور خودکار اتفاق نمی افتد.

0:14:21.792,0:14:24.790
شرایط اولیه برای انفجار هوش

0:14:24.790,0:14:27.653
شاید نیاز به وضع آن به روش درست دارد،

0:14:27.653,0:14:31.183
اگر که خواستار انفجار کنترل شده ای هستیم.

0:14:31.183,0:14:33.801
ارزشهایی که هوش مصنوعی برای هماهنگی با ما نیاز دارد،

0:14:33.801,0:14:35.561
نه فقط در بافتی مشابه،

0:14:35.561,0:14:37.999
مثل جایی که به راحتی بشود[br]نحوه کارکرد هوش مصنوعی را بررسی کرد،

0:14:37.999,0:14:41.233
اما همچنین در همه بافتهای جدیدی که هوش مصنوعی در آینده نامعلوم

0:14:41.233,0:14:42.790
شاید با آن مواجه گردد.

0:14:42.790,0:14:47.527
و شاید همینطور مسائل محرمانه ای باشند که نیاز به حل شدن و جداسازی دارند:

0:14:47.527,0:14:49.616
جزییات دقیق نظریه تصمیم گیری،

0:14:49.616,0:14:52.480
نحوه برخورد با بلاتکلیفی منطقی و الی آخر.

0:14:53.330,0:14:56.432
بنابراین مشکلات تکنیکی که نیاز به حل شدن دارند تا این کار

0:14:56.432,0:14:57.545
نسبتا دشوار به نظر رسد--

0:14:57.545,0:15:00.925
نه به دشواری ساخت یک ابر هوشمند،

0:15:00.925,0:15:03.793
اما کمابیش دشوار.

0:15:03.793,0:15:05.488
نگرانی که هست:

0:15:05.488,0:15:10.172
ساخت ابر هوشمند چالش واقعا دشواری است.

0:15:10.172,0:15:12.720
ساخت سوپر ابرهوشمندی که ایمن است

0:15:12.720,0:15:15.136
دربرگیرنده چالش اضافی علاوه بر آن نیز هست.

0:15:16.216,0:15:19.703
خطر زمانی است که کسی پی به کرک کردن چالش اولی ببرد

0:15:19.703,0:15:22.704
بی آنکه چالش اضافی مربوط به تضمین ایمنی کامل

0:15:22.704,0:15:24.605
را هک کرده باشد.

0:15:25.375,0:15:28.706
پس بنظرم باید به فکر راه حلی باشیم

0:15:28.706,0:15:31.528
که مشکل را از پیش حل کند،

0:15:31.528,0:15:34.188
تا در صورت نیاز آن را در اختیار داشته باشیم.

0:15:34.768,0:15:38.275
حال شاید اینطور باشد که ما نمی توانیم مشکل کنترل کلی را از پیش حل کنیم

0:15:38.275,0:15:41.299
چون احتمالا برخی المانها را تنها در صورتی میشود در جایشان قرار داد

0:15:41.299,0:15:45.296
که از جزییات معماری مربوط به جاسازیشان باخبر باشید.

0:15:45.296,0:15:48.676
اما مضاف بر مشکل کنترل که پیشاپیش حلش می کنیم،

0:15:48.676,0:15:52.766
احتمال می رود که انتقال به عصر هوش ماشینی

0:15:52.766,0:15:54.306
خوب پیش برود.

0:15:54.306,0:15:58.950
که بنظرم چیزی است که کاملا ارزش انجامش را دارد

0:15:58.950,0:16:02.282
و می توانم تصور کنم که نتیجه اش خوب باشد،

0:16:02.282,0:16:06.940
که آدمهای یک میلیون سال بعد، به این قرن نگاه می کنند

0:16:06.940,0:16:10.942
و احتمالا خواهند گفت که شاید تنها کار بارارزشی که ما انجام دادیم

0:16:10.942,0:16:12.509
به سرانجام رساندن درست آن بود.

0:16:12.509,0:16:14.198
متشکرم.

0:16:14.198,0:16:17.011
(تشویق)