Będę mówić o porażce intuicji, której tak wielu z nas doznaje. To niemożność dostrzegania pewnego rodzaju niebezpieczeństwa. Przedstawię scenariusz, który moim zdaniem jest zarówno przerażający, jak i prawdopodobny, a to kiepskie połączenie, jak się okazuje. A jednak, zamiast strachu, większość z was poczuje, że to, o czym mowa, jest nawet fajne. Będę mówić, jak postępy w tworzeniu sztucznej inteligencji mogą nas zniszczyć. Tak naprawdę trudno, żeby nas nie zniszczyły lub nie zainspirowały do samozniszczenia. Jeśli, podobnie jak ja, uważacie, że fajnie jest myśleć o tych sprawach, jesteście częścią problemu. To powinno was martwić. Gdybym starał się was przekonać, że czeka nas globalny głód, wynikający ze zmian klimatycznych lub innej katastrofy, i że wasze prawnuki, bądź ich prawnuki mogą tak żyć, zapewne nie pomyślelibyście: "Interesujące. Podoba mi się ta prelekcja". Głód nie jest zabawny. Natomiast śmierć spowodowana science fiction - owszem. W pracach nad SI najbardziej martwi mnie to, że nasza emocjonalna reakcja jest nieadekwatna do niebezpieczeństwa, przed jakim stoimy. Sam nie potrafię zdobyć się na taką reakcję, a o niej mówię. To tak, jakbyśmy mieli do wyboru dwoje drzwi. Za drzwiami numer jeden przestajemy pracować nad budową inteligentnych maszyn. Ulepszanie sprzętu komputerowego i oprogramowania ustaje. Zastanówmy się, co mogłoby być przyczyną. Biorąc pod uwagę, jak cenne są inteligencja i automatyka, będziemy nadal jak się da ulepszać technologię. Co mogłoby nas powstrzymać? Wojna atomowa na pełną skalę? Globalna pandemia? Uderzenie asteroidy? Justin Bieber jako prezydent USA? (Śmiech) Coś musiałoby zniszczyć znaną cywilizację. Tylko wyjątkowo zła sytuacja uniemożliwiłaby nam dokonywania ulepszeń technologicznych na stałe, pokolenie za pokoleniem. To chyba najgorsza rzecz, jaka mogłaby przydarzyć się ludzkości. Jedyną alternatywą jest to, co kryje się za drzwiami numer dwa: dalsze udoskonalanie inteligentnych maszyn, rok po roku. W pewnym momencie stworzymy maszyny mądrzejsze od nas, a takie maszyny zaczną ulepszać siebie same. Dojdziemy do tego, co matematyk IJ Good nazywa "eksplozją inteligencji", a ten proces może wymknąć spod kontroli. Często przedstawiają to takie karykatury, jako obawę przed atakiem armii złośliwych robotów. Ale to nie jest najbardziej prawdopodobny scenariusz. Maszyny nie staną się nagle złośliwe. Problemem może być raczej to, że będziemy budować maszyny tak dalece kompetentniejsze od nas, że najmniejsza rozbieżność między ich celami i naszymi może nas zniszczyć. Weźmy nasz stosunek do mrówek. Nie nienawidzimy ich. Nie chcemy im specjalnie zaszkodzić. Czasami nawet staramy się im nie zaszkodzić. Omijamy je na chodniku. Ale gdy ich obecność poważnie kłóci się z naszym celem, jak przy budowie budynku, niszczymy je bez skrupułów. Istnieje obawa, że kiedyś skonstruujemy maszyny, świadome, czy też nie, które potraktują nas z podobnym lekceważeniem. Pewnie dla wielu z was uzna, że posuwam się za daleko. Niektórzy pewnie wątpią, że superinteligentna SI jest możliwa, a co dopiero nieunikniona. Jednak wtedy musicie znaleźć wady następujących założeń. Założenia są trzy. Inteligencja dotyczy przetwarzania informacji w systemach fizycznych. Właściwie to więcej niż założenie. Wbudowaliśmy już pewną SI do maszyn i wiele z nich działa na poziomie nadludzkiej inteligencji. Tylko krok może nas dzielić od osiągnięcia czegoś, co nazywane jest "generalną inteligencją". To zdolność elastycznego myślenia na przekroju wielu dziedzin, co potrafi ludzki mózg, prawda? Tu w środku są głównie atomy i o ile budujemy z atomów systemy, wykazujące coraz bardziej inteligentne zachowanie, to, jeśli nam nic nie przeszkodzi, w końcu uda nam się stworzyć ogólną inteligencję w maszynach. Trzeba sobie uświadomić, że tempo postępu nie ma znaczenia, bo każde tempo doprowadzi do strefy końcowej. Nie potrzeba prawa Moore'a ani gwałtownego postępu. Wystarczy nie przestawać. To drugie założenie: nie przestaniemy. Będziemy nadal udoskonalać inteligentne maszyny. A biorąc pod uwagę wartość inteligencji... Inteligencja jest albo źródłem wszystkiego, co cenimy, albo zabezpiecza wszystko, co cenimy. Jest naszym najcenniejszym zasobem. Dlatego nie chcemy się jej pozbywać. Mamy problemy, które rozpaczliwie potrzebują rozwiązania. Szukamy leków na chorobę Alzheimera i raka, chcemy zrozumieć systemy gospodarcze, walczyć ze zmianami klimatycznymi. Zrobimy to, jeśli tylko się da. Pociąg już odjechał, nie ma odwrotu. Daleko nam również do osiągnięcia szczytu inteligencji. Nawet się do tego nie zbliżamy. To naprawdę bardzo istotne. Właśnie dlatego sytuacja jest tak niepewna, a przeczucia co do ryzyka tak zawodne. Kto był najmądrzejszym człowiekiem w historii? Prawie każdy zapewne pomyślał o Johnie von Neumannie. Neumann za takiego uchodził nawet wśród największych matematyków i fizyków swoich czasów, to dość dobrze udokumentowane. Nawet jeśli tylko połowa opowieści o nim jest w połowie prawdą, nie ma wątpliwości, że był jednym z najmądrzejszych ludzi w historii. Zastanówmy się nad spektrum inteligencji. Tutaj mamy Johna von Neumanna. Tutaj nas. A tu mamy kurczaka. (Śmiech) Przepraszam, kurczak jest tutaj. (Śmiech) Nie ma co przygnębiać tą prelekcją bez potrzeby. (Śmiech) Wydaje się jednak prawdopodobne, że spektrum inteligencji rozciąga się znacznie dalej, niż można to sobie wyobrazić. A jeśli tworzymy maszyny inteligentniejsze od nas, pewnie będą chciały to spektrum poznać na sposoby, jakich nie możemy sobie wyobrazić, i przewyższyć nas na sposoby, jakich nie możemy sobie wyobrazić. Trzeba zdać sobie sprawę, że prawda tego faktu wynika z samej prędkości postępu. Powiedzmy, że skonstruowano superinteligentną SI, która nie jest bystrzejsza od przeciętnego zespołu naukowców na Stanford czy MIT. Obwody elektroniczne funkcjonują około miliona razy szybciej niż biochemiczne, zatem maszyna powinna myśleć milion razy szybciej niż umysły, które je zbudowały. Po tygodniu pracy osiągnie intelektualnie to, nad czym ludzkość pracowała 20 000 lat, i tak tydzień za tygodniem. Jak można pojąć, a tym bardziej ograniczyć, umysł robiący tego rodzaju postępy? Inna niepokojąca sprawa. Wyobraźmy sobie najlepszy możliwy scenariusz. Zaprojektowano superinteligentną SI, która nie budzi obaw jeśli chodzi o bezpieczeństwo. Projekt jest idealny. Prawie jak wyrocznia spełniająca wszystkie oczekiwania. Idealne rozwiązanie dla oszczędności pracy. Może zaprojektować i zbudować urządzenie do wykonania każdej fizycznej pracy, zasilane przez światło słoneczne, po kosztach surowców. Mowa zatem o końcu ludzkiego znoju, ale też o końcu większości prac intelektualnych. Co zatem pozostaje dla człekokształtnych jak my? Będziemy mieć pewnie dużo czasu na grę w frisbee i masaże. Dodać trochę LSD i kiepskie ciuchy i cały świat będzie jak zlot hipisów. (Śmiech) To może brzmieć zachęcająco, ale co się stanie w obecnym porządku ekonomicznym i politycznym? Prawdopodobnie doświadczymy nierówności majątkowych i bezrobocia, na niespotykanym poziomie. Jeśli zabraknie woli oddania nowo zdobytego bogactwa na użytek całej ludzkości, kilku miliarderów będzie zdobić okładki magazynów, rzucając resztę świata na pastwę losu. Co zrobiliby Rosjanie czy Chińczycy na wieść, że firma w Dolinie Krzemowej stworzyła superinteligentną SI? Ta maszyna umiałaby przecież prowadzić wojny, tak naziemną jak i cybernetyczną, z niespotykaną dotąd mocą. To scenariusz typu "zwycięzca bierze wszystko". 6-miesięczna przewaga nad konkurencją w tej dziedzinie równa się przewadze 500 000 lat, minimum. Nawet zwykłe pogłoski o tego rodzaju przełomie mogą spowodować panikę. Najbardziej przeraża mnie teraz sposób, w jaki naukowcy SI starają się nas uspakajać. Najczęstszym argumentem za odrzuceniem obaw jest czas. Że to wszystko bardzo odległe, że to kwestia 50 lub 100 lat. Jeden naukowiec powiedział, "Martwić się o bezpieczeństwo SI, to jak martwić się o przeludnienie na Marsie ". To w Dolinie Krzemowej odpowiednik "Nie zaprzątaj tym swojej ślicznej główki". (Śmiech) Nikt nie zdaje się zauważać, że odwoływanie się do horyzontu czasowego nie ma żadnego znaczenia. Jeśli inteligencja jest tylko kwestią przetwarzania informacji, a my nadal będziemy udoskonalać maszyny, w końcu stworzymy jakąś formę superinteligencji. Nie wiadomo, ile zajmie stworzenie warunków, aby to zrobić bezpiecznie. Pozwólcie, że powtórzę. Nie wiadomo, jak długo potrwa stworzenie warunków, aby to zrobić bezpiecznie. Trudno nie zauważyć, że 50 lat ma już inną miarę. Oto 50 lat w miesiącach. Oto, jak długo mamy iPhone. Oto, jak długo "Simpsonowie" lecą w telewizji. Pięćdziesiąt lat to niewiele, by stawić czoła największemu wyzwaniu, jakie czeka nasz gatunek. A my nie umiemy nawet właściwie zareagować na coś, co niemal na pewno nadchodzi. Informatyk Stuart Russell pięknie to ujął: "Wyobraźmy sobie wiadomość od obcej cywilizacji, która brzmi: "Ziemianie, dolecimy do waszej planety w ciągu 50 lat. Przygotujcie się". Pewnie zaczęlibyśmy odliczanie do ich przyjazdu, sprawa byłaby pilna. Mówią nam, żeby się nie martwić, bo maszyny na pewno będą podzielać nasze wartości, ponieważ będą dosłownie przedłużeniem nas samych. Wszczepi się nam je do mózgów, a my będziemy ich układem limbicznym. Weźmy pod uwagę, że najbezpieczniejsze i najrozsądniejsze zalecenie to wszczepić tę technologię bezpośrednio do mózgu. Może to rzeczywiście najbezpieczniejszy i najrozsądniejszy sposób, ale zazwyczaj względy bezpieczeństwa dotyczące technologii należy wypracować przed umieszczeniem jej w głowie. (Śmiech) Większym problemem jest to że, budowa samodzielnej superinteligentnej SI wydaje się łatwiejsza niż budowa superinteligentnej SI i skompletowanie badań neurobiologicznych pozwalających na bezproblemowe sprzężenie jej z umysłem. Zaangażowane przedsiębiorstwa i rządy uważają to za rywalizację, gdzie wygrany zyskuje cały świat, pod warunkiem, że nie zniszczy wszystkiego w ostatniej chwili, więc nie trudno zgadnąć, że to, co łatwiej osiągnąć, zostanie zrobione w pierwszej kolejności. Niestety, nie mam rozwiązania tego problemu. Zalecałbym jednak zacząć się nad tym zastanawiać. Potrzeba nam czegoś w rodzaju Projektu Manhattan odnośnie sztucznej inteligencji. Nie chodzi o zbudowanie jej, bo to jest nieuchronne, ale by zrozumieć, jak uniknąć wyścigu zbrojeń i zbudować ją w sposób zgodny z naszym interesem. Kiedy mowa o superinteligentnej SI, która sama może się udoskonalać, mamy tylko jedną szansę na stworzenie odpowiednich warunków początkowych i nawet wtedy będziemy musieli liczyć się z konsekwencjami ekonomicznymi i politycznymi tworzenia tych warunków. Ale w momencie, gdy przyznamy że przetwarzanie informacji jest źródłem inteligencji, że odpowiedni system obliczeniowy jest podstawą inteligencji i przyznamy, że chcemy te systemy ciągle udoskonalać, przyznamy też, że horyzont poznania prawdopodobnie znacznie przekracza naszą obecną wiedzę, będziemy musieli przyznać, że będzie to proces tworzenia pewnego rodzaju boga. Teraz jest odpowiedni czas, by upewnić się, że będzie to bóg, z którym da się żyć. Dziękuję bardzo. (Brawa)