Będę mówić o porażce intuicji,
której tak wielu z nas doznaje.
To niemożność dostrzegania
pewnego rodzaju niebezpieczeństwa.
Przedstawię scenariusz,
który moim zdaniem jest
zarówno przerażający,
jak i prawdopodobny,
a to kiepskie połączenie,
jak się okazuje.
A jednak, zamiast strachu,
większość z was poczuje,
że to, o czym mowa, jest nawet fajne.
Będę mówić, jak postępy
w tworzeniu sztucznej inteligencji
mogą nas zniszczyć.
Tak naprawdę trudno,
żeby nas nie zniszczyły
lub nie zainspirowały do samozniszczenia.
Jeśli, podobnie jak ja,
uważacie, że fajnie jest
myśleć o tych sprawach,
jesteście częścią problemu.
To powinno was martwić.
Gdybym starał się was przekonać,
że czeka nas globalny głód,
wynikający ze zmian klimatycznych
lub innej katastrofy,
i że wasze prawnuki, bądź ich prawnuki
mogą tak żyć,
zapewne nie pomyślelibyście:
"Interesujące.
Podoba mi się ta prelekcja".
Głód nie jest zabawny.
Natomiast śmierć spowodowana
science fiction - owszem.
W pracach nad SI
najbardziej martwi mnie to,
że nasza emocjonalna reakcja
jest nieadekwatna
do niebezpieczeństwa, przed jakim stoimy.
Sam nie potrafię zdobyć się
na taką reakcję, a o niej mówię.
To tak, jakbyśmy mieli
do wyboru dwoje drzwi.
Za drzwiami numer jeden
przestajemy pracować nad budową
inteligentnych maszyn.
Ulepszanie sprzętu komputerowego
i oprogramowania ustaje.
Zastanówmy się, co mogłoby być przyczyną.
Biorąc pod uwagę, jak cenne są
inteligencja i automatyka,
będziemy nadal jak się da
ulepszać technologię.
Co mogłoby nas powstrzymać?
Wojna atomowa na pełną skalę?
Globalna pandemia?
Uderzenie asteroidy?
Justin Bieber jako prezydent USA?
(Śmiech)
Coś musiałoby zniszczyć znaną cywilizację.
Tylko wyjątkowo zła sytuacja
uniemożliwiłaby nam dokonywania
ulepszeń technologicznych
na stałe,
pokolenie za pokoleniem.
To chyba najgorsza rzecz,
jaka mogłaby przydarzyć się ludzkości.
Jedyną alternatywą jest to,
co kryje się za drzwiami numer dwa:
dalsze udoskonalanie
inteligentnych maszyn,
rok po roku.
W pewnym momencie stworzymy
maszyny mądrzejsze od nas,
a takie maszyny
zaczną ulepszać siebie same.
Dojdziemy do tego,
co matematyk IJ Good nazywa
"eksplozją inteligencji",
a ten proces może wymknąć spod kontroli.
Często przedstawiają to takie karykatury,
jako obawę
przed atakiem armii złośliwych robotów.
Ale to nie jest najbardziej
prawdopodobny scenariusz.
Maszyny nie staną się nagle złośliwe.
Problemem może być raczej to,
że będziemy budować maszyny
tak dalece kompetentniejsze od nas,
że najmniejsza rozbieżność
między ich celami i naszymi
może nas zniszczyć.
Weźmy nasz stosunek do mrówek.
Nie nienawidzimy ich.
Nie chcemy im specjalnie zaszkodzić.
Czasami nawet staramy się
im nie zaszkodzić.
Omijamy je na chodniku.
Ale gdy ich obecność
poważnie kłóci się z naszym celem,
jak przy budowie budynku,
niszczymy je bez skrupułów.
Istnieje obawa, że kiedyś
skonstruujemy maszyny,
świadome, czy też nie,
które potraktują nas
z podobnym lekceważeniem.
Pewnie dla wielu z was uzna,
że posuwam się za daleko.
Niektórzy pewnie wątpią,
że superinteligentna SI jest możliwa,
a co dopiero nieunikniona.
Jednak wtedy musicie znaleźć
wady następujących założeń.
Założenia są trzy.
Inteligencja dotyczy przetwarzania
informacji w systemach fizycznych.
Właściwie to więcej niż założenie.
Wbudowaliśmy już pewną SI do maszyn
i wiele z nich działa
na poziomie nadludzkiej inteligencji.
Tylko krok może nas dzielić
od osiągnięcia czegoś, co nazywane
jest "generalną inteligencją".
To zdolność elastycznego myślenia
na przekroju wielu dziedzin,
co potrafi ludzki mózg, prawda?
Tu w środku są głównie atomy
i o ile budujemy z atomów systemy,
wykazujące coraz bardziej
inteligentne zachowanie,
to, jeśli nam nic nie przeszkodzi,
w końcu uda nam się
stworzyć ogólną inteligencję
w maszynach.
Trzeba sobie uświadomić,
że tempo postępu nie ma znaczenia,
bo każde tempo doprowadzi
do strefy końcowej.
Nie potrzeba prawa Moore'a
ani gwałtownego postępu.
Wystarczy nie przestawać.
To drugie założenie: nie przestaniemy.
Będziemy nadal udoskonalać
inteligentne maszyny.
A biorąc pod uwagę wartość inteligencji...
Inteligencja jest albo źródłem
wszystkiego, co cenimy,
albo zabezpiecza wszystko, co cenimy.
Jest naszym najcenniejszym zasobem.
Dlatego nie chcemy się jej pozbywać.
Mamy problemy, które rozpaczliwie
potrzebują rozwiązania.
Szukamy leków na chorobę
Alzheimera i raka,
chcemy zrozumieć systemy gospodarcze,
walczyć ze zmianami klimatycznymi.
Zrobimy to, jeśli tylko się da.
Pociąg już odjechał, nie ma odwrotu.
Daleko nam również
do osiągnięcia szczytu inteligencji.
Nawet się do tego nie zbliżamy.
To naprawdę bardzo istotne.
Właśnie dlatego
sytuacja jest tak niepewna,
a przeczucia co do ryzyka tak zawodne.
Kto był najmądrzejszym
człowiekiem w historii?
Prawie każdy zapewne pomyślał
o Johnie von Neumannie.
Neumann za takiego uchodził
nawet wśród największych
matematyków i fizyków swoich czasów,
to dość dobrze udokumentowane.
Nawet jeśli tylko połowa opowieści
o nim jest w połowie prawdą,
nie ma wątpliwości, że był jednym
z najmądrzejszych ludzi w historii.
Zastanówmy się nad spektrum inteligencji.
Tutaj mamy Johna von Neumanna.
Tutaj nas.
A tu mamy kurczaka.
(Śmiech)
Przepraszam, kurczak jest tutaj.
(Śmiech)
Nie ma co przygnębiać
tą prelekcją bez potrzeby.
(Śmiech)
Wydaje się jednak prawdopodobne,
że spektrum inteligencji
rozciąga się znacznie dalej,
niż można to sobie wyobrazić.
A jeśli tworzymy maszyny
inteligentniejsze od nas,
pewnie będą chciały
to spektrum poznać na sposoby,
jakich nie możemy sobie wyobrazić,
i przewyższyć nas na sposoby,
jakich nie możemy sobie wyobrazić.
Trzeba zdać sobie sprawę,
że prawda tego faktu wynika
z samej prędkości postępu.
Powiedzmy, że skonstruowano
superinteligentną SI,
która nie jest bystrzejsza
od przeciętnego zespołu naukowców
na Stanford czy MIT.
Obwody elektroniczne funkcjonują
około miliona razy szybciej
niż biochemiczne,
zatem maszyna powinna myśleć
milion razy szybciej
niż umysły, które je zbudowały.
Po tygodniu pracy
osiągnie intelektualnie to,
nad czym ludzkość pracowała 20 000 lat,
i tak tydzień za tygodniem.
Jak można pojąć,
a tym bardziej ograniczyć,
umysł robiący tego rodzaju postępy?
Inna niepokojąca sprawa.
Wyobraźmy sobie najlepszy
możliwy scenariusz.
Zaprojektowano superinteligentną SI,
która nie budzi obaw
jeśli chodzi o bezpieczeństwo.
Projekt jest idealny.
Prawie jak wyrocznia
spełniająca wszystkie oczekiwania.
Idealne rozwiązanie
dla oszczędności pracy.
Może zaprojektować i zbudować urządzenie
do wykonania każdej fizycznej pracy,
zasilane przez światło słoneczne,
po kosztach surowców.
Mowa zatem o końcu ludzkiego znoju,
ale też o końcu większości
prac intelektualnych.
Co zatem pozostaje
dla człekokształtnych jak my?
Będziemy mieć pewnie dużo czasu
na grę w frisbee i masaże.
Dodać trochę LSD i kiepskie ciuchy
i cały świat będzie jak zlot hipisów.
(Śmiech)
To może brzmieć zachęcająco,
ale co się stanie
w obecnym porządku
ekonomicznym i politycznym?
Prawdopodobnie doświadczymy
nierówności majątkowych i bezrobocia,
na niespotykanym poziomie.
Jeśli zabraknie woli oddania
nowo zdobytego bogactwa
na użytek całej ludzkości,
kilku miliarderów będzie zdobić
okładki magazynów,
rzucając resztę świata na pastwę losu.
Co zrobiliby Rosjanie czy Chińczycy
na wieść, że firma w Dolinie Krzemowej
stworzyła superinteligentną SI?
Ta maszyna umiałaby przecież
prowadzić wojny,
tak naziemną jak i cybernetyczną,
z niespotykaną dotąd mocą.
To scenariusz typu
"zwycięzca bierze wszystko".
6-miesięczna przewaga
nad konkurencją w tej dziedzinie
równa się przewadze 500 000 lat,
minimum.
Nawet zwykłe pogłoski
o tego rodzaju przełomie
mogą spowodować panikę.
Najbardziej przeraża mnie teraz
sposób, w jaki naukowcy SI
starają się nas uspakajać.
Najczęstszym argumentem
za odrzuceniem obaw jest czas.
Że to wszystko bardzo odległe,
że to kwestia 50 lub 100 lat.
Jeden naukowiec powiedział,
"Martwić się o bezpieczeństwo SI,
to jak martwić się
o przeludnienie na Marsie ".
To w Dolinie Krzemowej odpowiednik
"Nie zaprzątaj tym
swojej ślicznej główki".
(Śmiech)
Nikt nie zdaje się zauważać,
że odwoływanie się do horyzontu czasowego
nie ma żadnego znaczenia.
Jeśli inteligencja jest tylko
kwestią przetwarzania informacji,
a my nadal będziemy udoskonalać maszyny,
w końcu stworzymy jakąś
formę superinteligencji.
Nie wiadomo,
ile zajmie stworzenie warunków,
aby to zrobić bezpiecznie.
Pozwólcie, że powtórzę.
Nie wiadomo, jak długo potrwa
stworzenie warunków,
aby to zrobić bezpiecznie.
Trudno nie zauważyć, że 50 lat
ma już inną miarę.
Oto 50 lat w miesiącach.
Oto, jak długo mamy iPhone.
Oto, jak długo "Simpsonowie"
lecą w telewizji.
Pięćdziesiąt lat to niewiele,
by stawić czoła największemu wyzwaniu,
jakie czeka nasz gatunek.
A my nie umiemy nawet
właściwie zareagować na coś,
co niemal na pewno nadchodzi.
Informatyk Stuart Russell pięknie to ujął:
"Wyobraźmy sobie
wiadomość od obcej cywilizacji,
która brzmi:
"Ziemianie,
dolecimy do waszej planety w ciągu 50 lat.
Przygotujcie się".
Pewnie zaczęlibyśmy
odliczanie do ich przyjazdu,
sprawa byłaby pilna.
Mówią nam, żeby się nie martwić,
bo maszyny na pewno będą
podzielać nasze wartości,
ponieważ będą dosłownie
przedłużeniem nas samych.
Wszczepi się nam je do mózgów,
a my będziemy ich układem limbicznym.
Weźmy pod uwagę,
że najbezpieczniejsze
i najrozsądniejsze zalecenie
to wszczepić tę technologię
bezpośrednio do mózgu.
Może to rzeczywiście najbezpieczniejszy
i najrozsądniejszy sposób,
ale zazwyczaj względy bezpieczeństwa
dotyczące technologii
należy wypracować
przed umieszczeniem jej w głowie.
(Śmiech)
Większym problemem jest to że, budowa
samodzielnej superinteligentnej SI
wydaje się łatwiejsza
niż budowa superinteligentnej SI
i skompletowanie
badań neurobiologicznych
pozwalających na bezproblemowe
sprzężenie jej z umysłem.
Zaangażowane przedsiębiorstwa i rządy
uważają to za rywalizację,
gdzie wygrany zyskuje cały świat,
pod warunkiem, że nie zniszczy
wszystkiego w ostatniej chwili,
więc nie trudno zgadnąć,
że to, co łatwiej osiągnąć,
zostanie zrobione w pierwszej kolejności.
Niestety, nie mam
rozwiązania tego problemu.
Zalecałbym jednak zacząć się
nad tym zastanawiać.
Potrzeba nam czegoś w rodzaju
Projektu Manhattan
odnośnie sztucznej inteligencji.
Nie chodzi o zbudowanie jej,
bo to jest nieuchronne,
ale by zrozumieć,
jak uniknąć wyścigu zbrojeń
i zbudować ją w sposób
zgodny z naszym interesem.
Kiedy mowa o superinteligentnej SI,
która sama może się udoskonalać,
mamy tylko jedną szansę na stworzenie
odpowiednich warunków początkowych
i nawet wtedy będziemy musieli liczyć się
z konsekwencjami ekonomicznymi
i politycznymi tworzenia tych warunków.
Ale w momencie, gdy przyznamy
że przetwarzanie informacji
jest źródłem inteligencji,
że odpowiedni system obliczeniowy
jest podstawą inteligencji
i przyznamy, że chcemy
te systemy ciągle udoskonalać,
przyznamy też, że horyzont poznania
prawdopodobnie znacznie przekracza
naszą obecną wiedzę,
będziemy musieli przyznać,
że będzie to proces tworzenia
pewnego rodzaju boga.
Teraz jest odpowiedni czas,
by upewnić się, że będzie to bóg,
z którym da się żyć.
Dziękuję bardzo.
(Brawa)