Return to Video

Jak zbudować sztuczną inteligencję, nie tracąc nad nią kontroli

  • 0:01 - 0:03
    Będę mówić o porażce intuicji,
  • 0:03 - 0:05
    której tak wielu z nas doznaje.
  • 0:05 - 0:09
    To niemożność dostrzegania
    pewnego rodzaju niebezpieczeństwa.
  • 0:09 - 0:11
    Przedstawię scenariusz,
  • 0:11 - 0:14
    który moim zdaniem jest
    zarówno przerażający,
  • 0:14 - 0:16
    jak i prawdopodobny,
  • 0:17 - 0:18
    a to kiepskie połączenie,
  • 0:19 - 0:20
    jak się okazuje.
  • 0:20 - 0:23
    A jednak, zamiast strachu,
    większość z was poczuje,
  • 0:23 - 0:25
    że to, o czym mowa, jest nawet fajne.
  • 0:25 - 0:28
    Będę mówić, jak postępy
  • 0:28 - 0:30
    w tworzeniu sztucznej inteligencji
  • 0:30 - 0:32
    mogą nas zniszczyć.
  • 0:32 - 0:35
    Tak naprawdę trudno,
    żeby nas nie zniszczyły
  • 0:35 - 0:37
    lub nie zainspirowały do samozniszczenia.
  • 0:37 - 0:39
    Jeśli, podobnie jak ja,
  • 0:39 - 0:42
    uważacie, że fajnie jest
    myśleć o tych sprawach,
  • 0:42 - 0:45
    jesteście częścią problemu.
  • 0:45 - 0:48
    To powinno was martwić.
  • 0:48 - 0:51
    Gdybym starał się was przekonać,
  • 0:51 - 0:54
    że czeka nas globalny głód,
  • 0:54 - 0:57
    wynikający ze zmian klimatycznych
    lub innej katastrofy,
  • 0:57 - 1:01
    i że wasze prawnuki, bądź ich prawnuki
  • 1:01 - 1:03
    mogą tak żyć,
  • 1:03 - 1:05
    zapewne nie pomyślelibyście:
  • 1:05 - 1:07
    "Interesujące.
  • 1:07 - 1:09
    Podoba mi się ta prelekcja".
  • 1:09 - 1:11
    Głód nie jest zabawny.
  • 1:12 - 1:15
    Natomiast śmierć spowodowana
    science fiction - owszem.
  • 1:15 - 1:19
    W pracach nad SI
    najbardziej martwi mnie to,
  • 1:19 - 1:23
    że nasza emocjonalna reakcja
    jest nieadekwatna
  • 1:23 - 1:25
    do niebezpieczeństwa, przed jakim stoimy.
  • 1:25 - 1:29
    Sam nie potrafię zdobyć się
    na taką reakcję, a o niej mówię.
  • 1:30 - 1:33
    To tak, jakbyśmy mieli
    do wyboru dwoje drzwi.
  • 1:33 - 1:34
    Za drzwiami numer jeden
  • 1:34 - 1:37
    przestajemy pracować nad budową
    inteligentnych maszyn.
  • 1:37 - 1:41
    Ulepszanie sprzętu komputerowego
    i oprogramowania ustaje.
  • 1:41 - 1:44
    Zastanówmy się, co mogłoby być przyczyną.
  • 1:45 - 1:49
    Biorąc pod uwagę, jak cenne są
    inteligencja i automatyka,
  • 1:49 - 1:52
    będziemy nadal jak się da
    ulepszać technologię.
  • 1:53 - 1:55
    Co mogłoby nas powstrzymać?
  • 1:56 - 1:58
    Wojna atomowa na pełną skalę?
  • 1:59 - 2:01
    Globalna pandemia?
  • 2:02 - 2:04
    Uderzenie asteroidy?
  • 2:06 - 2:08
    Justin Bieber jako prezydent USA?
  • 2:08 - 2:11
    (Śmiech)
  • 2:13 - 2:17
    Coś musiałoby zniszczyć znaną cywilizację.
  • 2:17 - 2:22
    Tylko wyjątkowo zła sytuacja
  • 2:22 - 2:25
    uniemożliwiłaby nam dokonywania
    ulepszeń technologicznych
  • 2:25 - 2:26
    na stałe,
  • 2:26 - 2:28
    pokolenie za pokoleniem.
  • 2:28 - 2:30
    To chyba najgorsza rzecz,
  • 2:30 - 2:33
    jaka mogłaby przydarzyć się ludzkości.
  • 2:33 - 2:34
    Jedyną alternatywą jest to,
  • 2:34 - 2:36
    co kryje się za drzwiami numer dwa:
  • 2:36 - 2:39
    dalsze udoskonalanie
    inteligentnych maszyn,
  • 2:39 - 2:41
    rok po roku.
  • 2:42 - 2:45
    W pewnym momencie stworzymy
    maszyny mądrzejsze od nas,
  • 2:46 - 2:49
    a takie maszyny
  • 2:49 - 2:51
    zaczną ulepszać siebie same.
  • 2:51 - 2:53
    Dojdziemy do tego,
    co matematyk IJ Good nazywa
  • 2:53 - 2:55
    "eksplozją inteligencji",
  • 2:55 - 2:58
    a ten proces może wymknąć spod kontroli.
  • 2:58 - 3:01
    Często przedstawiają to takie karykatury,
  • 3:01 - 3:02
    jako obawę
  • 3:02 - 3:06
    przed atakiem armii złośliwych robotów.
  • 3:06 - 3:08
    Ale to nie jest najbardziej
    prawdopodobny scenariusz.
  • 3:08 - 3:13
    Maszyny nie staną się nagle złośliwe.
  • 3:13 - 3:16
    Problemem może być raczej to,
    że będziemy budować maszyny
  • 3:16 - 3:18
    tak dalece kompetentniejsze od nas,
  • 3:18 - 3:22
    że najmniejsza rozbieżność
    między ich celami i naszymi
  • 3:22 - 3:24
    może nas zniszczyć.
  • 3:24 - 3:27
    Weźmy nasz stosunek do mrówek.
  • 3:27 - 3:28
    Nie nienawidzimy ich.
  • 3:28 - 3:30
    Nie chcemy im specjalnie zaszkodzić.
  • 3:30 - 3:33
    Czasami nawet staramy się
    im nie zaszkodzić.
  • 3:33 - 3:35
    Omijamy je na chodniku.
  • 3:35 - 3:37
    Ale gdy ich obecność
  • 3:37 - 3:39
    poważnie kłóci się z naszym celem,
  • 3:39 - 3:42
    jak przy budowie budynku,
  • 3:42 - 3:44
    niszczymy je bez skrupułów.
  • 3:44 - 3:47
    Istnieje obawa, że kiedyś
    skonstruujemy maszyny,
  • 3:47 - 3:50
    świadome, czy też nie,
  • 3:50 - 3:53
    które potraktują nas
    z podobnym lekceważeniem.
  • 3:54 - 3:57
    Pewnie dla wielu z was uzna,
    że posuwam się za daleko.
  • 3:57 - 4:03
    Niektórzy pewnie wątpią,
    że superinteligentna SI jest możliwa,
  • 4:03 - 4:05
    a co dopiero nieunikniona.
  • 4:05 - 4:09
    Jednak wtedy musicie znaleźć
    wady następujących założeń.
  • 4:09 - 4:11
    Założenia są trzy.
  • 4:12 - 4:17
    Inteligencja dotyczy przetwarzania
    informacji w systemach fizycznych.
  • 4:17 - 4:20
    Właściwie to więcej niż założenie.
  • 4:20 - 4:23
    Wbudowaliśmy już pewną SI do maszyn
  • 4:23 - 4:26
    i wiele z nich działa
  • 4:26 - 4:28
    na poziomie nadludzkiej inteligencji.
  • 4:29 - 4:31
    Tylko krok może nas dzielić
  • 4:31 - 4:34
    od osiągnięcia czegoś, co nazywane
    jest "generalną inteligencją".
  • 4:34 - 4:38
    To zdolność elastycznego myślenia
    na przekroju wielu dziedzin,
  • 4:38 - 4:41
    co potrafi ludzki mózg, prawda?
  • 4:41 - 4:45
    Tu w środku są głównie atomy
  • 4:45 - 4:49
    i o ile budujemy z atomów systemy,
  • 4:49 - 4:52
    wykazujące coraz bardziej
    inteligentne zachowanie,
  • 4:52 - 4:55
    to, jeśli nam nic nie przeszkodzi,
  • 4:55 - 4:58
    w końcu uda nam się
    stworzyć ogólną inteligencję
  • 4:58 - 4:59
    w maszynach.
  • 4:59 - 5:03
    Trzeba sobie uświadomić,
    że tempo postępu nie ma znaczenia,
  • 5:03 - 5:06
    bo każde tempo doprowadzi
    do strefy końcowej.
  • 5:06 - 5:10
    Nie potrzeba prawa Moore'a
    ani gwałtownego postępu.
  • 5:10 - 5:12
    Wystarczy nie przestawać.
  • 5:13 - 5:16
    To drugie założenie: nie przestaniemy.
  • 5:17 - 5:20
    Będziemy nadal udoskonalać
    inteligentne maszyny.
  • 5:21 - 5:25
    A biorąc pod uwagę wartość inteligencji...
  • 5:25 - 5:29
    Inteligencja jest albo źródłem
    wszystkiego, co cenimy,
  • 5:29 - 5:32
    albo zabezpiecza wszystko, co cenimy.
  • 5:32 - 5:34
    Jest naszym najcenniejszym zasobem.
  • 5:34 - 5:36
    Dlatego nie chcemy się jej pozbywać.
  • 5:36 - 5:39
    Mamy problemy, które rozpaczliwie
    potrzebują rozwiązania.
  • 5:39 - 5:42
    Szukamy leków na chorobę
    Alzheimera i raka,
  • 5:43 - 5:47
    chcemy zrozumieć systemy gospodarcze,
    walczyć ze zmianami klimatycznymi.
  • 5:47 - 5:49
    Zrobimy to, jeśli tylko się da.
  • 5:49 - 5:52
    Pociąg już odjechał, nie ma odwrotu.
  • 5:54 - 5:59
    Daleko nam również
    do osiągnięcia szczytu inteligencji.
  • 5:59 - 6:02
    Nawet się do tego nie zbliżamy.
  • 6:02 - 6:04
    To naprawdę bardzo istotne.
  • 6:04 - 6:06
    Właśnie dlatego
    sytuacja jest tak niepewna,
  • 6:06 - 6:10
    a przeczucia co do ryzyka tak zawodne.
  • 6:11 - 6:15
    Kto był najmądrzejszym
    człowiekiem w historii?
  • 6:15 - 6:18
    Prawie każdy zapewne pomyślał
    o Johnie von Neumannie.
  • 6:18 - 6:21
    Neumann za takiego uchodził
  • 6:21 - 6:25
    nawet wśród największych
    matematyków i fizyków swoich czasów,
  • 6:26 - 6:27
    to dość dobrze udokumentowane.
  • 6:27 - 6:31
    Nawet jeśli tylko połowa opowieści
    o nim jest w połowie prawdą,
  • 6:31 - 6:33
    nie ma wątpliwości, że był jednym
  • 6:33 - 6:35
    z najmądrzejszych ludzi w historii.
  • 6:35 - 6:38
    Zastanówmy się nad spektrum inteligencji.
  • 6:38 - 6:40
    Tutaj mamy Johna von Neumanna.
  • 6:42 - 6:43
    Tutaj nas.
  • 6:44 - 6:45
    A tu mamy kurczaka.
  • 6:45 - 6:47
    (Śmiech)
  • 6:47 - 6:49
    Przepraszam, kurczak jest tutaj.
  • 6:49 - 6:50
    (Śmiech)
  • 6:50 - 6:54
    Nie ma co przygnębiać
    tą prelekcją bez potrzeby.
  • 6:54 - 6:56
    (Śmiech)
  • 6:56 - 7:00
    Wydaje się jednak prawdopodobne,
    że spektrum inteligencji
  • 7:00 - 7:03
    rozciąga się znacznie dalej,
    niż można to sobie wyobrazić.
  • 7:04 - 7:07
    A jeśli tworzymy maszyny
    inteligentniejsze od nas,
  • 7:07 - 7:08
    pewnie będą chciały
  • 7:08 - 7:12
    to spektrum poznać na sposoby,
    jakich nie możemy sobie wyobrazić,
  • 7:12 - 7:15
    i przewyższyć nas na sposoby,
    jakich nie możemy sobie wyobrazić.
  • 7:15 - 7:16
    Trzeba zdać sobie sprawę,
  • 7:16 - 7:19
    że prawda tego faktu wynika
    z samej prędkości postępu.
  • 7:19 - 7:24
    Powiedzmy, że skonstruowano
    superinteligentną SI,
  • 7:24 - 7:28
    która nie jest bystrzejsza
    od przeciętnego zespołu naukowców
  • 7:28 - 7:30
    na Stanford czy MIT.
  • 7:30 - 7:33
    Obwody elektroniczne funkcjonują
    około miliona razy szybciej
  • 7:33 - 7:34
    niż biochemiczne,
  • 7:35 - 7:38
    zatem maszyna powinna myśleć
    milion razy szybciej
  • 7:38 - 7:39
    niż umysły, które je zbudowały.
  • 7:39 - 7:43
    Po tygodniu pracy
    osiągnie intelektualnie to,
  • 7:43 - 7:46
    nad czym ludzkość pracowała 20 000 lat,
  • 7:46 - 7:49
    i tak tydzień za tygodniem.
  • 7:50 - 7:53
    Jak można pojąć,
    a tym bardziej ograniczyć,
  • 7:53 - 7:55
    umysł robiący tego rodzaju postępy?
  • 7:57 - 7:59
    Inna niepokojąca sprawa.
  • 7:59 - 8:04
    Wyobraźmy sobie najlepszy
    możliwy scenariusz.
  • 8:04 - 8:08
    Zaprojektowano superinteligentną SI,
  • 8:08 - 8:10
    która nie budzi obaw
    jeśli chodzi o bezpieczeństwo.
  • 8:10 - 8:13
    Projekt jest idealny.
  • 8:13 - 8:15
    Prawie jak wyrocznia
  • 8:15 - 8:17
    spełniająca wszystkie oczekiwania.
  • 8:17 - 8:21
    Idealne rozwiązanie
    dla oszczędności pracy.
  • 8:22 - 8:24
    Może zaprojektować i zbudować urządzenie
  • 8:24 - 8:26
    do wykonania każdej fizycznej pracy,
  • 8:26 - 8:28
    zasilane przez światło słoneczne,
  • 8:28 - 8:30
    po kosztach surowców.
  • 8:30 - 8:33
    Mowa zatem o końcu ludzkiego znoju,
  • 8:33 - 8:37
    ale też o końcu większości
    prac intelektualnych.
  • 8:37 - 8:40
    Co zatem pozostaje
    dla człekokształtnych jak my?
  • 8:40 - 8:44
    Będziemy mieć pewnie dużo czasu
    na grę w frisbee i masaże.
  • 8:46 - 8:49
    Dodać trochę LSD i kiepskie ciuchy
  • 8:49 - 8:51
    i cały świat będzie jak zlot hipisów.
  • 8:51 - 8:53
    (Śmiech)
  • 8:54 - 8:57
    To może brzmieć zachęcająco,
  • 8:57 - 9:00
    ale co się stanie
  • 9:00 - 9:02
    w obecnym porządku
    ekonomicznym i politycznym?
  • 9:02 - 9:05
    Prawdopodobnie doświadczymy
  • 9:05 - 9:09
    nierówności majątkowych i bezrobocia,
  • 9:09 - 9:11
    na niespotykanym poziomie.
  • 9:11 - 9:13
    Jeśli zabraknie woli oddania
    nowo zdobytego bogactwa
  • 9:13 - 9:16
    na użytek całej ludzkości,
  • 9:16 - 9:19
    kilku miliarderów będzie zdobić
    okładki magazynów,
  • 9:19 - 9:22
    rzucając resztę świata na pastwę losu.
  • 9:22 - 9:25
    Co zrobiliby Rosjanie czy Chińczycy
  • 9:25 - 9:27
    na wieść, że firma w Dolinie Krzemowej
  • 9:27 - 9:30
    stworzyła superinteligentną SI?
  • 9:30 - 9:33
    Ta maszyna umiałaby przecież
    prowadzić wojny,
  • 9:33 - 9:35
    tak naziemną jak i cybernetyczną,
  • 9:35 - 9:38
    z niespotykaną dotąd mocą.
  • 9:38 - 9:40
    To scenariusz typu
    "zwycięzca bierze wszystko".
  • 9:40 - 9:43
    6-miesięczna przewaga
    nad konkurencją w tej dziedzinie
  • 9:43 - 9:46
    równa się przewadze 500 000 lat,
  • 9:46 - 9:47
    minimum.
  • 9:47 - 9:52
    Nawet zwykłe pogłoski
    o tego rodzaju przełomie
  • 9:52 - 9:55
    mogą spowodować panikę.
  • 9:55 - 10:00
    Najbardziej przeraża mnie teraz
  • 10:00 - 10:05
    sposób, w jaki naukowcy SI
  • 10:05 - 10:07
    starają się nas uspakajać.
  • 10:07 - 10:10
    Najczęstszym argumentem
    za odrzuceniem obaw jest czas.
  • 10:10 - 10:13
    Że to wszystko bardzo odległe,
  • 10:13 - 10:15
    że to kwestia 50 lub 100 lat.
  • 10:16 - 10:17
    Jeden naukowiec powiedział,
  • 10:17 - 10:19
    "Martwić się o bezpieczeństwo SI,
  • 10:19 - 10:22
    to jak martwić się
    o przeludnienie na Marsie ".
  • 10:22 - 10:24
    To w Dolinie Krzemowej odpowiednik
  • 10:24 - 10:26
    "Nie zaprzątaj tym
    swojej ślicznej główki".
  • 10:26 - 10:27
    (Śmiech)
  • 10:28 - 10:29
    Nikt nie zdaje się zauważać,
  • 10:29 - 10:32
    że odwoływanie się do horyzontu czasowego
  • 10:32 - 10:35
    nie ma żadnego znaczenia.
  • 10:35 - 10:38
    Jeśli inteligencja jest tylko
    kwestią przetwarzania informacji,
  • 10:38 - 10:41
    a my nadal będziemy udoskonalać maszyny,
  • 10:41 - 10:44
    w końcu stworzymy jakąś
    formę superinteligencji.
  • 10:44 - 10:49
    Nie wiadomo,
    ile zajmie stworzenie warunków,
  • 10:49 - 10:51
    aby to zrobić bezpiecznie.
  • 10:52 - 10:54
    Pozwólcie, że powtórzę.
  • 10:54 - 10:57
    Nie wiadomo, jak długo potrwa
  • 10:57 - 11:01
    stworzenie warunków,
    aby to zrobić bezpiecznie.
  • 11:01 - 11:04
    Trudno nie zauważyć, że 50 lat
    ma już inną miarę.
  • 11:04 - 11:07
    Oto 50 lat w miesiącach.
  • 11:07 - 11:09
    Oto, jak długo mamy iPhone.
  • 11:09 - 11:12
    Oto, jak długo "Simpsonowie"
    lecą w telewizji.
  • 11:13 - 11:15
    Pięćdziesiąt lat to niewiele,
  • 11:15 - 11:19
    by stawić czoła największemu wyzwaniu,
    jakie czeka nasz gatunek.
  • 11:20 - 11:24
    A my nie umiemy nawet
    właściwie zareagować na coś,
  • 11:24 - 11:26
    co niemal na pewno nadchodzi.
  • 11:26 - 11:30
    Informatyk Stuart Russell pięknie to ujął:
  • 11:30 - 11:35
    "Wyobraźmy sobie
    wiadomość od obcej cywilizacji,
  • 11:35 - 11:37
    która brzmi:
  • 11:37 - 11:39
    "Ziemianie,
  • 11:39 - 11:42
    dolecimy do waszej planety w ciągu 50 lat.
  • 11:42 - 11:43
    Przygotujcie się".
  • 11:43 - 11:48
    Pewnie zaczęlibyśmy
    odliczanie do ich przyjazdu,
  • 11:48 - 11:52
    sprawa byłaby pilna.
  • 11:52 - 11:55
    Mówią nam, żeby się nie martwić,
  • 11:55 - 11:58
    bo maszyny na pewno będą
    podzielać nasze wartości,
  • 11:58 - 12:00
    ponieważ będą dosłownie
    przedłużeniem nas samych.
  • 12:00 - 12:02
    Wszczepi się nam je do mózgów,
  • 12:02 - 12:05
    a my będziemy ich układem limbicznym.
  • 12:05 - 12:07
    Weźmy pod uwagę,
  • 12:07 - 12:11
    że najbezpieczniejsze
    i najrozsądniejsze zalecenie
  • 12:11 - 12:14
    to wszczepić tę technologię
    bezpośrednio do mózgu.
  • 12:15 - 12:18
    Może to rzeczywiście najbezpieczniejszy
    i najrozsądniejszy sposób,
  • 12:18 - 12:21
    ale zazwyczaj względy bezpieczeństwa
    dotyczące technologii
  • 12:21 - 12:25
    należy wypracować
    przed umieszczeniem jej w głowie.
  • 12:25 - 12:27
    (Śmiech)
  • 12:27 - 12:32
    Większym problemem jest to że, budowa
    samodzielnej superinteligentnej SI
  • 12:32 - 12:34
    wydaje się łatwiejsza
  • 12:34 - 12:36
    niż budowa superinteligentnej SI
  • 12:36 - 12:38
    i skompletowanie
    badań neurobiologicznych
  • 12:38 - 12:41
    pozwalających na bezproblemowe
    sprzężenie jej z umysłem.
  • 12:41 - 12:44
    Zaangażowane przedsiębiorstwa i rządy
  • 12:44 - 12:48
    uważają to za rywalizację,
  • 12:48 - 12:50
    gdzie wygrany zyskuje cały świat,
  • 12:50 - 12:54
    pod warunkiem, że nie zniszczy
    wszystkiego w ostatniej chwili,
  • 12:54 - 12:56
    więc nie trudno zgadnąć,
    że to, co łatwiej osiągnąć,
  • 12:56 - 12:59
    zostanie zrobione w pierwszej kolejności.
  • 12:59 - 13:01
    Niestety, nie mam
    rozwiązania tego problemu.
  • 13:01 - 13:04
    Zalecałbym jednak zacząć się
    nad tym zastanawiać.
  • 13:04 - 13:06
    Potrzeba nam czegoś w rodzaju
    Projektu Manhattan
  • 13:06 - 13:08
    odnośnie sztucznej inteligencji.
  • 13:09 - 13:11
    Nie chodzi o zbudowanie jej,
    bo to jest nieuchronne,
  • 13:11 - 13:15
    ale by zrozumieć,
    jak uniknąć wyścigu zbrojeń
  • 13:15 - 13:18
    i zbudować ją w sposób
    zgodny z naszym interesem.
  • 13:18 - 13:20
    Kiedy mowa o superinteligentnej SI,
  • 13:20 - 13:23
    która sama może się udoskonalać,
  • 13:23 - 13:27
    mamy tylko jedną szansę na stworzenie
    odpowiednich warunków początkowych
  • 13:27 - 13:29
    i nawet wtedy będziemy musieli liczyć się
  • 13:29 - 13:33
    z konsekwencjami ekonomicznymi
    i politycznymi tworzenia tych warunków.
  • 13:34 - 13:36
    Ale w momencie, gdy przyznamy
  • 13:36 - 13:40
    że przetwarzanie informacji
    jest źródłem inteligencji,
  • 13:41 - 13:46
    że odpowiedni system obliczeniowy
    jest podstawą inteligencji
  • 13:46 - 13:51
    i przyznamy, że chcemy
    te systemy ciągle udoskonalać,
  • 13:51 - 13:56
    przyznamy też, że horyzont poznania
    prawdopodobnie znacznie przekracza
  • 13:56 - 13:58
    naszą obecną wiedzę,
  • 13:58 - 13:59
    będziemy musieli przyznać,
  • 13:59 - 14:03
    że będzie to proces tworzenia
    pewnego rodzaju boga.
  • 14:03 - 14:05
    Teraz jest odpowiedni czas,
  • 14:05 - 14:08
    by upewnić się, że będzie to bóg,
    z którym da się żyć.
  • 14:08 - 14:09
    Dziękuję bardzo.
  • 14:09 - 14:15
    (Brawa)
Title:
Jak zbudować sztuczną inteligencję, nie tracąc nad nią kontroli
Speaker:
Sam Harris
Description:

Boicie się superinteligentnej Sztucznej Inteligencji? Słusznie. Tak twierdzi neurobiolog i filozof Sam Harris - i nie ma na myśli tylko teorii. Harris uważa, że niedługo zbudujemy nadludzkie maszyny, choć jeszcze nie uporaliśmy się z problemami związanymi z tworzeniem czegoś, co może nas później potraktować tak, jak my traktujemy mrówki.

more » « less
Video Language:
English
Team:
closed TED
Project:
TEDTalks
Duration:
14:27

Polish subtitles

Revisions