Прекрасные до ужаса области применения обучающихся компьютеров | Джереми Говард | TEDxBrussels

Что произойдёт, если мы научим компьютер учиться? Инженер Джереми Говард рассказывает о нескольких удивительных прорывах в быстро развивающейся сфере глубокого обучения, о методе, который позволяет компьютерам говорить по-китайски, распознавать объекты на фотографиях или участвовать в постановке диагноза (один из алгоритмов глубокого обучения, после нескольких часов просмотра видео с YouTube, самостоятельно дал определение кошкам). Узнайте последнюю информацию об отрасли, которая изменит поведение окружающих вас компьютеров, — и скорее, чем вы думаете.

Это выступление записано на мероприятии TEDx, независимо организованном местным сообществом с использованием формата конференций TED. Узнайте больше на http://ted.com/tedx

Раньше, если вы хотели,
чтобы компьютер сделал что-то новое,

вам нужно было это запрограммировать.

Для тех из вас, кто никогда с этим
не сталкивался: программирование

требует мучительного определения
мельчайших деталей,

каждого действия, которое
компьютер должен выполнить,

чтобы добиться желаемого результата.

Но запрограммировать что-то,
чего вы сами не умеете, —

это очень сложная задача.

С такой сложной задачей столкнулся
этот человек, Артур Самуэль.

В 1956 году он захотел, чтобы компьютер
смог обыграть его в шашки.

Как написать программу,

точную до мельчайших деталей,
чтобы выиграть в шашки?

И ему пришла в голову мысль:

пусть компьютер сыграет
сам с собой тысячи раз

и так научится играть в шашки.

И это действительно сработало,
и в 1962 году

этот компьютер обыграл
чемпиона Коннектикута.

Артур Самуэль стал основоположником
машинного обучения.

Я в большом долгу перед ним,

потому что я работаю
в области машинного обучения.

Я был президентом фирмы Kaggle,

объединяющей 200 000 людей,
применяющих машинное обучение.

Kaggle проводит соревнования

по решению ещё нерешённых проблем,

и участники успешно решают их сотнями.

У меня была отличная возможность
узнать многое

о возможностях машинного обучения
в прошлом, настоящем

и будущем.

Возможно, первым большим
коммерческим успехом

машинного обучения стал Google.

В Google доказали,
что можно находить информацию

с помощью компьютерного алгоритма,

и этот алгоритм был построен
на машинном обучении.

С тех пор машинное обучение неоднократно
применялось с коммерческим успехом.

Компании Amazon и Netflix используют

машинное обучение, определяя,
какие товары вы захотите купить

и какие фильмы посмотреть.

Иногда это даже пугает.

Сети, такие как LinkedIn и Facebook,

иногда предлагают вам в друзья людей,

а вы не понимаете, как их нашли.

А это было сделано
с помощью машинного обучения.

Их алгоритмы обучаются на основе данных,

а не на основе того,
как их запрограммировал человек.

Это также объясняет успех IBM:
программа Watson

обыграла двух чемпионов мира
в «Своей игре»,

ответив на невероятно коварные
и сложные вопросы вроде этого:

[В 2003 году «лев Нимруда» исчез
из национального музея этого города]

Благодаря этим методам у нас
есть первые беспилотные автомобили.

Здесь достаточно важно, например,

отличать дерево от пешехода.

Мы не знаем, как создать такой алгоритм,

но можем решить эту задачу
с помощью машинного обучения.

И этот автомобиль в самом деле
проехал больше 1,5 млн километров,

ни разу не попав в аварию на трассе.

Итак, мы знаем,
что компьютеры могут обучаться

и могут учиться делать то,

что на самом деле мы и сами
не знаем, как делать —

или могут делать это лучше нас.

С одним из самых невероятных результатов
машинного обучения

я столкнулся, когда работал в Kaggle:

команда, которую возглавил Джеффри Хинтон

из Университета Торонто,

стала лучшей в автоматическом поиске
новых лекарств.

Невероятным было не только то,
что их алгоритм оказался лучше

всех алгоритмов, разработанных Merck
или международным научным сообществом, —

ни у кого из команды не было образования
в области химии, биологии или медицины,

и на всё у них ушло две недели.

Как им это удалось?

Благодаря уникальному алгоритму
глубокого обучения.

Это настолько важно, что про их успех

спустя пару недель сообщила
на первой полосе New York Times.

Слева — Джеффри Хинтон.

В основе глубокого обучения —
принципы работы человеческого мозга,

и поэтому этот алгоритм

теоретически имеет
неограниченные возможности.

Чем больше данных на входе
и чем больше времени на их обработку,

тем лучше результат.

В этой же статье New York Times
был упомянут ещё один

удивительный результат глубокого обучения,

который я вам сейчас покажу.

Он демонстрирует то,
что компьютеры могут слышать и понимать.

(Видео) Ричард Рашид: Наконец,

последнее, что я хочу сделать, —

это поговорить с вами по-китайски.

Суть в том,

что мы сформировали массив записей
носителей китайского языка

и построили систему
перевода текста в речь,

которая получает текст на китайском
и переводит его в речь.

Потом мы записáли примерно час
звучания моего голоса

и использовали его

в обычной системе перевода текста в речь.

Повторяю, результат не идеален.

Там есть несколько ошибок.

(Говорит по-китайски)

(Аплодисменты)

Нам предстоит ещё много работы.

(Говорит по-китайски)

(Аплодисменты)

Джереми Говард: Это было на конференции
по машинному обучению в Китае.

На самом деле,
на научных конференциях редко

внезапно аплодируют,

в отличие от TEDx, так что не стесняйтесь.

Всё, что вы видели, было построено
на глубоком обучении.

(Аплодисменты) Спасибо.

Английские субтитры —
это глубокое обучение.

Перевод на китайский
и текст справа вверху — тоже,

и конструирование голоса — снова оно.

Глубокое обучение — невероятная вещь.

Один-единственный алгоритм,
который, похоже, может всё,

и ещё годом раньше я обнаружил,
что он также научился видеть.

В этом малоизвестном
соревновании в Германии,

«Немецкий идеал распознавания
дорожных знаков»,

глубокое обучение использовалось
для распознавания вот таких знаков.

Мало того, что результаты распознавания

лучше, чем у других алгоритмов;

в таблице результатов видно,
что они лучше человеческих

примерно в два раза.

Итак, к 2011 году у нас был

первый компьютер,
который видел лучше людей.

С тех пор произошло многое.

В 2012 Google объявил,
что их алгоритм глубокого обучения

использовал видео на YouTube.

Данные обрабатывались
на 16 000 процессоров в течение месяца,

и компьютер Google самостоятельно
определил, что такое люди и кошки,

на основе только видеоматериалов.

Это очень похоже на то, как учатся люди.

Им не говорят, что они видят,

люди сами разбираются в том, что видят.

В том же 2012 Джеффри Хинтон,
которого вы уже видели,

выиграл очень известное
соревнование ImageNet,

в котором было необходимо понять,
что изображено

на 1,5 млн картинок.

К 2014 году уровень ошибок
при распознавании образов

упал до 6%.

И опять же, это лучше, чем у людей.

Компьютеры действительно
необычайно хороши в этом,

и сейчас это применяется
в коммерческих целях.

Так, в прошлом году Google объявил,

что они могут локализовать любую точку
во Франции за два часа:

они загружают фотографии улиц

на вход алгоритма глубокого обучения,
чтобы распознать и прочитать адресá.

Сколько времени ушло бы на это раньше!

Понадобились бы десятки людей и много лет.

То же самое происходит в Китае.

Baidu — это что-то вроде
китайского Google,

и сверху слева вы видите

картинку, которую я загрузил
в алгоритм глубокого обучения Baidu,

а под ней — то, как система распознала,
что находится на картинке,

и нашла похожие.

Похожие изображения имеют близкий фон,

на них похожие выражения морд,
на некоторых даже так же высунут язык.

Это не просто поиск текста
на веб-странице.

Я загрузил только картинку.

Итак, теперь наши компьютеры
действительно понимают, что они видят,

и могут искать изображения в базах

среди сотен миллионов картинок —
в режиме реального времени.

Значит ли это,
что компьютеры могут видеть?

Это не просто возможность видеть.

Глубокое обучение — это намного больше.

Сложные предложения со множеством
смысловых оттенков

теперь понятны благодаря
алгоритмам глубокого обучения.

Как вы видите,

эта стэнфордская система
отмечает красными точками сверху,

что предложение выражает
отрицательные эмоции.

Результаты глубокого обучения
близки к человеческим

по распознаванию того,
что и о чём сказано.

Глубокое обучение использовалось
для чтения на китайском,

и результат был на уровне
человека — носителя китайского.

Этот алгоритм был разработан в Швейцарии

людьми, ни один из которых
не говорит по-китайски.

Как я и сказал, глубокое обучение —

это оптимальный способ
решения для таких задач,

даже по сравнению
с человеческим восприятием.

Система, которую создали
в моей компании,

занимается всем, о чём я рассказал.

Это картинки без сопроводительного текста,

и здесь я набираю предложения.

В режиме реального времени
картинки распознаются,

определяется их смысл,

и ищутся изображения,
соответствующих введённому мной тексту.

Итак, вы видите, что предложения

и картинки действительно распознаются.

Я знаю, что вы видели
нечто похожее в Google,

когда вы набираете запрос,
по которому вам выдают картинки,

но в действительности там ищется
нужный текст на веб-странице.

Распознавание образов —
это принципиально иное.

Распознавание стало доступно
компьютерным алгоритмам

впервые совсем недавно.

Итак, компьютеры теперь могут
не только видеть, но и читать,

и, как мы уже показали,
понимать, что они слышат.

Так что я буду последователен и скажу,
что они умеют писать.

Вот текст, который я сгенерировал вчера
с помощью алгоритма глубокого обучения.

А вот текст, сгенерированный
с помощью стэнфордского алгоритма.

Каждая из этих фраз составлена

алгоритмом глубокого обучения
для описания этих картинок.

Алгоритм ещё не встречал понятия мужчины
в чёрной рубашке, играющего на гитаре.

Но ему известны понятия

человека, чёрного, гитары,

и алгоритм независимо формулирует
связное описание этого изображения.

Мы всё ещё не дотягиваем до уровня
человека, но мы уже близки.

При испытаниях люди выбирают
описания, данные компьютером,

в одном случае из четырёх.

Этой системе всего две недели от роду,

и, скорее всего, в следующем году

алгоритм даст результаты
намного лучше человеческих,

если развитие пойдёт такими темпами.

Итак, компьютеры могут и писать тоже.

Складываем всё вместе,
и нам открываются невероятные возможности.

Например, в медицине.

Команда из Бостона открыла

десятки новых клинических
особенностей опухолей;

это поможет врачам диагностировать рак.

Точно так же в Стэнфорде

группа, проанализировав опухоли
под увеличением,

создала систему
на основе машинного обучения,

которая лучше, чем патологоанатомы-люди,

предсказывала исход заболевания
у онкобольных.

В обоих случаях алгоритмы давали
не только более точный результат,

но и новые неожиданные открытия.

В случае с радиологией

это были новые клинические показатели,
понятные для людей.

В случае с опухолями

алгоритм обнаружил,
что клетки вокруг опухоли

так же важны, как и сами раковые клетки,

для постановки диагноза.

Это противоречит всему,
чему патологоанатомов учили десятилетиями.

В разработке обеих систем

участвовали как эксперты-врачи,
так и специалисты по машинному обучению,

но в прошлом году мы смогли преодолеть
и это ограничение.

Это пример определения поражённых раком

человеческих тканей под микроскопом.

Система, которую я показываю,
может определить их точнее,

или так же точно, как и патологоанатом,

но она построена только на методах
глубокого обучения без участия врачей

людьми, не имеющими
никакого отношения к медицине.

Или вот сегментация нейронов.

Теперь мы можем сегментировать нейроны
так же аккуратно, как и вручную,

но эта система построена
на глубоком обучении

людьми, не имеющими
медицинских знаний или опыта.

Поэтому я, как человек,
никогда не занимавшийся медициной,

оказался отличным кандидатом на роль
основателя новой медицинской компании,

им я и стал.

Я порядком трýсил,

но в теории, существует
реальная возможность

создать очень полезные препараты,
используя лишь алгоритмы анализа данных.

И, к счастью, отзывы были
невероятно хорошими,

не только в СМИ, но
и от медицинского сообщества,

где горячо поддержали мою идею.

Идея заключается в том, что мы можем
взять промежуточный этап лечения

и максимально применить к нему
наши методы анализа данных,

позволив врачам заниматься тем,
что у них получается лучше всего.

Приведу пример.

На составление нового диагностического
теста у нас уходит 15 минут,

я покажу его в режиме реального времени,

но сокращу процесс до трёх минут,

вырезав отдельные фрагменты.

И вместо создания медицинского теста

я покажу тестирование изображений машин,

потому что оно будет понятнее всем.

Итак, начнём с 1,5 млн
изображений машин,

и я хочу придумать, как их разбить
на группы в зависимости от угла,

с которого они сфотографированы.

Все эти изображения не имели меток,
поэтому мне придётся начинать с нуля.

Наш алгоритм глубокого обучения

автоматически распознаёт отдельные
компоненты на этих изображениях.

Хорошо то, что человек и компьютер
могут решать задачу вместе.

Человек, как вы видите,

задаёт компьютеру исследуемую область,

на основе которой компьютер должен
усовершенствовать свой алгоритм.

Эта система глубокого обучения работает
в 16 000-мерном пространстве,

компьютер вращает в нём данные,

чтобы обнаружить новые структуры.

А когда он их найдёт,

человек, управляющий процессом,
укажет на те, что его интересуют.

Итак, компьютер успешно
обнаружил признаки,

например, ракурс.

В ходе исследования

мы постепенно уточняем,

что именно мы ищем.

Представьте диагностический тест,

благодаря которому врач
определяет границы патологии

или радиолог — потенциально
опасные образования.

Иногда это оказывается
слишком сложно для алгоритма.

Он не находит решения.

Капоты и багажники машин идут вперемешку.

Поэтому нам надо быть немного аккуратнее,

вручную разделив их,

а затем задав компьютеру тип изображений,

которые нам нужны.

Процесс длится какое-то время,
промотаем немного вперёд,

а потом мы обучаем наш алгоритм

на основе нескольких сотен объектов,

надеясь, что он станет
намного эффективнее.

Видите, некоторые
из этих картинок поблёкли —

это означает, что теперь компьютер
распознал их самостоятельно.

Теперь мы можем использовать
этот принцип похожих изображений.

Как видите, используя эти изображения,

теперь компьютер может самостоятельно
находить только фотографии машин спереди.

Теперь человек может сказать компьютеру:

«Отлично, ты молодец».

Иногда, конечно, даже на этом этапе

всё еще сложно выделить группы.

В этом случае затем мы позволяем

компьютеру покрутить его.

Снимки машин справа и слева всё ещё

идут вперемешку.

И мы снова даём компьютеру подсказки,

чтобы он нашёл плоскость,

разделяющую изображения
справа и слева предельно точно

на основе алгоритма глубокого обучения.

И с этими подсказками — а, отлично,
решение было найдено.

Компьютеру удалось найти способ
выделить эти объекты

среди всех остальных.

Это суть метода.

Компьютер не заменяет человека,

здесь они работают вместе.

То, на что команда

из 5–6 человек потратила бы около 7 лет,

мы заменяем 15-минутной процедурой,

которую выполняет только один человек.

Этот процесс выполняется за 4–5 итераций.

Как видите, теперь 62%

наших 1,5 млн изображений
классифицированы верно.

Теперь мы сможем быстро выделять

отдельные большие блоки

и просматривать их, чтобы убедиться,
что в них нет ошибок.

Если возникают ошибки,
мы указываем на них компьютеру.

Применяя эту процедуру
к разным группам по отдельности,

сейчас мы получаем
около 80% верных результатов

при классификации
1,5 млн изображений.

Сейчас задача состоит только в том,

чтобы найти то небольшое количество
неверно распознанных изображений

и понять, почему это произошло.

Применяя этот подход,

за 15 минут мы получаем
результат, верный на 97%.

Эта процедура может справиться
с одной из важнейших проблем —

нехваткой медицинских работников в мире.

По данным, озвученным на Мировом
экономическом форуме, нужно в 10–20 раз

больше терапевтов в развивающихся странах,

и понадобится около 300 лет,

чтобы обучить нужное количество людей.

А теперь представьте,
что мы повысим их эффективность,

используя глубокое обучение.

Меня очень вдохновляют
появившиеся возможности.

Но одновременно беспокоят и проблемы.

Проблема в том, что во всех странах,
отмеченных на карте синим,

80% рабочих мест приходится
на сферу услуг.

Каких услуг?

Вот эти услуги.

И это именно то,

что компьютеры только что
научились делать.

И если 80% людей в развитых странах

занимаются тем, что теперь
может делать компьютер,

то что это значит?

Всё будет в порядке.
Появится другая работа.

Например, будет больше работы
для аналитиков данных.

Не совсем так.

Решение этих задач не займёт
у аналитиков много времени.

Например, эти четыре алгоритма
создал один и тот же человек.

Если вам кажется,
что это всё уже было,

в прошлом мы видели,
что когда приходят новые технологии,

новые профессии заменяют старые,

то какими будут эти новые профессии?

Нам очень сложно оценить это сейчас,

ведь производительность труда
растёт постепенно,

но теперь есть система,
глубокое обучение,

и мы знаем, что его возможности
растут по экспоненте.

Итак,

пока что мы оглядываемся по сторонам:

«Но компьютеры всё ещё
достаточно примитивны», верно?

Но через пять лет их возможности выйдут
за границу этого графика.

Поэтому нам необходимо начать обдумывать
этот аспект прямо сейчас.

Разумеется, мы однажды уже видели такое.

Промышленная революция,

благодаря двигателям, дала
качественный скачок производства.

Однако тогда, спустя какое-то время,
мощности перестали расти.

Был социальный взрыв,

но когда двигатели стали применяться
в промышленности повсеместно,

было достигнуто равновесие.

Революция машинного обучения

будет отличаться
от промышленной революции,

потому что революция
машинного обучения непрерывна.

Чем дальше компьютеры
совершенствуются интеллектуально,

тем более интеллектуально
совершенные компьютеры они создают,

и это станет таким изменением,

с каким наш мир
никогда раньше не сталкивался,

и ваши прошлые представления
о возможном изменятся.

Это уже влияет на нас.

В течение последней четверти века
производительность капитала росла,

в то время как производительность труда
оставалась прежней или немного снижалась.

Я хочу, чтобы мы начали обсуждать всё это.

Когда я рассказываю всё это людям,

они реагируют скептически:

мол, компьютеры не могут думать,

переживать, воспринимать стихи,

мы не понимаем по-настоящему,
как они работают.

И что?

Уже компьютеры делают то, на что люди

тратят бóльшую часть
своего оплачиваемого времени,

так что теперь пора думать о том,
как мы будем менять

наши социальные,
экономические структуры,

чтобы быть готовыми
к новой реальности.

Спасибо.

(Аплодисменты)