Как я борюсь со сбоями в алгоритмах

Аспирант Массачусетского технологического института Джой Буоламвини работала с программным обеспечением для распознавания лиц, когда столкнулась с проблемой: люди, создавшие алгоритм, не научили его определять целый ряд оттенков кожи и лицевых структур. Сейчас она находится на миссии борьбы со сбоями в машинном обучении, с феноменом, который она назвала «закодированный взгляд». Это выступление, раскрывающее глаза на необходимость ответственного программирования по мере того, как алгоритмы захватывают всё больше и больше аспектов нашей жизни.

Привет, я Джой, поэт кода.

Моя миссия — остановить невидимую,
набирающую обороты силу,

силу, которую я называю
«закодированный взгляд»,

моё определение для алгоритмического сбоя.

Необъективность алгоритма, как и
человека, ведёт к несправедливости.

Алгоритмы, как вирусы, способны
распространять ошибки в больших масштабах

и очень быстро.

Алгоритмические отклонения
могут приводить к отчуждению

и дискриминации.

Давайте я покажу, что я имею в виду.

(Видео) Джой: Привет,
камера. Вот моё лицо.

Ты видишь моё лицо?

Лицо без очков?

Ты видишь её лицо.

А моё?

Теперь с маской. Видишь маску?

Джой Буоламвини: Как так получилось?

Почему я сижу за компьютером

в белой маске,

пытаясь быть распознанной
дешёвой камерой?

Когда я не воюю с закодированным взглядом,

будучи поэтом кода,

я аспирант Медиа-лаборатории в МИТ,

где у меня есть возможность работать
над всяческими фантастическими проектами,

включая Зеркало стремлений,

которое позволяет проецировать
цифровые маски на своё отражение.

Например, если утром я хочу
чувствовать себя сильной,

я могу наложить маску льва.

Если я хочу приободриться,
то можно обойтись цитатой.

Я использовала обычную
программу распознавания лиц,

чтобы создать эту систему,

но оказалось, что её очень трудно
тестировать, если на мне нет белой маски.

К сожалению, я и раньше
сталкивалась с этой проблемой.

Когда я изучала информатику
в Технологическом институте Джорджии,

я работала над социальными роботами,

и одной из моих задач было научить
робота играть в «ку-ку».

Это простая игра со сменой ролей,

когда участники закрывают лицо ладонями,
и, открывая, говорят: «Ку-ку!»

Проблема заключается в том, что
если вас не видно, то игра теряет смысл,

а мой робот меня не видел.

Моя соседка одолжила мне своё лицо,
чтобы я смогла закончить проект,

я сдала задание

и подумала, что кто-нибудь другой
решит эту проблему.

Через некоторое время

я участвовала в конкурсе
предринимателей в Гонконге.

Организаторы решили показать участникам

местные стартапы.

В одном стартапе был социальный робот,

и они решили его продемонстрировать.

Демонстрация сработала на всех,
пока дело не дошло до меня,

и вы, наверное, уже догадались.

Он не смог распознать моё лицо.

Я спросила у разработчиков, в чём дело,

и оказалось, что мы использовали одну
и ту же программу для распознавания лиц.

На другой половине земного шара

до меня дошло, что алгоритмическая ошибка
может распространяться так же быстро,

как быстро можно скачивать
файлы из интернета.

Так что же происходит? Почему
моё лицо не распознаётся?

Для начала рассмотрим,
как мы создаём машинное зрение.

Компьютерное зрение использует
техники машинного обучения,

чтобы распознавать лица.

Это работает таким образом: вы создаёте
тренировочный набор с примерами лиц.

Это лицо. Это лицо. Это не лицо.

И постепенно вы можете научить
компьютер распознавать другие лица.

Однако, если тренировочные наборы
не очень разнообразны,

любое лицо, которое сильно отличается
от установленной нормы,

будет сложно распознать,

что и происходило со мной.

Но не переживайте —
есть и хорошие новости.

Тренировочные наборы
не появляются из ниоткуда.

Мы вообще-то можем их создавать.

Есть возможность создавать полный спектр
тренировочных наборов,

которые отражают более насыщенный
портрет человечества.

Вы увидели в моих примерах,

как социальные роботы

позволили мне обнаружить исключения
из-за алгоритмической погрешности.

Но алгоритмическая ошибка может также
приводить к дискриминации.

В США

отделения полиции начинают использовать
программы распознавания лиц

в их арсенале борьбы с преступностью.

Школа права университета Джорджтаун

опубликовала отчёт, согласно которому
в США один из двух взрослых —

это 117 миллионов человек —
имеют свои лица в сетях распознавания лиц.

Отделения полиции сейчас могут
неограниченно пользоваться этими сетями,

используя алгоритмы, точность
которых не была проверена.

Но мы знаем, что
распознавание лиц несовершенно

и что последовательное определение лиц
остаётся сложной задачей.

Можно столкнуться с этим на Фейсбуке.

Мы с друзьями всё время смеёмся,
когда видим других людей,

отмеченных на наших фото.

Но ошибочное определение уголовно
подозреваемого — это не шутка

и не просто нарушение гражданских свобод.

Машинное обучение используется
для распознавания лиц,

но не ограничивается компьютерным зрением.

В своей книге «Оружие
математического поражения»

учёный в области данных Кэти О'нейл
рассказывает о новом ОМП —

охватывающих, малоизвестных
и поражающих алгоритмах,

которые всё чаще используются
для принятия решений,

которые влияют на всё большее количество
аспектов нашей жизни.

Кто будет принят на работу или уволен?

Дадут ли вам этот кредит? Страховку?

Попадёте ли вы в тот колледж,
в который собирались?

Одинаковы ли цены для вас и для меня
на один и тот же товар,

купленный на той же платформе?

Правоохранительные органы также
начинают применять машинное обучение

для прогнозирования.

Судьи используют рейтинги риска,
сгенерированные машиной, для определения

срока, который человек
должен будет провести в тюрьме.

Мы должны крепко задуматься
над этими решениями.

Справедливы ли они?

Мы видели, что алгоритмический сбой

ведёт к не совсем правильным результатам.

Что же мы можем с этим сделать?

Для начала, мы можем задуматься о том,
как создавать более всестороний код

и применять инклюзивные практики
в программировании.

Это всё начинается с людей.

Важно, кто пишет код.

Создаём ли мы группы
из разнообразных личностей,

способных видеть слепые зоны друг друга?

С технической стороны, имеет значение
то, как мы пишем код.

Движет ли нами справедливость
во время разработки систем?

И наконец, важно, для чего мы пишем код.

Использование компьютерного творчества
открыло нам невероятное богатство.

Сейчас у нас есть возможность
добиться ещё большего равенства,

если мы сделаем социальное
изменение приоритетной,

а не запоздалой идеей.

Итак, есть три принципа, которые
составляют основу движения «инкодинг».

Важно, кто пишет код,

важно, как мы пишем код,

и важно, для чего мы пишем код.

Двигаясь в сторону инкодинга,
мы можем начать задумываться

о создании платформ,
которые могут находить ошибку,

собирая опыт людей, таких как я,

а также проверяющих существующее
программное обеспечение.

Также мы можем приступить к созданию
более полных тренировочных наборов.

Представьте себе кампанию
«Селфи для присоединения»,

где вы и я можем помочь разработчикам
тестировать и создавать

более полные тренировочные наборы.

Также мы можем начать думать
более добросовестно

о социальном влиянии технологии,
над которой мы работаем.

Чтобы запустить движение инкодинга,

я создала Лигу алгоритмической
справедливости,

где каждый, кто заботится о равенстве,
может помочь бороться со сбоями.

На codedgaze.com вы
можете сообщить об ошибке,

запросить проверку, стать тестировщиком

и присоединиться к обсуждению.

#codedgaze.

Я приглашаю вас присоединиться ко мне,

чтобы создать мир, в котором технология
работает на всех нас,

а не только на некоторых,

мир, в котором мы ценим инклюзию и
сосредотачиваемся на социальных переменах.

Спасибо.

(Аплодисменты)

И у меня один вопрос:

«А вы присоединитесь
ко мне в этой борьбе?»

(Смех)

(Аплодисменты)