0:00:01.041,0:00:04.175
Привет, я Джой, поэт кода.

0:00:04.199,0:00:09.192
Моя миссия — остановить невидимую,[br]набирающую обороты силу,

0:00:09.216,0:00:12.072
силу, которую я называю[br]«закодированный взгляд»,

0:00:12.096,0:00:15.405
моё определение для алгоритмического сбоя.

0:00:15.429,0:00:19.729
Необъективность алгоритма, как и[br]человека, ведёт к несправедливости.

0:00:19.753,0:00:25.775
Алгоритмы, как вирусы, способны[br]распространять ошибки в больших масштабах

0:00:25.799,0:00:27.381
и очень быстро.

0:00:27.943,0:00:32.330
Алгоритмические отклонения[br]могут приводить к отчуждению

0:00:32.354,0:00:34.482
и дискриминации.

0:00:34.506,0:00:36.567
Давайте я покажу, что я имею в виду.

0:00:36.980,0:00:39.416
(Видео) Джой: Привет,[br]камера. Вот моё лицо.

0:00:40.162,0:00:42.026
Ты видишь моё лицо?

0:00:42.051,0:00:43.676
Лицо без очков?

0:00:43.701,0:00:45.915
Ты видишь её лицо.

0:00:46.237,0:00:48.482
А моё?

0:00:51.890,0:00:55.640
Теперь с маской. Видишь маску?

0:00:56.474,0:00:58.839
Джой Буоламвини: Как так получилось?

0:00:58.863,0:01:02.004
Почему я сижу за компьютером

0:01:02.028,0:01:03.452
в белой маске,

0:01:03.476,0:01:07.126
пытаясь быть распознанной[br]дешёвой камерой?

0:01:07.150,0:01:09.441
Когда я не воюю с закодированным взглядом,

0:01:09.465,0:01:10.985
будучи поэтом кода,

0:01:11.009,0:01:14.281
я аспирант Медиа-лаборатории в МИТ,

0:01:14.305,0:01:19.222
где у меня есть возможность работать[br]над всяческими фантастическими проектами,

0:01:19.246,0:01:21.273
включая Зеркало стремлений,

0:01:21.297,0:01:26.431
которое позволяет проецировать[br]цифровые маски на своё отражение.

0:01:26.455,0:01:28.935
Например, если утром я хочу[br]чувствовать себя сильной,

0:01:28.965,0:01:30.263
я могу наложить маску льва.

0:01:30.287,0:01:33.783
Если я хочу приободриться,[br]то можно обойтись цитатой.

0:01:33.807,0:01:36.796
Я использовала обычную[br]программу распознавания лиц,

0:01:36.820,0:01:38.171
чтобы создать эту систему,

0:01:38.195,0:01:43.298
но оказалось, что её очень трудно[br]тестировать, если на мне нет белой маски.

0:01:44.282,0:01:48.628
К сожалению, я и раньше[br]сталкивалась с этой проблемой.

0:01:48.652,0:01:52.955
Когда я изучала информатику[br]в Технологическом институте Джорджии,

0:01:52.979,0:01:55.034
я работала над социальными роботами,

0:01:55.058,0:01:58.835
и одной из моих задач было научить[br]робота играть в «ку-ку».

0:01:58.859,0:02:00.542
Это простая игра со сменой ролей,

0:02:00.566,0:02:04.887
когда участники закрывают лицо ладонями,[br]и, открывая, говорят: «Ку-ку!»

0:02:04.911,0:02:09.340
Проблема заключается в том, что[br]если вас не видно, то игра теряет смысл,

0:02:09.364,0:02:11.863
а мой робот меня не видел.

0:02:11.887,0:02:15.837
Моя соседка одолжила мне своё лицо,[br]чтобы я смогла закончить проект,

0:02:15.861,0:02:17.241
я сдала задание

0:02:17.265,0:02:21.018
и подумала, что кто-нибудь другой[br]решит эту проблему.

0:02:21.669,0:02:23.672
Через некоторое время

0:02:23.696,0:02:27.855
я участвовала в конкурсе[br]предринимателей в Гонконге.

0:02:28.339,0:02:31.033
Организаторы решили показать участникам

0:02:31.057,0:02:33.429
местные стартапы.

0:02:33.453,0:02:36.168
В одном стартапе был социальный робот,

0:02:36.192,0:02:38.104
и они решили его продемонстрировать.

0:02:38.128,0:02:41.108
Демонстрация сработала на всех,[br]пока дело не дошло до меня,

0:02:41.132,0:02:43.055
и вы, наверное, уже догадались.

0:02:43.079,0:02:46.044
Он не смог распознать моё лицо.

0:02:46.068,0:02:48.579
Я спросила у разработчиков, в чём дело,

0:02:48.603,0:02:54.136
и оказалось, что мы использовали одну[br]и ту же программу для распознавания лиц.

0:02:54.160,0:02:55.810
На другой половине земного шара

0:02:55.834,0:02:59.686
до меня дошло, что алгоритмическая ошибка[br]может распространяться так же быстро,

0:02:59.710,0:03:02.880
как быстро можно скачивать[br]файлы из интернета.

0:03:03.745,0:03:06.821
Так что же происходит? Почему[br]моё лицо не распознаётся?

0:03:06.845,0:03:10.201
Для начала рассмотрим,[br]как мы создаём машинное зрение.

0:03:10.225,0:03:13.634
Компьютерное зрение использует[br]техники машинного обучения,

0:03:13.658,0:03:15.538
чтобы распознавать лица.

0:03:15.562,0:03:19.459
Это работает таким образом: вы создаёте[br]тренировочный набор с примерами лиц.

0:03:19.483,0:03:22.301
Это лицо. Это лицо. Это не лицо.

0:03:22.325,0:03:26.844
И постепенно вы можете научить[br]компьютер распознавать другие лица.

0:03:26.868,0:03:30.857
Однако, если тренировочные наборы[br]не очень разнообразны,

0:03:30.881,0:03:34.230
любое лицо, которое сильно отличается[br]от установленной нормы,

0:03:34.254,0:03:35.903
будет сложно распознать,

0:03:35.927,0:03:37.890
что и происходило со мной.

0:03:37.914,0:03:40.296
Но не переживайте —[br]есть и хорошие новости.

0:03:40.320,0:03:43.091
Тренировочные наборы[br]не появляются из ниоткуда.

0:03:43.115,0:03:44.903
Мы вообще-то можем их создавать.

0:03:44.927,0:03:49.103
Есть возможность создавать полный спектр[br]тренировочных наборов,

0:03:49.127,0:03:52.951
которые отражают более насыщенный[br]портрет человечества.

0:03:52.975,0:03:55.196
Вы увидели в моих примерах,

0:03:55.220,0:03:56.988
как социальные роботы

0:03:57.012,0:04:01.623
позволили мне обнаружить исключения[br]из-за алгоритмической погрешности.

0:04:01.647,0:04:06.462
Но алгоритмическая ошибка может также[br]приводить к дискриминации.

0:04:07.437,0:04:08.890
В США

0:04:08.914,0:04:13.112
отделения полиции начинают использовать[br]программы распознавания лиц

0:04:13.136,0:04:15.595
в их арсенале борьбы с преступностью.

0:04:15.619,0:04:17.632
Школа права университета Джорджтаун

0:04:17.656,0:04:24.419
опубликовала отчёт, согласно которому[br]в США один из двух взрослых —

0:04:24.443,0:04:27.977
это 117 миллионов человек —[br]имеют свои лица в сетях распознавания лиц.

0:04:28.001,0:04:32.553
Отделения полиции сейчас могут[br]неограниченно пользоваться этими сетями,

0:04:32.577,0:04:36.863
используя алгоритмы, точность[br]которых не была проверена.

0:04:36.887,0:04:40.751
Но мы знаем, что[br]распознавание лиц несовершенно

0:04:40.775,0:04:44.954
и что последовательное определение лиц[br]остаётся сложной задачей.

0:04:44.978,0:04:46.740
Можно столкнуться с этим на Фейсбуке.

0:04:46.764,0:04:49.752
Мы с друзьями всё время смеёмся,[br]когда видим других людей,

0:04:49.776,0:04:52.234
отмеченных на наших фото.

0:04:52.258,0:04:57.849
Но ошибочное определение уголовно[br]подозреваемого — это не шутка

0:04:57.873,0:05:00.700
и не просто нарушение гражданских свобод.

0:05:00.724,0:05:03.929
Машинное обучение используется[br]для распознавания лиц,

0:05:03.953,0:05:08.458
но не ограничивается компьютерным зрением.

0:05:09.266,0:05:13.282
В своей книге «Оружие[br]математического поражения»

0:05:13.306,0:05:19.987
учёный в области данных Кэти О'нейл[br]рассказывает о новом ОМП —

0:05:20.011,0:05:24.364
охватывающих, малоизвестных[br]и поражающих алгоритмах,

0:05:24.388,0:05:27.352
которые всё чаще используются[br]для принятия решений,

0:05:27.376,0:05:30.553
которые влияют на всё большее количество[br]аспектов нашей жизни.

0:05:30.577,0:05:32.447
Кто будет принят на работу или уволен?

0:05:32.471,0:05:34.583
Дадут ли вам этот кредит? Страховку?

0:05:34.607,0:05:38.110
Попадёте ли вы в тот колледж,[br]в который собирались?

0:05:38.134,0:05:41.643
Одинаковы ли цены для вас и для меня[br]на один и тот же товар,

0:05:41.667,0:05:44.109
купленный на той же платформе?

0:05:44.133,0:05:47.892
Правоохранительные органы также[br]начинают применять машинное обучение

0:05:47.916,0:05:50.205
для прогнозирования.

0:05:50.229,0:05:53.723
Судьи используют рейтинги риска,[br]сгенерированные машиной, для определения

0:05:53.747,0:05:58.149
срока, который человек[br]должен будет провести в тюрьме.

0:05:58.173,0:06:00.627
Мы должны крепко задуматься[br]над этими решениями.

0:06:00.651,0:06:01.833
Справедливы ли они?

0:06:01.857,0:06:04.747
Мы видели, что алгоритмический сбой

0:06:04.771,0:06:08.145
ведёт к не совсем правильным результатам.

0:06:08.169,0:06:10.133
Что же мы можем с этим сделать?

0:06:10.157,0:06:13.837
Для начала, мы можем задуматься о том,[br]как создавать более всестороний код

0:06:13.861,0:06:16.851
и применять инклюзивные практики[br]в программировании.

0:06:16.875,0:06:19.184
Это всё начинается с людей.

0:06:19.708,0:06:21.669
Важно, кто пишет код.

0:06:21.693,0:06:25.812
Создаём ли мы группы[br]из разнообразных личностей,

0:06:25.836,0:06:28.247
способных видеть слепые зоны друг друга?

0:06:28.271,0:06:31.816
С технической стороны, имеет значение[br]то, как мы пишем код.

0:06:31.840,0:06:35.491
Движет ли нами справедливость[br]во время разработки систем?

0:06:35.515,0:06:38.428
И наконец, важно, для чего мы пишем код.

0:06:38.785,0:06:43.868
Использование компьютерного творчества[br]открыло нам невероятное богатство.

0:06:43.892,0:06:48.339
Сейчас у нас есть возможность[br]добиться ещё большего равенства,

0:06:48.363,0:06:51.293
если мы сделаем социальное[br]изменение приоритетной,

0:06:51.317,0:06:53.487
а не запоздалой идеей.

0:06:54.008,0:06:58.530
Итак, есть три принципа, которые[br]составляют основу движения «инкодинг».

0:06:58.554,0:07:00.206
Важно, кто пишет код,

0:07:00.230,0:07:01.773
важно, как мы пишем код,

0:07:01.797,0:07:03.820
и важно, для чего мы пишем код.

0:07:03.844,0:07:06.943
Двигаясь в сторону инкодинга,[br]мы можем начать задумываться

0:07:06.967,0:07:10.131
о создании платформ,[br]которые могут находить ошибку,

0:07:10.155,0:07:13.233
собирая опыт людей, таких как я,

0:07:13.257,0:07:16.327
а также проверяющих существующее[br]программное обеспечение.

0:07:16.351,0:07:20.116
Также мы можем приступить к созданию[br]более полных тренировочных наборов.

0:07:20.140,0:07:22.943
Представьте себе кампанию[br]«Селфи для присоединения»,

0:07:22.967,0:07:26.622
где вы и я можем помочь разработчикам[br]тестировать и создавать

0:07:26.646,0:07:28.739
более полные тренировочные наборы.

0:07:29.302,0:07:32.130
Также мы можем начать думать[br]более добросовестно

0:07:32.154,0:07:37.545
о социальном влиянии технологии,[br]над которой мы работаем.

0:07:37.569,0:07:39.962
Чтобы запустить движение инкодинга,

0:07:39.986,0:07:42.833
я создала Лигу алгоритмической[br]справедливости,

0:07:42.857,0:07:48.729
где каждый, кто заботится о равенстве,[br]может помочь бороться со сбоями.

0:07:48.753,0:07:52.049
На codedgaze.com вы[br]можете сообщить об ошибке,

0:07:52.073,0:07:54.518
запросить проверку, стать тестировщиком

0:07:54.542,0:07:57.313
и присоединиться к обсуждению.

0:07:57.337,0:07:59.624
#codedgaze.

0:08:00.742,0:08:03.229
Я приглашаю вас присоединиться ко мне,

0:08:03.253,0:08:06.972
чтобы создать мир, в котором технология[br]работает на всех нас,

0:08:06.996,0:08:08.893
а не только на некоторых,

0:08:08.917,0:08:13.505
мир, в котором мы ценим инклюзию и[br]сосредотачиваемся на социальных переменах.

0:08:13.529,0:08:14.704
Спасибо.

0:08:14.728,0:08:18.999
(Аплодисменты)

0:08:20.873,0:08:23.727
И у меня один вопрос:

0:08:23.751,0:08:25.810
«А вы присоединитесь[br]ко мне в этой борьбе?»

0:08:25.834,0:08:27.119
(Смех)

0:08:27.143,0:08:30.830
(Аплодисменты)