1
00:00:01,041 --> 00:00:04,175
Привет, я Джой, поэт кода.

2
00:00:04,199 --> 00:00:09,192
Моя миссия — остановить невидимую,
набирающую обороты силу,

3
00:00:09,216 --> 00:00:12,072
силу, которую я называю
«закодированный взгляд»,

4
00:00:12,096 --> 00:00:15,405
моё определение для алгоритмического сбоя.

5
00:00:15,429 --> 00:00:19,729
Необъективность алгоритма, как и
человека, ведёт к несправедливости.

6
00:00:19,753 --> 00:00:25,775
Алгоритмы, как вирусы, способны
распространять ошибки в больших масштабах

7
00:00:25,799 --> 00:00:27,381
и очень быстро.

8
00:00:27,943 --> 00:00:32,330
Алгоритмические отклонения
могут приводить к отчуждению

9
00:00:32,354 --> 00:00:34,482
и дискриминации.

10
00:00:34,506 --> 00:00:36,567
Давайте я покажу, что я имею в виду.

11
00:00:36,980 --> 00:00:39,416
(Видео) Джой: Привет,
камера. Вот моё лицо.

12
00:00:40,162 --> 00:00:42,026
Ты видишь моё лицо?

13
00:00:42,051 --> 00:00:43,676
Лицо без очков?

14
00:00:43,701 --> 00:00:45,915
Ты видишь её лицо.

15
00:00:46,237 --> 00:00:48,482
А моё?

16
00:00:51,890 --> 00:00:55,640
Теперь с маской. Видишь маску?

17
00:00:56,474 --> 00:00:58,839
Джой Буоламвини: Как так получилось?

18
00:00:58,863 --> 00:01:02,004
Почему я сижу за компьютером

19
00:01:02,028 --> 00:01:03,452
в белой маске,

20
00:01:03,476 --> 00:01:07,126
пытаясь быть распознанной
дешёвой камерой?

21
00:01:07,150 --> 00:01:09,441
Когда я не воюю с закодированным взглядом,

22
00:01:09,465 --> 00:01:10,985
будучи поэтом кода,

23
00:01:11,009 --> 00:01:14,281
я аспирант Медиа-лаборатории в МИТ,

24
00:01:14,305 --> 00:01:19,222
где у меня есть возможность работать
над всяческими фантастическими проектами,

25
00:01:19,246 --> 00:01:21,273
включая Зеркало стремлений,

26
00:01:21,297 --> 00:01:26,431
которое позволяет проецировать
цифровые маски на своё отражение.

27
00:01:26,455 --> 00:01:28,935
Например, если утром я хочу
чувствовать себя сильной,

28
00:01:28,965 --> 00:01:30,263
я могу наложить маску льва.

29
00:01:30,287 --> 00:01:33,783
Если я хочу приободриться,
то можно обойтись цитатой.

30
00:01:33,807 --> 00:01:36,796
Я использовала обычную
программу распознавания лиц,

31
00:01:36,820 --> 00:01:38,171
чтобы создать эту систему,

32
00:01:38,195 --> 00:01:43,298
но оказалось, что её очень трудно
тестировать, если на мне нет белой маски.

33
00:01:44,282 --> 00:01:48,628
К сожалению, я и раньше
сталкивалась с этой проблемой.

34
00:01:48,652 --> 00:01:52,955
Когда я изучала информатику
в Технологическом институте Джорджии,

35
00:01:52,979 --> 00:01:55,034
я работала над социальными роботами,

36
00:01:55,058 --> 00:01:58,835
и одной из моих задач было научить
робота играть в «ку-ку».

37
00:01:58,859 --> 00:02:00,542
Это простая игра со сменой ролей,

38
00:02:00,566 --> 00:02:04,887
когда участники закрывают лицо ладонями,
и, открывая, говорят: «Ку-ку!»

39
00:02:04,911 --> 00:02:09,340
Проблема заключается в том, что
если вас не видно, то игра теряет смысл,

40
00:02:09,364 --> 00:02:11,863
а мой робот меня не видел.

41
00:02:11,887 --> 00:02:15,837
Моя соседка одолжила мне своё лицо,
чтобы я смогла закончить проект,

42
00:02:15,861 --> 00:02:17,241
я сдала задание

43
00:02:17,265 --> 00:02:21,018
и подумала, что кто-нибудь другой
решит эту проблему.

44
00:02:21,669 --> 00:02:23,672
Через некоторое время

45
00:02:23,696 --> 00:02:27,855
я участвовала в конкурсе
предринимателей в Гонконге.

46
00:02:28,339 --> 00:02:31,033
Организаторы решили показать участникам

47
00:02:31,057 --> 00:02:33,429
местные стартапы.

48
00:02:33,453 --> 00:02:36,168
В одном стартапе был социальный робот,

49
00:02:36,192 --> 00:02:38,104
и они решили его продемонстрировать.

50
00:02:38,128 --> 00:02:41,108
Демонстрация сработала на всех,
пока дело не дошло до меня,

51
00:02:41,132 --> 00:02:43,055
и вы, наверное, уже догадались.

52
00:02:43,079 --> 00:02:46,044
Он не смог распознать моё лицо.

53
00:02:46,068 --> 00:02:48,579
Я спросила у разработчиков, в чём дело,

54
00:02:48,603 --> 00:02:54,136
и оказалось, что мы использовали одну
и ту же программу для распознавания лиц.

55
00:02:54,160 --> 00:02:55,810
На другой половине земного шара

56
00:02:55,834 --> 00:02:59,686
до меня дошло, что алгоритмическая ошибка
может распространяться так же быстро,

57
00:02:59,710 --> 00:03:02,880
как быстро можно скачивать
файлы из интернета.

58
00:03:03,745 --> 00:03:06,821
Так что же происходит? Почему
моё лицо не распознаётся?

59
00:03:06,845 --> 00:03:10,201
Для начала рассмотрим,
как мы создаём машинное зрение.

60
00:03:10,225 --> 00:03:13,634
Компьютерное зрение использует
техники машинного обучения,

61
00:03:13,658 --> 00:03:15,538
чтобы распознавать лица.

62
00:03:15,562 --> 00:03:19,459
Это работает таким образом: вы создаёте
тренировочный набор с примерами лиц.

63
00:03:19,483 --> 00:03:22,301
Это лицо. Это лицо. Это не лицо.

64
00:03:22,325 --> 00:03:26,844
И постепенно вы можете научить
компьютер распознавать другие лица.

65
00:03:26,868 --> 00:03:30,857
Однако, если тренировочные наборы
не очень разнообразны,

66
00:03:30,881 --> 00:03:34,230
любое лицо, которое сильно отличается
от установленной нормы,

67
00:03:34,254 --> 00:03:35,903
будет сложно распознать,

68
00:03:35,927 --> 00:03:37,890
что и происходило со мной.

69
00:03:37,914 --> 00:03:40,296
Но не переживайте —
есть и хорошие новости.

70
00:03:40,320 --> 00:03:43,091
Тренировочные наборы
не появляются из ниоткуда.

71
00:03:43,115 --> 00:03:44,903
Мы вообще-то можем их создавать.

72
00:03:44,927 --> 00:03:49,103
Есть возможность создавать полный спектр
тренировочных наборов,

73
00:03:49,127 --> 00:03:52,951
которые отражают более насыщенный
портрет человечества.

74
00:03:52,975 --> 00:03:55,196
Вы увидели в моих примерах,

75
00:03:55,220 --> 00:03:56,988
как социальные роботы

76
00:03:57,012 --> 00:04:01,623
позволили мне обнаружить исключения
из-за алгоритмической погрешности.

77
00:04:01,647 --> 00:04:06,462
Но алгоритмическая ошибка может также
приводить к дискриминации.

78
00:04:07,437 --> 00:04:08,890
В США

79
00:04:08,914 --> 00:04:13,112
отделения полиции начинают использовать
программы распознавания лиц

80
00:04:13,136 --> 00:04:15,595
в их арсенале борьбы с преступностью.

81
00:04:15,619 --> 00:04:17,632
Школа права университета Джорджтаун

82
00:04:17,656 --> 00:04:24,419
опубликовала отчёт, согласно которому
в США один из двух взрослых —

83
00:04:24,443 --> 00:04:27,977
это 117 миллионов человек —
имеют свои лица в сетях распознавания лиц.

84
00:04:28,001 --> 00:04:32,553
Отделения полиции сейчас могут
неограниченно пользоваться этими сетями,

85
00:04:32,577 --> 00:04:36,863
используя алгоритмы, точность
которых не была проверена.

86
00:04:36,887 --> 00:04:40,751
Но мы знаем, что
распознавание лиц несовершенно

87
00:04:40,775 --> 00:04:44,954
и что последовательное определение лиц
остаётся сложной задачей.

88
00:04:44,978 --> 00:04:46,740
Можно столкнуться с этим на Фейсбуке.

89
00:04:46,764 --> 00:04:49,752
Мы с друзьями всё время смеёмся,
когда видим других людей,

90
00:04:49,776 --> 00:04:52,234
отмеченных на наших фото.

91
00:04:52,258 --> 00:04:57,849
Но ошибочное определение уголовно
подозреваемого — это не шутка

92
00:04:57,873 --> 00:05:00,700
и не просто нарушение гражданских свобод.

93
00:05:00,724 --> 00:05:03,929
Машинное обучение используется
для распознавания лиц,

94
00:05:03,953 --> 00:05:08,458
но не ограничивается компьютерным зрением.

95
00:05:09,266 --> 00:05:13,282
В своей книге «Оружие
математического поражения»

96
00:05:13,306 --> 00:05:19,987
учёный в области данных Кэти О'нейл
рассказывает о новом ОМП —

97
00:05:20,011 --> 00:05:24,364
охватывающих, малоизвестных
и поражающих алгоритмах,

98
00:05:24,388 --> 00:05:27,352
которые всё чаще используются
для принятия решений,

99
00:05:27,376 --> 00:05:30,553
которые влияют на всё большее количество
аспектов нашей жизни.

100
00:05:30,577 --> 00:05:32,447
Кто будет принят на работу или уволен?

101
00:05:32,471 --> 00:05:34,583
Дадут ли вам этот кредит? Страховку?

102
00:05:34,607 --> 00:05:38,110
Попадёте ли вы в тот колледж,
в который собирались?

103
00:05:38,134 --> 00:05:41,643
Одинаковы ли цены для вас и для меня
на один и тот же товар,

104
00:05:41,667 --> 00:05:44,109
купленный на той же платформе?

105
00:05:44,133 --> 00:05:47,892
Правоохранительные органы также
начинают применять машинное обучение

106
00:05:47,916 --> 00:05:50,205
для прогнозирования.

107
00:05:50,229 --> 00:05:53,723
Судьи используют рейтинги риска,
сгенерированные машиной, для определения

108
00:05:53,747 --> 00:05:58,149
срока, который человек
должен будет провести в тюрьме.

109
00:05:58,173 --> 00:06:00,627
Мы должны крепко задуматься
над этими решениями.

110
00:06:00,651 --> 00:06:01,833
Справедливы ли они?

111
00:06:01,857 --> 00:06:04,747
Мы видели, что алгоритмический сбой

112
00:06:04,771 --> 00:06:08,145
ведёт к не совсем правильным результатам.

113
00:06:08,169 --> 00:06:10,133
Что же мы можем с этим сделать?

114
00:06:10,157 --> 00:06:13,837
Для начала, мы можем задуматься о том,
как создавать более всестороний код

115
00:06:13,861 --> 00:06:16,851
и применять инклюзивные практики
в программировании.

116
00:06:16,875 --> 00:06:19,184
Это всё начинается с людей.

117
00:06:19,708 --> 00:06:21,669
Важно, кто пишет код.

118
00:06:21,693 --> 00:06:25,812
Создаём ли мы группы
из разнообразных личностей,

119
00:06:25,836 --> 00:06:28,247
способных видеть слепые зоны друг друга?

120
00:06:28,271 --> 00:06:31,816
С технической стороны, имеет значение
то, как мы пишем код.

121
00:06:31,840 --> 00:06:35,491
Движет ли нами справедливость
во время разработки систем?

122
00:06:35,515 --> 00:06:38,428
И наконец, важно, для чего мы пишем код.

123
00:06:38,785 --> 00:06:43,868
Использование компьютерного творчества
открыло нам невероятное богатство.

124
00:06:43,892 --> 00:06:48,339
Сейчас у нас есть возможность
добиться ещё большего равенства,

125
00:06:48,363 --> 00:06:51,293
если мы сделаем социальное
изменение приоритетной,

126
00:06:51,317 --> 00:06:53,487
а не запоздалой идеей.

127
00:06:54,008 --> 00:06:58,530
Итак, есть три принципа, которые
составляют основу движения «инкодинг».

128
00:06:58,554 --> 00:07:00,206
Важно, кто пишет код,

129
00:07:00,230 --> 00:07:01,773
важно, как мы пишем код,

130
00:07:01,797 --> 00:07:03,820
и важно, для чего мы пишем код.

131
00:07:03,844 --> 00:07:06,943
Двигаясь в сторону инкодинга,
мы можем начать задумываться

132
00:07:06,967 --> 00:07:10,131
о создании платформ,
которые могут находить ошибку,

133
00:07:10,155 --> 00:07:13,233
собирая опыт людей, таких как я,

134
00:07:13,257 --> 00:07:16,327
а также проверяющих существующее
программное обеспечение.

135
00:07:16,351 --> 00:07:20,116
Также мы можем приступить к созданию
более полных тренировочных наборов.

136
00:07:20,140 --> 00:07:22,943
Представьте себе кампанию
«Селфи для присоединения»,

137
00:07:22,967 --> 00:07:26,622
где вы и я можем помочь разработчикам
тестировать и создавать

138
00:07:26,646 --> 00:07:28,739
более полные тренировочные наборы.

139
00:07:29,302 --> 00:07:32,130
Также мы можем начать думать
более добросовестно

140
00:07:32,154 --> 00:07:37,545
о социальном влиянии технологии,
над которой мы работаем.

141
00:07:37,569 --> 00:07:39,962
Чтобы запустить движение инкодинга,

142
00:07:39,986 --> 00:07:42,833
я создала Лигу алгоритмической
справедливости,

143
00:07:42,857 --> 00:07:48,729
где каждый, кто заботится о равенстве,
может помочь бороться со сбоями.

144
00:07:48,753 --> 00:07:52,049
На codedgaze.com вы
можете сообщить об ошибке,

145
00:07:52,073 --> 00:07:54,518
запросить проверку, стать тестировщиком

146
00:07:54,542 --> 00:07:57,313
и присоединиться к обсуждению.

147
00:07:57,337 --> 00:07:59,624
#codedgaze.

148
00:08:00,742 --> 00:08:03,229
Я приглашаю вас присоединиться ко мне,

149
00:08:03,253 --> 00:08:06,972
чтобы создать мир, в котором технология
работает на всех нас,

150
00:08:06,996 --> 00:08:08,893
а не только на некоторых,

151
00:08:08,917 --> 00:08:13,505
мир, в котором мы ценим инклюзию и
сосредотачиваемся на социальных переменах.

152
00:08:13,529 --> 00:08:14,704
Спасибо.

153
00:08:14,728 --> 00:08:18,999
(Аплодисменты)

154
00:08:20,873 --> 00:08:23,727
И у меня один вопрос:

155
00:08:23,751 --> 00:08:25,810
«А вы присоединитесь
ко мне в этой борьбе?»

156
00:08:25,834 --> 00:08:27,119
(Смех)

157
00:08:27,143 --> 00:08:30,830
(Аплодисменты)