Как найти худшее место для парковки в Нью-Йорке, оперируя данными
-
0:01 - 0:04Десять тысяч километров дорог,
-
0:04 - 0:06тысяча километров метро,
-
0:06 - 0:07600 километров велодорожек
-
0:07 - 0:09и почти километр трамвайных путей,
-
0:09 - 0:11если вы бывали на острове Рузвельта.
-
0:11 - 0:14Это цифры, из которых состоит
инфраструктура Нью-Йорка. -
0:14 - 0:17Это статистические данные
нашей инфраструктуры. -
0:17 - 0:21Именно эти данные вы можете
увидеть в отчётах городских служб. -
0:21 - 0:24К примеру, в Департаменте
транспорта вам наверняка скажут, -
0:24 - 0:26сколько километров дорог
они обслуживают. -
0:26 - 0:29MTA похвастается, как много
километров подземки в городе. -
0:29 - 0:30Многие службы делятся статистикой.
-
0:30 - 0:32Из отчёта этого года
-
0:32 - 0:34от Комиссии по такси и лимузинам
-
0:34 - 0:37мы узнаём, что в Нью-Йорке
около 13 500 такси. -
0:37 - 0:38Интересно, не так ли?
-
0:38 - 0:41А вы не задумывались,
откуда берутся эти цифры? -
0:41 - 0:44Ведь чтобы их опубликовать,
кто-то должен был подумать: -
0:44 - 0:48«Хм, а вот это может быть
кому-то интересно. -
0:48 - 0:50Это цифры, которые могут
понадобиться горожанам». -
0:50 - 0:52А потом вернуться к исходным данным,
-
0:52 - 0:54посчитать, сложить, подвести итог
-
0:54 - 0:55и выложить отчёт,
-
0:55 - 0:57один из многих отчётов
с подобной статистикой. -
0:57 - 1:00Проблема вот в чём:
откуда им знать все наши вопросы? -
1:00 - 1:01А у нас много вопросов.
-
1:01 - 1:05На самом деле, у нас буквально
бесконечное количество вопросов, -
1:05 - 1:06связанных с городом.
-
1:06 - 1:08Городским службам не угадать их все.
-
1:08 - 1:12Этот подход не работает и, я полагаю,
должностные лица это понимают, -
1:12 - 1:16поскольку в 2012 году мэр Блумберг
утвердил закон, который он назвал -
1:16 - 1:20самым амбициозным и исчерпывающим
законопроектом об открытых данных в стране. -
1:20 - 1:21Во многом он прав.
-
1:21 - 1:24За последние два года город разместил
1 000 массивов данных -
1:24 - 1:26на портале открытых данных,
-
1:26 - 1:27и это очень круто.
-
1:27 - 1:29Вы заходите и смотрите на эти данные,
-
1:29 - 1:32и вместо того, чтобы просто считать такси,
-
1:32 - 1:34вы можете задавать самые разные вопросы.
-
1:34 - 1:35У меня был такой вопрос.
-
1:35 - 1:36Когда в Нью-Йорке час пик?
-
1:36 - 1:39Ведь пробки всех достают.
Так когда наступает час пик? -
1:39 - 1:42И я подумал, ведь такси —
это не просто циферки, -
1:42 - 1:44это GPS-устройства,
которые разъежают по улицам города -
1:44 - 1:46и записывают каждую поездку.
-
1:46 - 1:49Эти данные доступны,
я их проанализировал -
1:49 - 1:53и нарисовал диаграмму средней скорости
такси в Нью-Йорке в течение дня. -
1:53 - 1:56Вы видите, что где-то
с полуночи до 5:18 утра -
1:56 - 2:00скорость растёт, а потом — наоборот,
-
2:00 - 2:04движение всё замедляется и замедляется,
вплоть до 8:35 утра, -
2:04 - 2:06когда скорость падает до 18,5 км/ч.
-
2:06 - 2:10Среднестатистическое такси ездит по городу
со скоростью 18,5 км/ч, -
2:10 - 2:12и выясняется, что эта скорость держится
-
2:12 - 2:15на протяжении всего дня.
-
2:15 - 2:16(Смех)
-
2:16 - 2:20И я подумал:
«Кажется, в Нью-Йорке нет часа пик. -
2:20 - 2:21Есть только день пик».
-
2:21 - 2:24Так и есть. И это важно по ряду причин.
-
2:24 - 2:28Если вы занимаетесь схемой уличного
движения, это должно быть вам интересно. -
2:28 - 2:30Но если вы хотите быстро
куда-то добраться, -
2:30 - 2:33заводите будильник на 4:45 и вперёд.
-
2:33 - 2:34Это же Нью-Йорк.
-
2:34 - 2:36С этими данными связана одна история.
-
2:36 - 2:38Их было не так просто получить.
-
2:38 - 2:42Для этого пришлось сделать запрос
в рамках Закона о свободе информации, -
2:42 - 2:43запрос FOIL.
-
2:43 - 2:46Бланк можно найти на сайте
Комиссии по такси и лимузинам. -
2:46 - 2:49Чтобы получить доступ к данным,
вам надо получить этот бланк, -
2:49 - 2:51заполнить его и ждать ответа;
-
2:51 - 2:53и один парень, Крис Вонг,
всё это сделал. -
2:53 - 2:55Крис связался с ними, и они ответили:
-
2:55 - 2:58«Принóсите новый жёсткий диск,
-
2:58 - 3:01оставляете его на 5 часов, мы копируем
туда все данные и отдаём диск вам». -
3:01 - 3:03Вот откуда вся эта информация.
-
3:03 - 3:06Крис — из тех, кто стремится сделать
информацию публичной, -
3:06 - 3:10поэтому данные оказались в общем доступе
в Интернете, и появился этот график. -
3:10 - 3:14И то, что он существует, — круто.
Эти GPS-устройства — классная вещь. -
3:14 - 3:17Но то, что горожанам приходится
ходить с жёсткими дисками -
3:17 - 3:19и собирать данные из агентств,
чтобы опубликовать их — -
3:19 - 3:22хотя они уже «публичны» —
их же можно получить, -
3:22 - 3:23на деле это лишь видимость открытости.
-
3:23 - 3:25Наш город способен на большее.
-
3:25 - 3:28Нельзя заставлять людей расхаживать
с жёсткими дисками. -
3:28 - 3:31Не все данные спрятаны за формой FOIL.
-
3:31 - 3:34Я сделал карту самых опасных
перекрёстков в Нью-Йорке -
3:34 - 3:36по количеству ДТП с велосипедистами.
-
3:36 - 3:38Красные зоны — самые опасные.
-
3:38 - 3:41В первую очередь, на востоке Манхэттена,
-
3:41 - 3:44а в особенности — в нижней его части,
множество ДТП с велосипедистами. -
3:44 - 3:45Кажется, это логично,
-
3:45 - 3:48ведь там больше велосипедистов
спускаются с мостов. -
3:48 - 3:50Но есть и другие интересные места.
-
3:50 - 3:53Уильямсбург. Рузвельт-авеню в Куинсе.
-
3:53 - 3:56Именно такие данные нужны нам
в рамках программы Vision Zero. -
3:56 - 3:58Это как раз то, что мы искали.
-
3:58 - 4:00Но и у этих данных есть своя история.
-
4:00 - 4:02Эти данные появились не просто так.
-
4:02 - 4:04Кто из вас узнаёт этот логотип?
-
4:04 - 4:06Вижу, кто-то кивает.
-
4:06 - 4:08Вы когда-нибудь пытались
скопировать данные из PDF так, -
4:08 - 4:10чтобы они не стали бессмыслицей?
-
4:10 - 4:11Мотаете головой.
-
4:11 - 4:14Многие знают, что такое копировать данные
из PDF, но не узнают логотип. -
4:14 - 4:18Так вот, данные, которые вы
только что видели, были в формате PDF. -
4:18 - 4:21Сотни и сотни страниц PDF-файлов,
-
4:21 - 4:23опубликованных Департаментом
полиции Нью-Йорка, -
4:23 - 4:26и чтобы получить доступ к данным,
вам нужно или копировать их вручную -
4:26 - 4:28на протяжении сотен часов,
-
4:28 - 4:29или быть Джоном Крауссом.
-
4:29 - 4:30Джон Краусс подумал:
-
4:30 - 4:34«Не буду я копировать данные вручную.
Лучше я напишу программу». -
4:34 - 4:36Он назвал её NYPD Crash Data Band-Aid,
-
4:36 - 4:39она заходила на сайт Департамента полиции
и скачивала PDF-файлы. -
4:39 - 4:42Каждый день она искала PDF-файлы
и, если находила, скачивала их, -
4:42 - 4:44а затем запускала программу разбора PDF,
-
4:44 - 4:46извлекала текст,
-
4:46 - 4:49загружала данные в Интернет, и в итоге
люди могли делать подобные карты. -
4:49 - 4:53И то, что у нас есть эти данные,
что мы можем работать с ними... -
4:53 - 4:55Кстати, каждое ДТП —
строка в этой таблице. -
4:55 - 4:57Представьте, сколько это PDF-файлов.
-
4:57 - 4:59У нас есть доступ к данным —
это отлично, -
4:59 - 5:01но не нужно публиковать их в формате PDF
-
5:01 - 5:04и заставлять горожан писать
программы разбора PDF-файлов. -
5:04 - 5:06Это не лучший способ
задействовать горожан, -
5:06 - 5:08и мы, как город,
можем улучшить ситуацию. -
5:08 - 5:11Есть и хорошая новость —
администрация де Блазио -
5:11 - 5:13недавно опубликовала эти данные,
несколько месяцев назад, -
5:13 - 5:15и теперь у нас есть
нормальный доступ к ним, -
5:15 - 5:18но множество данных по-прежнему
сокрыто в PDF-файлах. -
5:18 - 5:21Например, данные по преступности
доступны только в формате PDF. -
5:21 - 5:25И не только. Даже бюджет города.
-
5:25 - 5:28Бюджет города доступен
только в формате PDF. -
5:28 - 5:31И не только мы с вами не можем
проанализировать его, -
5:31 - 5:34но и сами законодатели,
которые голосуют за бюджет, -
5:34 - 5:36тоже получают его только в формате PDF.
-
5:36 - 5:40Законодатели не могут проанализировать
бюджет, за который голосуют. -
5:40 - 5:43И я думаю, что мы можем
организовать всё гораздо лучше. -
5:43 - 5:46Есть множество данных,
не похороненных в PDF-файлах. -
5:46 - 5:47Вот ещё одна из таких карт —
-
5:47 - 5:50самая грязная вода в Нью-Йорке.
-
5:50 - 5:52Как измерить загрязнённость воды?
-
5:52 - 5:54Это покажется немного странным,
-
5:54 - 5:56но я смотрел на уровень
фекальных бактерий, -
5:56 - 5:59который по сути отражает
количество экскрементов в воде. -
5:59 - 6:03Чем больше круг, тем грязнее вода,
-
6:03 - 6:06большие круги — грязная вода,
маленькие — вода почище. -
6:06 - 6:08Вы видите, что каналы на суше —
-
6:08 - 6:11эти данные собирались в течение
последних пяти лет — -
6:11 - 6:14каналы на суше, в общем случае, грязнее.
-
6:14 - 6:15Логично, не так ли?
-
6:15 - 6:18Больше круг — грязнее вода.
Из этой карты я сделал несколько выводов. -
6:18 - 6:21Первое: никогда не купаться в том,
что называется «сток» или «канал». -
6:21 - 6:26Второе: я также нашёл грязнейший
водосток в Нью-Йорке. -
6:26 - 6:28Но только по этому параметру.
-
6:28 - 6:31В Кони-Айленд Крик — это не тот
Кони-Айленд, где вы купаетесь, к счастью. -
6:31 - 6:32Это с другой стороны.
-
6:32 - 6:36Но в Кони-Айленд Крик
в 94% образцов, взятых за пять лет, -
6:36 - 6:38был настолько повышенный
уровень экскрементов, -
6:38 - 6:41что плавать там было просто незаконно.
-
6:41 - 6:44Подобными вещами не хвалятся
-
6:44 - 6:46в городских отчётах, верно?
-
6:46 - 6:48Этого не будет на домашней
странице nyc.gov. -
6:48 - 6:49Там вы этого не увидите,
-
6:49 - 6:52но то, что мы можем получить
эти данные,— это очень круто. -
6:52 - 6:54Но опять же это было непросто,
-
6:54 - 6:56потому что этого не было
на портале открытых данных. -
6:56 - 6:58Если бы вы зашли
на портал открытых данных, -
6:58 - 7:01вы бы увидели данные
за год или за пару месяцев. -
7:01 - 7:04Полный массив находился на сайте
Департамента охраны окружающей среды. -
7:04 - 7:08И каждая из этих ссылок — лист Excel,
все эти листы Excel — разные. -
7:08 - 7:11Разные заголовки, их приходится
копировать, всё переделывать. -
7:11 - 7:14В итоге вы можете рисовать
такие карты, и это хорошо, -
7:14 - 7:17но можно организовать это получше,
стандартизировать форму. -
7:17 - 7:20И мы движемся в этом направлении,
есть один сайт от Socrata, -
7:20 - 7:22«Портал открытых данных Нью-Йорка».
-
7:22 - 7:24Это около 1 100 массивов данных
без тех недостатков, -
7:24 - 7:26о которых я говорил.
-
7:26 - 7:28Сайт постоянно растёт,
и это прекрасно. -
7:28 - 7:31Вы можете скачать данные в любом формате,
будь то CSV, PDF или Excel. -
7:31 - 7:34Вы можете скачать всё, что захотите,
в удобном формате. -
7:34 - 7:35Но даже тут есть одна проблема:
-
7:35 - 7:39каждое агенство по-разному
кодирует адреса. -
7:39 - 7:41Где-то есть названия
пересекающихся улиц, -
7:41 - 7:43улица, боро, адрес,
номер дома, адрес дома. -
7:43 - 7:47И вы снова вынуждены тратить своё время,
даже используя этот портал, -
7:47 - 7:49вы тратите время, нормализуя
данные в адресных полях. -
7:49 - 7:52Это не лучший способ
использовать время горожан. -
7:52 - 7:53Мы можем улучшить ситуацию.
-
7:53 - 7:55Мы можем стандартизировать адреса,
-
7:55 - 7:57и сделав это, мы получим
больше таких карт. -
7:57 - 8:00Это карта пожарных гидрантов Нью-Йорка,
-
8:00 - 8:01но не всех подряд.
-
8:01 - 8:06Это 250 гидрантов, лидирующих по прибыли
за счёт штрафов за неправильную парковку. -
8:06 - 8:08(Смех)
-
8:08 - 8:11Я кое-что узнал благодаря этой карте,
мне она очень нравится. -
8:11 - 8:14Первое: не паркуйтесь в Верхнем Ист-Сайде.
-
8:14 - 8:17Просто не надо. Не важно, где вы встали,
вы заплатите за парковку у гидранта. -
8:17 - 8:21Второе: есть два самых прибыльных
гидранта во всем Нью-Йорке, -
8:21 - 8:23они находятся в Нижнем Ист-Сайде
-
8:23 - 8:28и собирают более 55 000 долларов
в год в виде штрафов за парковку. -
8:28 - 8:31Мне это показалось немного странным,
-
8:31 - 8:34я копнул глубже и увидел вот что:
гидрант на краю тротуара, -
8:34 - 8:36потом расширение тротуара, что-то вроде
-
8:36 - 8:38двухметровой полосы для пешеходов,
-
8:38 - 8:40а затем парковочные места.
-
8:40 - 8:42Люди приезжали, видели гидрант... Думали:
-
8:42 - 8:44«Гидрант далеко, вон там, всё в порядке».
-
8:44 - 8:47И плюс ко всему, там была разметка,
обозначающая парковочное место. -
8:47 - 8:51Люди парковались там, а полиция
Нью-Йорка не соглашалась с этой разметкой -
8:51 - 8:51и штрафовала их.
-
8:51 - 8:54И не только я видел
эти штрафы за парковку. -
8:54 - 8:56Вот машина Google Street
View проезжает там -
8:56 - 8:57и снимает тот же самый штраф.
-
8:57 - 9:02Я написал об этом в своём блоге I Quant NY,
и мне ответили из Департамента транспорта, -
9:02 - 9:03они написали:
-
9:03 - 9:06«Хотя Департамент транспорта и не получал
жалоб по поводу этого места, -
9:06 - 9:11мы пересмотрим разметку
и внесём необходимые изменения». -
9:11 - 9:14Я подумал:
«Типичная государственная отписка». -
9:14 - 9:16Ну и ладно, и забыл об этом.
-
9:16 - 9:20Но спустя несколько недель
случилось кое-что невообразимое. -
9:20 - 9:22Они переделали разметку,
-
9:22 - 9:25и в тот момент я увидел будущее,
эпоху открытых данных. -
9:25 - 9:27Только подумайте, что произошло.
-
9:27 - 9:32На протяжении пяти лет тут выписывали
штрафы, разметка была неоднозначной, -
9:32 - 9:36а потом горожанин заметил это, сообщил
городу, и в течение нескольких недель -
9:36 - 9:38проблема была решена.
-
9:38 - 9:41Потрясающе. Многие смотрят на открытые
данные как на механизм контроля. -
9:41 - 9:43Это не так, суть в партнёрстве.
-
9:43 - 9:46Мы даём гражданам возможность
работать рука об руку с государством, -
9:46 - 9:47и это не так уж сложно.
-
9:47 - 9:49Всё, что нужно, — пара изменений.
-
9:49 - 9:50Если вы предоставляете
-
9:50 - 9:53данные по запросу FOIL и видите,
что их запрашивают постоянно, -
9:53 - 9:57просто выложите их в общий доступ,
вы ведь видите, что они востребованы. -
9:57 - 9:59Если вы агентство,
которое публикует PDF-файлы, -
9:59 - 10:03нужен закон, обязующий вас публиковать
данные, лежащие в основе PDF-файлов, -
10:03 - 10:05ведь вы получаете их каким-то образом.
-
10:05 - 10:07Я не знаю откуда,
но где-то вы их берёте, а значит, -
10:07 - 10:09можете опубликовать вместе с PDF-ками.
-
10:09 - 10:11Давайте примем и внедрим
стандарты открытых данных. -
10:11 - 10:14Начнём с адресов в Нью-Йорке.
-
10:14 - 10:16Стандартизируем формат адреса.
-
10:16 - 10:18Нью-Йорк — лидер в области
открытых данных. -
10:18 - 10:21Несмотря на всё это, мы лидеры
в области открытых данных, -
10:21 - 10:24и если мы займёмся нормализацией,
стандартизацией открытых данных, -
10:24 - 10:28нашему примеру последует и штат,
и, может быть, федеральное правительство. -
10:28 - 10:29За нами пойдут и другие страны,
-
10:29 - 10:32мы не так далеко от момента, когда кто-то
сможет написать программу, -
10:32 - 10:34наносящую на карту данные из 100 стран.
-
10:34 - 10:37Это не научная фантастика.
Мы довольно-таки близко. -
10:37 - 10:39Кстати, а кто всем этим занимается?
-
10:39 - 10:42Это не только Джон Краусс и Крис Вонг.
-
10:42 - 10:45В Нью-Йорке проходят сотни встреч,
-
10:45 - 10:46оживлённых встреч.
-
10:46 - 10:48Тысячи людей приходят на эти собрания.
-
10:48 - 10:51Люди приходят после работы,
на выходных, -
10:51 - 10:53они собираются, чтобы взглянуть
на открытые данные -
10:53 - 10:55и сделать наш город лучше.
-
10:55 - 10:59Есть группы вроде BetaNYC, которая
недавно создала сайт www.citygram.nyc, -
10:59 - 11:02где вы можете подписаться
на жалобы в службу «3-1-1» -
11:02 - 11:04рядом с домом или местом работы.
-
11:04 - 11:06Ввóдите свой адрес и видите
жалобы в окрестностях. -
11:06 - 11:09Этим занимаются не только технари.
-
11:09 - 11:12Градостроители, студенты,
которых я учу в Институте Пратта. -
11:12 - 11:14Правозащитники — да все подряд,
-
11:14 - 11:17горожане с самым разным опытом.
-
11:17 - 11:19Путём небольших,
постепенных изменений -
11:19 - 11:23мы можем разбудить страсть
и дать горожанам возможность -
11:23 - 11:26использовать открытые данные
и улучшать наш город, -
11:26 - 11:29не важно, идёт речь о целом массиве данных
или об одном парковочном месте. -
11:29 - 11:32Спасибо.
-
11:32 - 11:35(Аплодисменты)
- Title:
- Как найти худшее место для парковки в Нью-Йорке, оперируя данными
- Speaker:
- Бен Веллингтон
- Description:
-
Городские службы имеют доступ к огромному количеству данных и статистике по каждой части города. И как предполагает Бен Веллингтон, аналитик, работающий с большими данными, они частенько не знают, что с ними делать. Он показывает нам, как комбинация неожиданных вопросов и толковой работы с данными может привести к любоптным и полезным выводам, и делится с нами советами о том, как нужно публиковать большие массивы информации, чтобы ими мог воспользоваться любой из нас.
- Video Language:
- English
- Team:
- closed TED
- Project:
- TEDTalks
- Duration:
- 11:48
Anna Kotova approved Russian subtitles for How we found the worst place to park in New York City — using big data | ||
Anna Kotova edited Russian subtitles for How we found the worst place to park in New York City — using big data | ||
Anna Kotova edited Russian subtitles for How we found the worst place to park in New York City — using big data | ||
Anna Kotova edited Russian subtitles for How we found the worst place to park in New York City — using big data | ||
Alexander Bukhonov edited Russian subtitles for How we found the worst place to park in New York City — using big data | ||
Alexander Bukhonov edited Russian subtitles for How we found the worst place to park in New York City — using big data | ||
Alexander Bukhonov accepted Russian subtitles for How we found the worst place to park in New York City — using big data | ||
Alexander Bukhonov edited Russian subtitles for How we found the worst place to park in New York City — using big data |