Як ми знайшли найгірше місце для паркування у Нью-Йорку - завдяки відкритим даним

Міські служби мають доступ до гігантських масивів даних і статистики, що відображають кожну складову міського життя. Але, як запевняє аналітик даних Бен Веллінґтон у своїй іронічній промові, часом вони просто не знають, що з цим всім робити. Він розповідає, як поєднання несподіваних запитань і розумного аналізу даних дає на диво корисні результати. І радить, як публікувати великі масиви даних, щоб ними міг скористатися кожен.

10 000 кілометрів доріг,

1 000 кілометрів колій метро,

600 кілометрів велодоріжок,

і 700 метрів трамвайної колії,

якщо ви колись бували
на острові Рузвельта.

Ось з таких цифр складається
інфраструктура Нью-Йорка.

Ось такі статистичні дані
нашої інфраструктури.

Їх публікують у звітах міських служб.

Наприклад, відділ транспорту
розповість вам,

скільки кілометрів доріг він утримує.

Управління міського транспорту похизується,
на скільки миль простягається міська підземка.

Міські служби зазвичай
годують нас статистикою.

Це дані з торішнього звіту

Комісії з таксі й лімузинів,

які повідомляють нам, що в Нью-Йорку
є близько 13 500 таксі.

Досить цікаво, еге ж?

Але ви колись задумувались,
звідки беруться ці цифри?

Бо щоб вони з'явились на світ,
хтось із міської служби

мусить зупинитись і подумати - гм,
ось цифра, яку хтось хотів би дізнатись.

Ось число, яке хотіли б
дізнатись наші громадяни.

Тоді ця людина вертається до своїх
необроблених даних,

рахує, додає, обчислює,

а тоді складає звіт,

і той звіт містить ось такі цифри.

Але є одна проблема - хіба їм
відомі всі наші запитання?

У нас чимало запитань.

Можна сказати, що існує
безмежна кількість запитань,

які ми б могли запитати
про наше місто.

Служби не дадуть з ними всіма ради.

Тож ця схема поганенько працює,
і, по-моєму, державні службовці в курсі,

бо року 2012 мер міста Блумберґ
підписав постанову, яку він назвав

найамбітнішим і найвичерпнішим в країні
законом про відкриті дані.

До певної міри, він має рацію.

За останні два роки місто
опублікувало 1 000 масивів даних

на нашому порталі з
відкритими даними.

Круто.

Можна зайти туди й подивись
на ось такі дані,

і замість того, щоб просто
рахувати таксі,

почати ставити інші запитання.

Одне з них виникло й у мене.

Коли в Нью-Йорку година-пік?

Мене дратує стояти в заторах, тому я хочу
дізнатись, коли саме настає година-пік?

І мені спало на думку, що ці таксі -
то не просто цифри,

це GPS-рекордери,
які їздять вулицями міста

й записують кожнісінький свій маршрут.

Я подивився на ті дані

і склав графік середньої швидкості
таксі в Нью-Йорку за день.

Як бачите, від півночі до
близько 5:18 ранку

швидкість зростає, а в цій точці
все змінюється навпаки:

таксі їдуть повільніше й повільніше,
аж поки о 8:35 ранку

починають повзти зі швидкістю
18 кілометрів за годину.

Пересічне таксі рухається вулицями міста
зі швидкістю 18 кілометрів за годину.

І виявляється, що так триває

цілісінький день.

(Сміх)

Тому я вирішив, що в Нью-Йорку
немає години-пік.

В нас просто день-пік.

Розумне рішення. Поясню чому.

Особливо цікаво це буде тим,
хто складає схеми вуличного руху.

А от якщо вам треба швидко
кудись дістатись,

то наставляйте будильник на 4:45 ранку,
і ви точно встигнете.

Нью-Йорк, так?

Але з цими даними пов'язана
одна історія.

Виявляється, вони
з'явились не просто так.

Вони надійшли в результаті
так званого запиту

згідно з Законом про
свободу інформації.

Цю форму можна знайти на сайті
Комісії з таксі й лімузинів.

Щоб отримати ці дані,
треба дістати цю форму,

заповнити її, а тоді
вам надішлють відповідь.

Саме так зробив один
хлопчина на ім'я Кріс Вонґ.

Він зайшов на їхній сайт,
а йому відповіли:

"Просто принесіть у наш офіс
новий вінчестер,

залиште його в нас на п'ять хвилин,
ми скопіюємо дані, і тоді його заберете".

Ось звідки з'явились ці дані.

Але Кріс з тих людей, які виступають
за публічний доступ до інформації,

тому дані опинилися у вільному доступі,
і саме звідти ми взяли цей графік.

Дуже круто, що він існує.
Круто, що є GPS-рекордери.

Але не круто, що громадяни
досі мусять носити з собою вінчестери,

щоб отримати дані від міських служб
і зробити їх публічними.

Вони й так, в принципі, публічні,
раз їх можна отримати,

але скоріше "публічні" в лапках.

Але ж міська рада може
поліпшити ситуацію.

Не треба, щоб громадяни
носились з вінчестерами.

Крім того, не всі дані доступні
за таким запитом.

Я склав карту найнебезпечніших
перехресть у Нью-Йорку

на підставі даних про кількість
ДТП за участю велосипедистів.

Червоні ділянки - найнебезпечніші.

Як бачимо, найбільше аварій
за участю велосипедистів

відбувається у східній дільниці
Мангеттена, особливо внизу, на півдні.

Логічно,

бо там багато велосипедистів
з'їжджають з мостів.

Але є й інші гарячі точки.

Наприклад, район Вільямсбурґ
або Рузвельт-авеню в Квінсі.

Саме таких даних ми потребуємо для
проекту безпеки дорожнього руху Vision Zero.

Саме їх ми давно шукали.

Але з цими даними теж пов'язана
одна історія.

Вони не впали з неба.

Хто з вас бачив цей логотип?

Бачу, багато хто.

А ви колись пробували копіювати
й вставляти дані з файлу в форматі PDF

і потім їх читати?

Бачу, що так.

Тих, хто копіював і вставляв, більше
ніж тих, кому відомий логотип. Супер.

Отож, дані, які ви тільки що побачили,
були в PDF-файлі.

Взагалі, Поліцейське управління Нью-Йорка

генерує сотні, тисячі сторінок PDF.

І щоб доступитись до цих даних,
треба або копіювати й вставляти

сотні, тисячі годин,

або зробити як Джон Краусс.

Джон Краусс сказав собі:

"Ні, я не збираюсь копіювати й вставляти ці дані.
Я напишу програму".

Вона має назву NYPD Crash Data Band-Aid.

Програма доступається до сайту Поліцейського управління Нью-Йорка і завантажує звідти PDF.

Вона шукає щодня:
якщо знаходить PDF, то завантажує його,

а тоді запускає програму,

яка витягує звідти текст,

і, насамкінець, публікує ці дані в Інтернеті,
щоб люди могли створювати ось такі карти.

І вже сам факт, що ці дані тут,
що ми маємо до них доступ -

до речі, кожна аварія -
окремий рядок у цій таблиці.

Можете собі уявити, скільки там PDF.

Чудово, що ми маємо доступ
до цих даних,

але не варто публікувати їх
у PDF форматі,

бо тоді наші громадяни мусять писати програми,
які витягують звідти текст.

Громадяни можуть скористатись
своїм вільним часом у кращий спосіб,

а міська влада теж може
працювати по-іншому.

Є добра новина - адміністрація
мера Нью-Йорка де Бласіо

опублікувала ці дані
якихось кілька місяців тому,

і ми вже маємо до неї доступ.

Проте сила-силенна даних
досі "заковані" в PDF.

Наприклад, інформація про злочини
досі доступна лише в PDF.

І не тільки ця інформація,
а ще й бюджет нашого міста.

Бюджет нашого міста
доступний тільки в PDF.

І проаналізувати його не можемо
не лише ми,

а й депутати, які голосують
за цей бюджет.

Вони теж отримують його в PDF.

Виходить, наші депутати не можуть
проаналізувати бюджет, за який вони голосують.

Я впевнений, що ситуацію можна виправити.

Існує чимало даних,
не прихованих у PDF.

Ось карта, яку я створив.

Найбрудніші водоканали в Нью-Йорку.

Як я вимірював, брудні вони
чи чисті?

Звучить трохи дивно,

але я дивився на кількість
фекальних коліформних бактерій,

які свідчать про кількість фекалій
в водоканалах.

Що більший кружечок,
то брудніша вода.

Великі кружечки - брудна вода,
маленькі - чистіша.

Перед вами - внутрішні водні шляхи.

Це всі дані, зібрані міською владою
за останні п'ять років.

Внутрішні водні шляхи,
як правило, брудніші.

Ви розумієте, про що мова, правда ж?

А більші кружечки позначають брудну воду.
З цього я зробив кілька висновків.

Номер один: ніколи не плавайте у водоймі,
яка має в своїй назві слово "протока" або "канал".

І номер два: я знайшов ще й
найбрудніший водоканал у Нью-Йорку,

за допомогою цього
одного-єдиного показника.

У протоці Коні Айленд - на щастя,
це не той острів Коні Айленд, де ви плаваєте.

Він по інший бік.

А от 94 відсотки зразків, узятих
з протоки Коні Айленд за останні п'ять років,

мали такий високий вміст фекалій,

що плавати в тій воді мало б
бути заборонено законом.

Міська влада навряд чи хизуватиметься

такими даними в своєму звіті, правда?

Їх не опублікують на головній
сторінці nyc.gov.

Ви їх там не побачите,

але круто, що ми таки можемо
ці дані отримати.

Знову ж таки, то було нелегко,

бо вони не були доступні
на порталі з відкритими даними.

На тому порталі можна знайти

щонайбільше якусь невелику частину,
дані за рік чи кілька місяців.

Я знайшов їх на сайті Управління
охорони довкілля.

За кожним посиланням - табличка Excel,
і кожна табличка - різна.

Кожен заголовок - різний,
треба копіювати, вставляти, міняти місцями.

Після цього можна створювати карти.
Супер, але знову ж таки -

місто може змінити ситуацію на краще.

І ми до цього рухаємось, бо вже є
один сайт - його робить компанія Socrata -

під назвою Open Data Portal NYC.
[Портал відкритих даних Нью-Йорка]

Там живе 1 100 масивів даних,
які не страждають

від речей, про які я вам
щойно розповів.

Їх стає щораз більше,
І це класно.

Ви можете завантажити дані в будь-якому
форматі: CSV, PDF чи Excel.

Хоч які дані вам треба,
ви всіх їх можете завантажити.

Але потім виникає одна проблема.

Кожна служба записує адреси
по-різному.

Наприклад, назва вулиці,
назва вулиці, що з нею перетинається,

вулиця, район, адреса, будинок,
адреса будинку.

І ви знову тратите свій час -
навіть користуючись таким порталом! -

знову марнуєте час,
щоб упорядкувати поля з адресою.

Не найкращий спосіб використання
громадянами свого вільного часу.

І місто могло б це змінити.

Ми можемо стандартизувати
наші адреси

і тоді отримати ще більше
таких карт, як ця.

Це - карта пожежних гідрантів
у Нью-Йорку.

Але не простих гідрантів,

а тих 250, які дають найбільший прибуток,
бо включені до вартості паркування.

(Сміх)

Я дізнався багато нового з цієї карти,
і тому вона мені дуже подобається.

Номер один: просто не паркуйтесь
у Верхньому східному Мангеттені.

Не треба. Хоч де ви там припаркуєтесь,
ви заплатите за пожежний кран.

Номер два. Я знайшов два
найприбутковіших гідранти в Нью-Йорку.

Вони розташовані
в Нижньому східному Мангеттені

й приносять 55,000 доларів прибутку на рік
у формі штрафів за паркування.

Мені це видалось трохи дивним,

тому я провів невелику розвідку
і виявив, що ось тут стоїть гідрант,

потім йде так званий розширений бордюр -

тобто додаткових два метри тротуару -

а за ним - місце для паркування.

Під'їжджають машини,
водій дивиться на гідрант і думає:

"Та, він аж там далеко, все добре".

Та й, крім того, там було намальовано
місце для парковки.

Водій паркується, а тоді приїжджає
поліція, якій це не подобається,

і виписує йому штраф.

І то не тільки я дістав штраф.

Машину, яка знімає панорами Google,

теж оштрафували.

Я написав про це в своєму блозі,
I Quant NY, і Управління транспорту відповіло.

Вони написали:

"Хоча Управління транспорту не отримувало
ніяких скарг про це місце,

ми переглянемо дорожню розмітку
й внесемо відповідні зміни".

Звичайна бюрократична відповідь,
подумав я,

зітхнув і повернувся до своїх справ.

Але за кілька тижнів
сталось щось неймовірне.

Розмітку перемалювали.

В цю мить я подумав,
що бачу майбутнє відкритих даних.

Подумайте тільки, що тут сталось.

Впродовж п'яти років за паркування
на цьому місці штрафували. Це збивало з пантелику.

Аж раптом якийсь громадянин щось знайшов,
розказав про це міській владі - і за кілька тижнів

проблему залагодили.

Дивовижно. Водночас, багато людей вважають
відкриті дані засобом контролю.

Це не так. Вони дають змогу
бути партнерами.

Ми можемо дати нашим громадянам
змогу стати партнерами влади,

і це не так важко.

Треба всього лиш зробити
кілька змін.

Якщо ви бачите, що на ваші дані
присилають запити,

що їх запитують
знову й знову,

то зробіть їх публічними.
Це ж знак, що пора їх опублікувати.

А якщо ви державна установа,
яка публікує PDF,

приймімо закон, який вимагатиме публікувати
не тільки PDF, а й дані, що лягли в його основу,

бо ж ті дані звідкись беруться.

Не знаю, звідки саме,
але точно не з неба.

І їх можна опублікувати
разом з PDF.

І ще треба прийняти й поширити
якісь стандарти в галузі відкритих даних.

Почнімо з адрес тут, у Нью-Йорку.

Впорядкуймо спочатку
наші адреси.

Адже Нью-Йорк - лідер
у сфері відкритих даних.

Попри все, ми - абсолютний
лідер у галузі відкритих даних,

і якщо ми почнемо впорядковувати
й встановлювати стандарти в сфері відкритих даних,

інші візьмуть з нас приклад. Державні органи
і, може, федеральний уряд.

За ними - інші країни,

і вже близько той час, коли можна буде
написати одну програму

і створити карту з інформацією,
отриманої зі ста країн.

Це не наукова фантастика.
Дуже скоро так і буде.

І до речі - кого ми надихаємо
до дій у такому випадку?

Не тільки Джона Краусса
й Кріса Вонґа.

У Нью-Йорку просто зараз
відбуваються сотні зустрічей,

зустрічей активістів.

На ці зустрічі приходять
тисячі людей.

Вони йдуть туди після роботи
і на вихідних,

і відвідують ці зустрічі,
щоб подивитись на відкриті дані

й зробити наше місто кращим.

Наприклад, група активістів BetaNYC
минулого тижня запустила проект citygram.nyc,

який дає вам змогу підписатися
й стежити за 311 скаргами

у районі свого будинку чи офісу.

Вводите свою адресу -
і бачите скарги від місцевих мешканців.

І ці речі цікавлять не лише
технологічну спільноту.

А й містобудівників, як-от студентів,
яким я викладаю в Інституті Пратта.

Політичних активістів, інших людей.

Громадян з усіх
прошарків суспільства.

А маленькі, поступові зміни

сповнять наших громадян запалом
і дадуть їм можливість

скористатися відкритими даними
й зробити наше місто ще кращим.

Треба тільки почати. З одного масиву даних.
З одного паркомісця.

Дякую.

(Оплески)