Hoe we de slechtste parkeerplaatsen in New York vonden - met big data | Ben Wellington | TEDxNewYork

Gemeentelijke afdelingen beschikken over bergen data en statistieken die elk onderdeel van het stadsleven beschrijven. In deze onderhoudende talk laat data-analist Ben Wellington zien dat ze vaak niet weten wat ze hiermee aan moeten. Hij maakt duidelijk dat een combinatie van onverwachte vragen en slimme dataverwerking verrassende antwoorden kan opleveren. Ook geeft hij tips over het vrijgeven van grote datasets, zodat iedereen die kan gebruiken.

Bijna 10.000 kilometer wegen,

zo'n 1000 kilometer metrolijnen,

bijna 650 kilometer fietspaden

en 800 meter tramspoor --

die liggen op Roosevelt Island.

Dat is de infrastructuur
van de stad New York in cijfers.

De statistieken van onze infrastructuur.

Deze cijfers verschijnen
in rapporten van de lokale overheid.

Afdeling Transport
kan je bijvoorbeeld vertellen

hoeveel kilometer wegen ze onderhouden.

Openbaar Vervoer pocht
met kilometers metrolijnen.

De meeste afdelingen
geven statistieken uit.

Uit een rapport van vorig jaar
van de commissie voor taxiverkeer,

leren we dat er zo'n 13.500 taxi's
in New York rijden.

Dat is toch interessant?

Maar waar komen
die cijfers vandaan?

Op zo'n gemeentelijke afdeling

moet iemand bedacht hebben
welke cijfers ons interesseren.

Hier zit men op te wachten.

Dus spitten ze in hun ruwe gegevens,

tellen en calculeren

en brengen hun rapporten uit,

waar dit soort cijfers in staan.

Maar hoe kennen ze al onze vragen?

We zitten vol met vragen.

We kunnen waarschijnlijk

een eindeloos aantal
vragen stellen over onze stad.

Teveel voor die afdelingen.

Het model werkt dus niet,
en de beleidsmakers zien dat ook in,

want burgemeester Bloomberg heeft in 2012
een wet ondertekend, die hij beschreef

als de meest ambitieuze en uitgebreide
'open data'-wetgeving in het land.

Op veel punten heeft hij gelijk.

De afgelopen twee jaar
gaf de stad 1000 gegevenssets vrij

op het open data-portaal.

Dat is fantastisch.

Je kunt in die gegevens duiken

en dan niet alleen de taxi's tellen,

maar ook andere vragen stellen.

Ik had dus een vraag.

Wanneer is de spits in New York?

Hoe laat begint de spits precies?

Toen dacht ik: een taxi
is niet alleen een nummer,

maar ook een gps-recorder
die door onze straten rijdt

en elke rit vastlegt.

Ik heb de gegevens ervan bekeken

en een diagram van de gemiddelde snelheid
van taxi's in New York gemaakt.

Je ziet dan dat van middernacht
tot 5:18 uur 's ochtends

de snelheid toeneemt,
en dan afneemt.

Dan gaan ze steeds langzamer rijden

tot ze om 8:35 uur 's ochtends

nog maar 18,5 km/u rijden.

De gemiddelde taxi rijdt dan
18,5 km/u op onze straten,

en dat blijft dan zo, gedurende...

de hele dag.

(Gelach)

Er is dus geen spitsuur in New York.

Het is spitsdág. (Gelach)

Dat klinkt logisch en is belangrijk.

Voor een transportplanner
is dat interessant.

Maar als je snel ergens moet zijn,

weet je nu dat je je wekker
op 4:45 uur moet zetten.

New York, hè?

Die gegevens hebben een verhaal.

Ze bleken niet zomaar beschikbaar.

Hier was een aanvraag voor nodig
via de Wet Openbaarheid van Bestuur,

een Wob-aanvraag.

Het staat op de website
van de Commissie voor taxiverkeer.

Voor deze gegevens
heb je zo'n formulier nodig.

Als je het invult, krijg je bericht.

Chris Wong deed dit.

Chris ging langs en ze zeiden:

"Breng een nieuwe harddisk
naar ons kantoor.

Vijf uur later staan de gegevens erop
en kun je hem ophalen."

Daar komen die gegevens vandaan.

Chris is zo iemand
die gegevens publiek wil delen,

en zo kwam het online te staan,
wat deze grafiek mogelijk heeft gemaakt.

Fantastisch dat het beschikbaar is,
die GPS-recorders -- echt perfect.

Maar dat burgers met een harddisk

bij afdelingen gegevens
op moeten halen om die te delen --

als je erom vroeg, kreeg je ze,

maar het was 'openbaar', niet gedeeld.

Dat kunnen we als stad béter doen.

Onze burgers hoeven niet
rond te lopen met een harddisk.

Niet voor alle gegevens
heb je de Wob nodig.

Ik heb deze kaart gemaakt
van de gevaarlijkste kruisingen,

gebaseerd op fietsongelukken.

De rode gebieden zijn dus gevaarlijker.

Je ziet dat er in
het oosten van Manhattan,

vooral het zuidoosten,
meer fietsongelukken zijn.

Logisch, omdat daar meer fietsers
van de bruggen af komen.

Maar je ziet ook
andere gevaarlijke plekken,

zoals Williamsburg
en Roosevelt Avenue in Queens.

Dit soort gegevens
zoeken we voor Vision Zero.

Precies wat we zoeken.

Maar ook deze gegevens hebben een verhaal.

Ze kwamen niet zomaar aandrijven.

Kennen jullie dit logo?

Ik zie mensen knikken.

Weleens geprobeerd om gegevens
van een pdf te kopiëren

en daar wijs uit te worden?

Ik zie meer knikken.

Meer die hebben geprobeerd te kopiëren,
dan die het logo kennen. Leuk.

Deze gegevens stonden dus in een pdf.

Een pdf van honderden pagina's lang,

gepubliceerd door de NYPD [politie].

Om dat te gebruiken

moest je dus
honderden uren gaan kopiëren,

of John Krauss zijn.

John Krauss dacht:

ik kopieer die gegevens niet,
maar schrijf een programma.

Het heet de 'NYPD-
ongevallen-gegevens-pleister'.

Het haalt pdf's van de website
van de NYPD af.

Dagelijks start het een zoekopdracht;
downloadt gevonden pdf's,

en bewerkt die
zodat je losse tekst krijgt,

die op het internet wordt geplaatst,
zodat je dit soort kaarten kunt maken.

En het feit dat die gegevens
voor ons beschikbaar zijn --

Ieder ongeluk is trouwens
een rij in deze tabel.

Stel je voor hoeveel pdf's dat zijn --

Prachtig dat we die gegevens hebben,

maar laten we geen pdf's maken,

anders moeten burgers
bewerkingsprogramma's maken.

Zonde van de tijd.

Als stad kunnen we dat béter oplossen.

Gelukkig zijn onder
burgemeester de Blasio

recentelijk deze gegevens vrijgegeven,

zodat we er gewoon bij kunnen.

Maar veel gegevens staan
nog steeds ingepakt in pdf.

Misdaadgegevens krijg je
bijvoorbeeld alleen in pdf.

Niet alleen misdaadgegevens,
maar ook de begroting van de stad.

De begroting van de stad
is alleen in een pdf te lezen.

Niet alleen wij hebben daar last van --

onze eigen wetgevers
die over de begroting beslissen

krijgen het ook alleen in pdf.

Onze wetgevers kunnen de begroting
waarover ze beslissen dus niet analyseren.

Dat moeten we als stad
toch ook beter kunnen doen.

Veel gegevens staan niet verborgen in pdf.

Hier heb ik een kaart gemaakt

van de smerigste vaarwaters
in de stad New York.

Maar hoe meet ik smerigheid?

Dat is misschien een beetje vreemd;

ik keek naar het aandeel darmbacterieën,

waardoor je ontlasting
in onze vaarwaters kunt meten.

Hoe groter de cirkel is,
hoe viezer het water.

Grote cirkels duiden op vies water,
kleinere op schoner water.

Dat is binnenwater.

Dit zijn alle gegevens die de stad
de laatste vijf jaar verzamelde.

Binnenwater is meestal viezer.

Logisch toch?

Ik concludeer allereerst:

zwem niet waar de naam
eindigt op 'creek' of 'canal'.

(Gelach)

Maar ten tweede: ik vond
de smerigste vaarweg in de stad New York,

volgens deze meting althans.

Het is Coney Island Creek --
niet waar we zwemmen bij Coney Island --

maar aan de andere kant.

De afgelopen vijf jaar had 94 procent
van de monsters uit Coney Island Creek

zulke hoge sporen van ontlasting

dat het illegaal zou zijn
om daar te zwemmen.

Dat is zo'n feitje
waar ze niet mee opscheppen

in de gemeentelijke rapporten.

Dat staat niet prominent op nyc.gov.

Maar het is prachtig
dat we die gegevens hebben.

Maar ook dit was geen eitje.

Het stond niet in de
open data-portal.

Daar vind je maar een deel:
een jaar en wat maanden.

Het stond op de website
van de afdeling Milieubeheer.

Iedere link is een Excel-bestand.

En ieder Excel-bestand is verschillend.
(Gelach)

De koppen zijn anders.
Je moet kopiëren en reorganiseren.

Als je die moeite neemt,
kun je een kaart maken,

maar dat kan beter als stad,
door het glad te strijken.

En het gaat steeds beter,
want Socrata heeft een website:

de 'Open Data Portal NYC'.

Hierop staan al 1100 gegevenssets

zonder de problemen die ik noemde,

en gelukkig groeit dat aantal.

Je kunt gegevens in elk formaat
downloaden, zoals csv, pdf of Excel.

Wat je ook wilt,
je kan het downloaden hoe je wilt.

Het enige probleem is,

dat elke afdeling een andere opmaak
voor adressen gebruikt.

Dus op straatnaam, kruising,

straat, wijk, adres/gebouw, gebouw/adres.

Je bent dus weer veel tijd kwijt,
zelfs met deze portal,

om de adresvelden gelijk te trekken.

Dat willen burgers niet.

Als stad kunnen we dat beter doen.

Adressen in een standaardopmaak,

zodat we meer kaarten
kunnen maken zoals deze.

Dit is een kaart
van brandkranen in New York,

maar niet zomaar brandkranen.

Dit zijn de 250 brandkranen
die de meeste parkeerboetes opleveren.

(Gelach)

Ik heb wat dingen geleerd van deze kaart,
die ik erg leuk vind.

Ten eerste, parkeer nooit
in de Upper East Side.

Gewoon niet doen want
je krijgt overal een brandkraanbekeuring.

Ten tweede, ik heb de twee kranen gevonden
die het meeste opbrengen in New York,

in de Lower East Side.

Die brengen ieder jaar 50.000 euro
aan parkeerboetes binnen.

Dat vond ik een beetje vreemd,

dus ging ik graven en ontdekte
dat hier een brandkraan stond

naast een 'stoepverbreding':

zo'n twee meter extra loopruimte.

Dan een parkeerplaats.

Automobilisten zagen de brandkraan --

"Die staat ver weg, geen probleem".

Er was zelfs een mooie
parkeerplaats getekend.

Dus ze parkeerden,
maar de politie dacht daar anders over

en gaf je een bon.

Ik ben niet de enige
die dit opmerkte.

Hier fotografeert de
Streetview-auto van Google

diezelfde parkeerboete. (Gelach)

Ik schreef erover op mijn blog I Quant NY,
en kreeg antwoord van de afdeling Verkeer,

die zeiden:

"Hoewel we nooit klachten
over deze locatie hebben gehad,

zullen we de markeringen bekijken
en noodzakelijke wijzigingen aanbrengen."

Typisch antwoord van de overheid,
dacht ik nog,

en ik ging verder met mijn leven.

Maar een paar weken later
was er iets ongelooflijks gebeurd.

Ze hadden nieuwe lijnen
op die plek getekend,

en even zag ik
de toekomst van open data.

Wat is hier namelijk gebeurd?

Vijf jaar lang werden hier boetes
uitgedeeld op een onduidelijke plek,

totdat een burger iets vond
wat hij meldde aan de gemeente,

en binnen een paar weken
was het probleem opgelost.

Fantastisch. Veel mensen zien
open data als een bedreiging.

Maar ze kunnen ons juist helpen.

Je kan burgers laten
meedenken met de overheid.

Dat is niet zo moeilijk.

Dat vraagt om wat aanpassingen.

Als je wob-aanvragen hebt,

en dezelfde gegevens
worden telkens opgevraagd,

deel die dan gewoon,
dat willen mensen blijkbaar weten.

En als een overheidsdienst
een pdf uitbrengt,

zou ze wettelijk verplicht moeten zijn
de onderliggende gegevens te geven,

want die komen ergens vandaan.

Je kan ze vrijgeven via diezelfde pdf.

En laten we standaarden gaan gebruiken.

Als eerste voor de adressen in New York.

Altijd dezelfde adresopmaak.

Want ondanks dit alles
loopt New York voorop in open data,

en als wij beginnen met
een open data-standaard,

dan volgt de rest.

Eerst de staat en misschien
zelfs de federale overheid.

Vervolgens andere landen,

zodat je in de nabije toekomst
één programma kunt schrijven

om informatie uit 100 landen
inzichtelijk te maken.

Dat is geen sciencefiction.

We zijn al dichtbij.

Wie doen we daar een plezier mee?

Niet alleen John Kraus en Chris Wong.

Er zijn momenteel honderden
burgerinitiatieven in New York,

actieve bijeenkomsten.

Duizenden mensen zijn daarbij betrokken.

Die mensen ontmoeten elkaar
na werktijd en in het weekend

om door middel van open data

onze stad te verbeteren.

BetaNYC heeft vorige week bijvoorbeeld
citygram.nyc geopenbaard

zodat je meldingen kunt krijgen

van klachten in je omgeving.

Vul je adres in en je ziet
klachten uit de omgeving.

En niet alleen it'ers
houden zich hier mee bezig.

Ook stadsplanners,
zoals mijn studenten op Pratt.

Beleidsvoorstanders, echt iedereen,

burgers met verschillende achtergronden.

Met kleine stap-voor-stap-veranderingen

geven we burgers de inspiratie
en de mogelijkheden

om met behulp van open data
onze stad te verbeteren.

Elke set gegevens -- of parkeerplaats --
draagt daaraan bij.

Dank jullie wel.

(Applaus)