Comment nous avons trouvé la pire place de parking de New-York - en utilisant des données de masse | Ben Wellington | TEDxNewYork

Les agences municipales ont accès à une richesse de données et de statistiques décrivant chaque aspect de la vie urbaine. Mais comme l'analyste Ben Wellington le suggère dans cette conférence amusante, elles ne savent parfois pas quoi faire avec. Il montre comment une combinaison de questions inattendues et un traitement intelligent des données peut produire des idées étrangement utiles, et partage des conseils sur comment publier ces énormes jeux de données pour que n'importe qui puisse les utiliser.

Près de 10 000 km de routes,

près de 6 000 km de rails de métro,

près de 650 km de pistes cyclables,

et 800 m de rails de tram,

si vous avez déjà été à Roosevelt Island.

Ce sont les chiffres qui constituent
l'infrastructure de NY,

les statistiques de nos infrastructures.

Ce sont les chiffres
des rapports des agences civiles.

Par exemple, le département des transports
publiera sûrement

les kilomètres de voies
qu'ils entretiennent.

La MTA se vantera du nombre
de kilomètres de rail existants.

Mais la plupart des agences
nous donnent des statistiques.

Ceci vient d'un rapport de 2015
de la Commission Taxi & Limousine ,

où on apprend qu'il y a
environ 13 500 taxis, ici, à New-York.

Plutôt intéressant, non ?

Mais avez vous déjà pensé
d'où venaient ces chiffres ?

Parce que pour que ces chiffres existent,
quelqu'un à l'agence

doit se dire, « Tiens, voilà un chiffre
qui pourrait intéresser quelqu'un.

C'est un chiffre qui intéresse
nos citoyens. »

Donc ils plongent dans leur données,

ils comptent, ajoutent, calculent,

puis ils écrivent des rapports.

Et ces rapports contiennent
ce genre de chiffres.

Le problème est comment
anticipent-ils nos questions ?

Nous avons plein de questions.

Il y a littéralement
un nombre infini de questions

qu'on se pose sur notre ville.

Les agences ne pourront jamais suivre.

Le paradigme ne marche pas vraiment

et je pense que nos politiques
s'en rendent compte,

puisqu'en 2012, le maire Bloomberg
a ratifié une loi qu'il a appelé

la législation la plus ambitieuse
et complète du pays.

De bien des façons, il a raison.

En deux ans, la ville a publié
1000 jeux de données sur le portail public

et c'est plutôt génial.

Vous voyez de telles données,

et au lieu de compter le nombre de taxis,

on commence à poser d'autres questions.

Donc j'ai une question :
Quand est l'heure de pointe à New York ?

C'est plutôt agaçant.
A quelle heure exactement ?

Et j'ai pensé, ces taxis ne sont pas
que des chiffres,

ce sont des traceurs GPS
dans les rues qui enregistrent

chaque virage à droite.

Ce sont des données.

J'ai regardé ces données
et fait un graphe

de la vitesse moyenne des taxis
à NY pendant la journée.

Vous pouvez voir que de minuit
à environ 5h18, la vitesse augmente,

et qu'à partir de là, les choses changent.

Ils ralentissent encore et encore
jusqu'à 8h35

où ils arrivent à 18,5 km/h.

Le taxi moyen roule à 18,5 km/h
dans les rues de notre ville,

et il apparaît que ça reste ainsi

toute la journée.

(Rires)

Je me suis dit,
il n'y a pas d'heure de pointe à NY,

il y a un "jour de pointe".

(Rires)

Ça a du sens.

C'est important pour deux raisons.

Si vous planifiez des transports,
ça peut être assez intéressant à savoir.

Mais si voulez bouger rapidement,

vous savez maintenant que
vous mettrez votre réveil à 4h45.

New York, non ?

Ces données ont une histoire,

ce n'était pas disponible de cette façon.

C'est venu de quelque chose appelé
une requête pour la liberté d'information,

ou une requête FOIL.

Ce document est sur le site
de la Commission Taxi & Limousine.

Pour accéder à ces données,
vous avez besoin du document,

de le remplir et ils vous répondront.

Et un gars appelé Chris Whong
a fait exactement ça.

Chris y est allé et ils lui ont dit,

« Venez avec un disque dur tout neuf,

laissez-le pendant 5 heures,
nous y copierons les données. »

Voilà d'où ces données viennent.

Chris est le genre à vouloir
rendre les données publiques,

et elles finissent donc en ligne,
c'est de là que vient ce graphe.

Et le fait qu'il existe est incroyable.

Ces traceurs GPS - vraiment cool !

Mais avoir des citoyens
qui se baladent avec des disques durs,

récupérant des données
pour les rendre publiques ...

C'était déjà un peu public,
vous y aviez accès,

c'était "public",
ce n'était pas public.

Nous pouvons faire mieux
en tant que ville,

nos citoyens ne devraient pas avoir
besoin de demander.

Aujourd'hui, tout n'est pas accessible
avec une requête FOIL.

Voici une carte que j'ai faite
des carrefours les plus dangereux

d'après les accidents cyclistes.

Les zones dangereuses sont en rouge.

Ça montre d'abord
l'est de Manhattan,

en particulier la partie basse
a plus d'accidents de cyclistes.

C'est sensé

car il y a plus de cyclistes
venant des ponts.

D'autres lieux sont intéressants.

Il y a Williamsburg.
Il y a l'avenue Roosevelt du Queens.

C'est le type de données
nécessaire pour la vision zéro.

C'est ce que nous cherchons.

Il y a une histoire
pour ces données aussi.

Ces données ont une origine.

Combien parmi vous connaissent ce logo ?

Oui, j'en vois certains.

Avez-vous déjà essayé de copier
et coller depuis un PDF

et en tirer du sens ?

J'en vois plus.

Plus connaissent le copier-coller PDF
que le logo. J'aime ça.

Il se trouve que les données
que vous avez vues, viennent d'un PDF.

En fait, des centaines et des centaines
de PDF publiés par notre propre NYPD,

et pour y accéder,

vous devez soit les copier-coller
pendant des centaines d'heures,

soit vous êtes John Krauss.

John Krauss s'est dit,

je ne vais pas copier-coller ces données,
je vais coder un programme.

Il s'appelle le NYPD Crash Data Band-Aid.

Il va sur le site de la NYPD
et télécharge des PDFs.

Tous les jours, il cherche ;

s'il trouve un PDF, il le télécharge

et il exécute un programme
d'extraction de PDF

qui donne un fichier texte,

et le mettrait en ligne pour
nous permettre de faire de telles cartes.

Et le fait que ces données soit là,
que nous y ayons accès,

chaque accident, en outre,
est une ligne dans ce tableau.

Imaginez le nombre de PDFs.

Le fait que nous y ayons accès est génial.

Mais ne les publions pas en format PDF.

Ça oblige nos citoyens
à coder des extracteurs de PDF.

Leur temps pourrait
être mieux utilisé,

et nous, comme ville,
pouvons faire mieux.

La bonne nouvelle est que
l'administration actuelle

a en fait publié ces données
il y a quelques mois,

donc nous pouvons y accéder.

Mais de nombreuses données
sont encore dans des PDFs.

Par exemple, les données sur les crimes
sont seulement en PDFs.

Et pas seulement elles,

notre propre budget municipal y est aussi.

Notre budget municipal est lisible
seulement en format PDF.

Mais personne ne peut l'analyser car

nos propres législateurs
qui votent le budget,

l'ont aussi qu'en PDF.

Donc nos législateurs ne peuvent
analyser le budget qu'ils votent.

Et je pense que, comme ville,
nous pouvons faire un peu mieux aussi.

Plein de données ne sont pas
en PDFs aujourd'hui.

Voici une carte que j'ai faite.

Ce sont les cours d'eau
les plus sales de NY.

Comment ai-je mesuré leur saleté ?

Eh bien, c'est un peu étrange,

mais j'ai regardé
la teneur en coliformes fécaux,

qui est une mesure de la matière fécale
dans tous nos cours d'eau.

Plus le cercle est grand,
plus l'eau est sale.

Les grands cercles sont les eaux sales;
et les petits, les propres.

Il s'agit des cours d'eaux intérieurs.

Ce sont toutes les données rassemblées
par la ville depuis cinq ans.

Les cours d'eaux intérieurs
sont plus souvent sales.

Ça du sens, non ?

Et j'ai ainsi appris quelques trucs.

En un : ne jamais nager dans ce qui finit
dans un canal ou un ruisseau

Deuxièmement : j'ai aussi découvert
les eaux les plus sales de NY

avec cette mesure, une mesure.

Dans le Coney Island Creek,

qui n'est pas où vous nagez,
heureusement, mais de l'autre côté.

94% des échantillons
prélevés depuis 5 ans,

avaient des niveaux
de matières fécales si importants,

qu'il aurait été illégal
de s'y baigner.

Et ce n'est pas le genre de fait
que vous allez voir

écrit en gros dans les rapports
ou à la une de nyc.gov.

Vous ne le verrez pas là-bas,

mais le fait que nous ayons
ces données est génial.

Mais ce n'était pas très facile,

car ces données
n'étaient pas sur le portail.

Si vous allez sur le portail de données,

vous n'y verriez qu'un petit peu,
que quelques mois.

C'était en fait sur le site du département
pour l'environnement.

Chacun des liens est une feuille Excel
et chacune d'elles est différente.

Chaque en-tête change :
vous copiez, coller, réorganiser.

Et vous pouvez faire des cartes
et c'est super mais à nouveau,

nous pouvons faire mieux,
nous pouvons normaliser les choses.

Nous y arrivons grâce
au site fait par Socrata

appelé le Open Data Portal NYC.

Il y a 1100 lots de données
ne souffrant pas

de ce dont je viens de parler,

et ce nombre augmente,
et c'est super.

Vous pouvez télécharger ces données
dans tous les formats, CSV, PDF ou Excel.

Vous pouvez télécharger ces données
comme vous le voulez.

Le problème est qu'après,

vous verrez que chaque agence
présente son adresse à sa façon.

Donc une donnera le nom de la rue,
ou le carrefour,

ou le quartier, la rue puis le bâtiment
ou l'inverse.

Donc, encore une fois, vous passez
du temps même avec le portail,

vous passez du temps à normaliser
le champ d'adresse.

Je pense que ce temps pourrait
être mieux utilisé,

nous pouvons faire mieux.

Nous pouvons normaliser tout ça.

Ainsi, nous pourrons
faire plus de cartes.

Voici une carte
des bouches d'incendie de NY.

Mais pas n'importe lesquelles.

Ce sont les 250 plus rentables
bouches d'incendies

en terme d'amendes de stationnement.

(Rires)

J'ai appris quelques trucs de cette carte.

De un, ne pas se garer
dans Upper East Side.

Ne le faites pas. Quelque soit l'endroit,
vous aurez une amende.

De deux, j'ai trouvé les 2 bouches
d'incendie plus rentables de NY.

C'est dans le Lower East Side,

et elles rapportent plus de 55 000 dollars
par an en contraventions.

Ça m'a semblé étrange
quand je l'ai remarqué,

donc j'ai creusé un peu
et il s'avère

qu'on avait une bouche d'incendie
et quelque chose appelé un îlot,

qui est un espace de 2 mètres piéton,

puis une place de parking.

Donc les conducteurs viennent
et pensent :

« La bouche est là-bas, c'est bon. »

et il y a en fait une belle place
magnifiquement peinte pour eux.

Ils se garent donc et la police
qui n'est pas du même avis,

leur donne une amende.

Et ce n'est pas seulement moi
qui a eu une amende.

Voici la vue Google street, et on voit
une voiture avec cette même amende.

Donc je l'ai écrit sur mon blog,
I Quant NY,

et le département des transports
a répondu :

« Bien que nous n'ayons pas reçu
de plainte à propos de cet endroit,

nous allons revoir les marquages
et faire les modifications appropriées. »

J'ai pensé que c'était la réponse typique
du gouvernement,

donc j'ai continué ma vie.

Mais quelques semaines plus tard,
quelque chose d'incroyable est arrivé.

Ils ont repeint l'îlot.

Pour une seconde j'ai vu
le futur des données ouvertes

car pensez à ce qu'il vient d'arriver.

Pendant 5 ans, cet îlot a généré
des amendes car le marquage était confus.

Puis un citoyen a vu le problème,
il prévient la ville et peu après,

le problème est résolu. C'est génial.

Beaucoup voit ces données ouvertes
comme du contrôle,

mais c'est un partenariat.

Nous pouvons permettre à nos citoyens
d'aider le gouvernement,

et ce n'est pas si difficile.

Peu de changements sont requis.

Si vous diffusez,

si vous recevez de plus en plus
de demandes de données,

publiez-les, c'est un signe
que ça devrait être public.

Et si vous être une agence gouvernementale
publiant un PDF,

passons une loi qui vous oblige à publier
également les données brutes,

car ces données viennent
de quelque part.

Je ne sais pas d'où
mais vous publiez-les avec le PDF.

Adoptons des standards
de publication de données.

Commençons pas nos adresses,
ici, à New-York.

Débutons juste
par normaliser nos adresses.

Car NY est un leader
des données ouvertes.

Malgré tout, nous sommes
un leader des données ouvertes,

et si nous commençons à tout normaliser,
et créons des standards,

d'autres suivront.

L'état suivra et peut-être
le gouvernement fédéral,

d'autres pays pourraient suivre,

et nous ne sommes pas si loin d'un jour
où l'on pourrait écrire un programme

et cartographier
l'information de 100 pays.

Ce n'est pas de la SF,
nous en sommes assez proches.

Et par ailleurs,
qui responsabilisons nous ?

Car ce n'est pas seulement John Krauss,
ce n'est pas que Chris Whong.

Il y a des centaines de rencontres à NY
de nos jours,

des rencontres actives.

Des milliers de gens assistent
à ces rencontres.

Ces personnes viennent le soir
ou en weekend,

et ils viennent à ces rencontres
pour analyser ces données,

et améliorer notre ville.

Des groupes comme BetaNYC qui,
la semaine dernière, a publié citygram.nyc

qui vous permet de souscrire
à 311 plaintes

près de chez vous ou de votre bureau.

Vous entrez votre adresse, et accédez
aux plaintes.

Et ce n'et pas que le milieu technologique
qui s'intéresse à cela.

Ce sont des urbanistes tels que
mes étudiants de Pratt.

Ce sont les défenseurs
des politiques publiques,

des citoyens de milieux différents.

Et avec quelques petits changements,

nous pouvons débloquer la passion
et la capacité de nos citoyens

à exploiter ces données
et améliorer notre ville,

même si c'est un lot de données
ou une place de parking à la fois.

Merci.

(Applaudissements)