Six thousand miles of road,
600 miles of subway track,
400 miles of bike lanes,
and a half a mile of tram track,
if you've ever been to Roosevelt Island.
These are the numbers that make up
the infrastructure of NYC,
these are the statistics
of our infrastructure.
They're the kind of numbers
released in reports by city agencies.
For example, the Department
of Transportation will probably tell you
how many miles of road they maintain.
The MTA will boast how many miles
of subway track there are.
But most city agencies give us statistics.
This is from a report this year
from the Taxi & Limousine Commission,
where we've learned that there is
about 13,500 taxis here in NYC.
Pretty interesting, right?
But did you ever think about
where these numbers came from?
Because for these numbers to exist
somebody at the city agency
has to stop and say hmm, here's a number
that somebody might want to know.
Here's a number
that our citizens want to know.
So they go back to their raw data,
they count, they add, they calculate,
and then they put out reports.
And those reports
will have numbers like this.
The problem is, how do they know
all of our questions?
We have lots of questions.
In fact, in some ways there's literally
an infinite number of questions
that we can ask about our city.
So the agencies can never keep up.
So the paradigm isn't exactly working
and I think our policy makers realize that
because in 2012, Mayor Bloomberg
signed into law what he called
the most ambitious and comprehensive
open data legislation in the country.
In a lot of ways he's right.
In the last two years the city's released
1,000 data sets on our open data portal
and, it's pretty awesome.
You look at data like this,
and instead of counting
the number of cabs,
we can start to ask different questions.
So I had a question:
When is rush hour in NYC?
It can be pretty bothersome.
When is rush hour exactly?
And I thought to myself,
these cabs aren't just numbers,
these are GPS recorders driving around
in our city's streets recording
each and every right they take.
There's data there.
And I looked at that data
and I made a plot
of the average speed of taxis in NYC
throughout the day.
You can see that from around midnight
to around 5:18 AM, speed increases,
and at that point, things turn around.
They get slower, slower and slower
until about 8:35 AM
when they end up at 11.5 mph.
The average taxi is going at 11.5 mph
in our city streets,
and it turns out it stays that way
for the entire day.
(Laughter)
So I said to myself, I guess
there's no rush hour in NYC,
there's just a "rush day."
(Laughter)
Makes sense.
This is important
for a couple of reasons.
If you are a transportation planner,
this might be pretty interesting to know.
But if you want to get somewhere quickly
you now know to set your alarm
for 4:45 AM and you're all set.
New York, right?
But there's story behind this data,
it wasn't just available as it turns out.
It actually came from something called
a Freedom of Information Law Request,
or a FOIL Request.
This is a form you can find on
the Taxi & Limousine Commission website.
In order to access this data,
you need to go get this form,
fill it out, and they will notify you.
And a guy name Chris Whong
did exactly that.
Chris went down and they told him,
"Just bring a brand new hard drive
to our office,
leave it here for 5 hours,
we'll copy the data and you take it back."
And that's where this data came from.
Now, Chris is the kind of guy
that wants to make the data public,
so it ended up online for all to use
and that's where this graph came from.
And the fact that it exists is amazing.
These GPS recorders - really cool!
But the fact that we have citizens
walking around with hard drives
picking up data from city agencies
to make it public -
it was already kind of public,
you could get to it,
but it was "public", it wasn't public.
And we can do better than that as a city,
we don't need our citizens
walking around with hard drives.
Now, not every dataset
is behind a FOIL request.
Here's a map I made with
the most dangerous intersections in NYC
based on cyclist accidents.
So the red areas are more dangerous.
What it shows is first
the East side of Manhattan,
especially in the lower area of Manhattan,
has more cycle accidents.
That might makes sense
because there are more cyclist
coming off the bridges over there.
But there's other hotspots worth studying.
There's Williamsburg.
There's Roosevelt Avenue in Queens.
This is exactly the type of data
we need for vision zero.
This is exactly what we're looking for.
But there's story
behind this data as well.
This data didn't just appear.
How many of you guys know this logo?
Yeah, I see some shakes.
Have you ever tried to copy
and paste data out of a PDF
and make sense of it?
I see more shakes.
More of you tried to copying and pasting
than knew the logo. I like that.
What happen is, the data
that you just saw was actually on a PDF.
In fact, hundreds, and hundreds,
of pages of PDF put out by our own NYPD,
and in order to access it,
you either have to copy and paste
for hundred and hundred of hours,
or you could be John Krauss.
John Krauss is like,
I'm not going to copy and paste this data,
I'm going to write a program.
It's called the NYPD Crash Data Band-Aid.
And it goes to the NYPD's website
and it would download PDFs.
Every day with it would search;
if it found a PDF, it would download it,
and it would run
some PDF-scraping program,
and out would come the text
and it would go on the Internet,
and people could make maps like that.
And the fact that the data is here,
that we can have access to it -
every accident, by the way, is a row
on this table.
You can imagine how many PDF that is.
The fact that we
have access to that is great.
But let's not release it in PDF form.
Because then we're having our citizens
write PDF scrapers.
It's not the best use
of our citizens' time,
and we, as a city,
can do better than that.
The good news is that
the de Blasio Administration
actually released this data
a few months ago,
so now, we can have access to it.
But there's a lot of data
still entombed in PDF.
For example our crime data,
still is only available in PDF.
And not just our crime data,
our own city budget.
Our city budget is only
readable right now in PDF form.
And it's not just us
that can't analyze it -
our own legislators
who vote for the budget,
also only get it in PDF.
So our legislators cannot analyze
the budget that they are voting for.
And I think as a city we can do
a little better than that as well.
Now, there's a lot of data
that's not hidden in PDFs.
This is an example of a map I made.
And this is the dirtiest waterways in NYC.
How do I measure dirty?
Well, it's kind of a little weird,
but I looked at the level
of fecal coliform,
which is a measurement of fecal matter
in each of our waterways.
The larger the circle,
the dirtier the water.
The large circles are dirty waters,
the smaller circles are cleaner.
What you see is inland waterways.
This is all data that was sampled
by the city over the last 5 years.
And inland waterways are,
in general, dirtier.
That makes sense, right?
And I learned a few things from this.
Number 1: never swim in anything
that ends in creek or canal.
Number 2: I also found
the dirtiest waterways in New York City
by this measure, one measure.
In Coney Island Creek,
which is not Coney Island you swim in,
luckily, it's on the other side.
But Coney Island Creek, 94% of samples
taken over the last 5 years
have had fecal levels so high,
that it would be against state law
to swim in the water.
And this is not the kind of fact
that you're going to see
boasted in a city report
or on the front page of nyc.gov.
You're not going to see it there,
but the fact that we can
get to that data, is awesome.
Once again, it wasn't super easy,
because this data was not
on the open data portal.
If you were to go to the open data portal,
you'd see just a snippet of it,
a year or a few months.
It was actually on the Department
of Environmental Protection's website.
Each one of these links is an Excel sheet,
and this Excel sheet is different.
Every heading is different:
you copy, paste, reorganize.
When you do you can make maps
and that's great, but once again,
we can do better than that as a city,
we can normalize things.
We're getting there because
there's this website that Socrata makes,
called the Open Data Portal NYC.
This is where 1100 data sets,
that don't suffer
from the things I told you live,
and that number is growing,
and that's great.
You can download data in any format,
be it CSV or PDF or Excel document.
Whatever you want,
you can download the data that way.
The problem is, once you do,
you'll find that each agency
codes their addresses differently.
So, one is street name,
intersection street,
street, borough, address building,
building, address.
So, once again, you're spending time,
even when we have this portal,
you're spending time
normalizing our address field.
I think that's not the best use
of our citizens' time,
we can do better than that as a city.
We can standardize our addresses.
If we do, we can get more maps like this.
This is a map of fire hydrants
in New York City.
But not just any fire hydrant.
These are the top 250
grossing fire hydrants
in terms of parking tickets.
(Laughter)
So I learned a few things from this map.
Number 1: just don't park
on the Upper East side.
Just don't. No matter where you park,
you will get a hydrant ticket.
Number 2: I found the two highest
grossing hydrants in all of New York City.
They are on the Lower East side,
and they are bringing in over
55,000 dollars a year in parking tickets.
And that seemed a little strange to me
when I noticed it,
so I did a little digging,
and it turns out
what you had is a hydrant
and something called a curb extension,
which is like a seven-foot space
to walk on,
and then a parking spot.
So these cars came along and the hydrant -
"It's all the way over there, I'm fine,"
and there was actually a parking spot
painted there beautifully for them.
They would park there and the NYPD
disagree with the designation,
and would ticket them.
And it wasn't just me
who found a parking ticket.
This is the Google street view car
driving by, finding same parking ticket.
So I wrote about this
on my blog, on I Quant NY,
and the DOT responded and they said,
"While the DOT has not received
any complaints about this location,
we will review the roadway markings
and make any appropriate alterations."
I thought to myself, you know,
typical government response,
all right, moved on with my life.
But then, a few weeks later,
something incredible happened.
They repainted the spot.
And for a second I thought
I saw the future of open data
because think about what happened here.
For five years, this spot
was being ticketed, and it was confusing.
And then a citizen found something,
they told the city and within a few weeks,
the problem was fixed. It's amazing.
A lot of people see open data
as being a watch dog, it's not.
It's about being a partner.
We can empower our citizens to be
better partners for government,
and it's not that hard.
All we need are a few changes.
If you're FOILing data,
if you seeing your data
being FOILed over and over again,
let's release it to the public, that's
a sign that it should be made public.
And if you're a government agency
releasing a PDF,
let's pass a legislation that requires you
to post it with your underlying data,
because that data
is coming from somewhere.
I don't know where,
but you can release it with the PDF.
And let's adopt and share
some open data standards.
Let's start with our addresses
here in New York City.
Let's just start
normalizing our addresses.
Because New York is a leader in open data.
Despite all this, we're absolutely
a leader in open data,
and if we start normalizing things,
and set an open data standard,
others will follow.
The state will follow,
maybe the federal government,
other countries could follow,
and we're not that far off from a time
where you can write one program
and map information from a 100 countries.
It's not science fiction,
we're actually quite close.
And by the way, who are we
empowering with this?
Because it's not just John Krauss,
it's not just Chris Whong.
There are hundred of meetups
going around in New York City right now,
active meetups.
There are thousands of people
attending these meetups.
These people are going after work
and on weekends,
and they're attending these meetups
to look at open data,
and make our city a better place.
Groups like BetaNYC who just last week,
released something called citygram.nyc
that allows you to subscribe
to 311 complaints
around your own home,
or around your office.
You put in your address,
you get local complaints.
And it's not just the tech community
that are after these things.
It's urban planners like the students
I teach at Pratt.
It's policy advocates, it's everyone,
it's citizens from a diverse
set of backgrounds.
And with some small incremental changes,
we can unlock the passion
and the ability of our citizens
to harness open data
and make our city even better,
whether is one data set
or one parking spot at a time.
Thank you.
(Applause)
ستة آلاف ميل من الطرق
ستمائة ميل من سكك قطارات الأنفاق
أربعمائة ميل من طرق الدراجات
ونصف ميل من سكة الترام...
إذا زرت (جزيرة روزفيلت) من قبل
هذه الأرقام التي تشكل
البنية التحتية لمدينة نيويورك
هذه هي إحصائات البنية التحتية لمدينتنا
وهي الأرقام التي تَنشر
في التقارير الحكومية
مثلاً مكتب المواصلات قد يخبرك
عدد الأميال من الطرق التي تتم صيانتها
إدارة النقل ستتفاخر بطول سكة الأنفاق
معظم إدارات المدينة تزودنا بالإحصاءات
هذا من تقرير السنة الحالية
من لجنة سيارات الأجرة
حيث نجد ان هنالك حوالي 13,500 سيارة أجرة
هنا في نيويورك
مثير للإهتمام, صحيح؟
لكن هل تساءلت عن مصدر هذه الأرقام؟
حتى تستنتج هذه الأرقام
لابد لشخص ما في مكتب المدينة قال
"هممم, هذا رقم قد يرغب البعض بمعرفته
هذا رقم يود مواطنونا معرفته"
فهم يعودون للبيانات الأولية
يحصون ويضيفون و يحسبون
ثم يحررون التقارير
وهذه التقارير تحوي أرقاماً كهذه
المشكلة هي كيف يعلمون بكل أسئلتنا
ولدينا الكثير من الأسئلة
هناك في الحقيقة بشكل ما
عدد لانهائي لأسئلة
يمكن أن نسألها عن مدينتا
لذلك لا يمكن للإدارات مجاراتها
إذاً هذا النموذج غير ناجح
واعتقد أن صانعي القرار يعلمون ذلك لأنه
في عام ٢٠١٢ وقع العمدة
(بلومبيرج) قانون ما سماه
تشريع البيانات المفتوحة
الأكثر طموحا وشمولا في البلد
ومن عدة نواحي هو على حق
في السنتين الماضيتين نشرت المدينة
1000 مجموعة بيانات في بوابة البيانات
وهو شيء رائع جداً
فترى هذه البيانات ليس لعد سيارات الأجرة
يمكننا أن نسأل أسئلة مختلفة
خطر لي سؤال:
متى تكون ساعة الذروة في نيويورك؟
وهو ماقد يزعج البعض
متى ساعة الذروة بالضبط؟
وفكرت بداخلي سيارات
الاجرة ليست مجرد أرقام
هذه خرائط ملاحة لمساراتهم في شوارع مدينتنا
سجلات تحوي كل طريق يسلكونه
توجد بيانات هنا،
وانا انظر الى تلك البيانات
ودونت معدل سرعة سيارة
الاجرة في مدينة نيويورك طوال اليوم
تشاهدون أنه تقريبا من
منتصف الليل الى ٥:١٨ صباحا
تزداد السرعة، وعند هذه النقطة،
حيث تنعكس القراءة
حيث تقل السرعة تدريجياً حتى ٨:٣٥ صباحاً
حيث يقل المعدل ليصل إلى ١١,٥ ميل/الساعة
متوسط سرعة سيارات الأجرة
في شوارع مدينتا هو ١١,٥ ميل
ويتضح أن ذلك المعدل يبقى ثابتاً
لباقي اليوم.
(ضحك)
قلت لنفسي أعتقد أنه لا توجد
ساعة ذروة في نيويورك.
هناك يوم الذروة.
ذلك منطقي. وهذا شيْ ضروري لسببين.
لو كنت مسؤول تخطيط في النقل
سيبدو ذلك مهماً لمعرفته.
ولكن إذا أردت الذهاب سريعاً لمكان ما،
الآن تعرف أنه يجب ضبط المنبه
الساعة ٤:٤٥ صباحاً لتكون مستعداً
نيويورك, أليس كذلك؟
ولكن هناك قصة خلف هذه البيانات.
هذه المعلومات ليست متوفرة فقط لذلك.
هذه البيانات أتت من قانون
طلب تحرير المعلومات
أو يختصر FOIL
هذا نموذج متوفرعلى موقع
لجنة سيارات الأجرة والليموزين.
لتحصل على معلومات كهذه
يجب عليك بملء هذاالنموذج
وتقديم الطلب، وهم سيبلغونك لاحقاً.
وهناك شاب أسمه (كريس وونق)
قام تماماً بذلك.
(كريس) قدم الطلب وردوا عليه:
"أحضر محرك أقراص صلبة إلى مكتبنا
أترك المحرك لمدة ٥ ساعات،
سنقوم بنسخ البيانات
ثم سوف تسترد المحرك".
ومن هنا, أتت هذه البيانات.
كريس هو ممن يريد
أن يتيح هذه البيانات للعامة.
فقام بنشر هذه البيانات على الأنترنت للعامة
ومنها تم رسم هذا التخطيط.
كون هذه المعلومات متاحة شيء مذهل.
مسجلات المواقع GPS .. رائعة.
ولكن كون مواطنين يتجولون
حاملين أقراص صلبه,
ثم يطلبون البيانات من
المدينة لنشرها للعامة,
والتي أساسا هي بيانات عامة
يمكنك الوصول إليها،
ولكنها "عامة", ولكن ليس تماماً.
ونستطيع تقديم أفضل من ذلك كمدينة.
لا نحتاج إلى مواطنينا
أن يحملوا أقراص صلبة.
الآن، ليست كل البيانات متاحة
من خلال نموذج الطلب FOIL
هنا خريطة قمت بإنشائها توضح
أكثر التقاطعات خطورة في نيويورك
من حيث حوادث الدراجات الهوائية.
حيث النقاط الحمراء هي الأكثر خطورة.
وكما ترون، الجانب الشرقي من "مانهاتن"
خصوصا الجانب السفلي من "مانهاتن"
يحوي الجزء الأكبر من حوادث الدراجات.
يبدو ذلك منطقياً.
لأن هناك دراجات أكثر تعبر الجسور هناك.
ولكن هناك نقطة حرجة أخرى تستحق الدراسة.
هنا في "ويليامسبيرق" وجادة "روزفيلت"
وهذا تحديداً مانحتاجه كرؤية مبدئية.
وهذا تماماً ما نبحث عنه.
وأيضاً توجد قصة لهذه البيانات كذلك.
هذه البيانات لم تظهر بالصدفة.
من يعرف هذا الشعار؟
نعم, أرى البعض يهزء رأسه موافقاً.
هل حاولت نسخ ولصق بيانات من ملف PDF
لتعرضها بشكل منطقي أكثر؟.
أرى المزيد ممن يوافق.
من استخراج بيانات أكثر
ممن عرف الشعار.
ما حصل هو أن البيانات التي رأيتموها
كانت موجوده في ملف PDF.
المئات والمئات من صفحات ملفات PDF
يتم نشرها بواسطة قسم شرطة نيوروك لوحده.
وحتى تحصل عليها, أما عليك النسخ واللصق
لعدة مئات من الساعات.
أو يمكنكم أن تكونوا "جوهن كراوس".
جون كراوس قال أنه لن يقوم بنسخ ولصق
هذه البيانات, ولكن سأقوم بانشاء تطبيق
إسمه المساعد في تفكيك بيانات شرطة نيويورك.
البرنامج يذهب لموقع
شرطة نيويورك الإلكتروني
, ويقوم بتحميل ملفات PDF
كل يوم، التطبيق يبحث
ويقوم بتحميل أي ملف جديد.
وحينها يقوم التطبيق بتنفيذ مسح,
والمخرجات تكون عباره عن نص
وينشره على الأنترنت. حينها
نستطيع عمل خرائط كهذه.
وبالمناسبة هذه البيانات التي حصلنا عليها
كل الحوادث مرتبة بطريقة أفقياً
ويمكن تخيل كمية الملفات.
حقيقة أنه يمكننا الوصول
لهذه البيانات شيء عظيم,
ولكن لنتوقف عن نشرها بملفات PDF
لأنه سيكتب المواطنين برمجيات لهذه الملفات.
وهذا ليس الخيار الأفضل لوقت المواطنين,
كما أنه يمكننا كمدينة تقديم أفضل من ذلك.
الآن, الخبر الجيد أنه إدارة "دي بلاسيو"
أصدرت منذ فترة قريبة هذه البيانات,
والآن يمكننا الوصول إليها,
ولكن هناك الكثير من البيانات
مدفونة في ملف PDF
مثلاً, سجل الجرائم ما زال
متوفر فقط بصيغة PDF
وليس سجل الجرائم فقط
بل ميزانية المدينة أيضاً.
ميزانية المدينة التي يمكن قرائتها
هي صيغه PDF فقط.
ولسنا الوحيدين الذين لا نستطيع تحليله,
ولكن المشرعَين الذين
صوتوا على هذه الميزانية
أيضا تصلهم بصيغة PDF فقط.
إذن, المشرعّون لا يمكنهم فهم
الميزانية التي يصوتون عليها.
وحين أفكر كمدينة يمكننا
تحسين ذلك قليلاً بالطبع.
هناك العديد من البياناتا
لتي ليست محصورة بملفات PDF.
هذا مثال لخريطة قمت بإنشائها
وهي تمثل الممرات المائية
الأقذر في نيويورك.
الآن, كيف قمت بحساب تلوثها؟
ذلك يبدو غريباً بعض الشيء,
ولكنني بحثت في معدلات بيكتريا القولون,
والتي تقيس معدل القاذورات
في كل من هذه الممرات.
الدائرة الأكبر, تعني تلوث أكثر.
الدائرة الأكبر تمثل المياة الأكثر تلوثاً,
والأصغر أقل تلوثاً.
الذي ترونه هي الممرات الداخلية.
هذه البيانات أستخرجت من فحص عينات
قامت بها المدينة خلال ٥ سنوات.
والممرات الداخلية تعتبر أكثر تلوث.
وذلك منطقي. أليس كذلك؟
كما تعلمت عدة أمور.
أولاً: لا تسبح في أي شيء
ينتهي بقناة أو جدول مائي.
ولكن ثانياً:وجدت أن أقذر
ممر مائي في نيوروك,
من خلال هذه العينات.
في جدول "كوني أيلند"وهو ليس الذي
تسبحون فيه، لحسن الحظ.
أنه في الجهة المقابلة.
ولكن ٩٤٪ من العينات المأخوذة
من هذا الجدول خلال السنوات الماضية الخمس
تحتوي على مستويات عالية جداً
مخالفة للقوانين من حيث المستويات
المسموح السباحة فيها.
وهذه ليست أحدى الحقائق التي يمكن أن تجدها
في تقارير المدينة. أليس كذلك؟
لن تجدها في موقع المدينة.
لن تجدها في ذلك الموقع,
ولكن من الجيد أن نصل لهذه البيانات.
ولكن مرة أخرى, ذلك ليس سهلاً أبداً.
لأن هذه البيانات
ليست في البيانات العامة.
لو ذهبت الى البيانات العامة
ستجد قصاصة منها، سنة أو عدة أشهر.
في الواقع هذه البيانات
كانت في موقع إدارة حماية البيئة.
وكل هذه الروابط عباره عن ملفات
جداول حسابية "Excel"
وكل ملف مختلف.
مختلف في العناوين.تقوم بنسخ
ولصق وترتيب البيانات.
حينها تستطيع عمل خرائط وهذا
شيء عظيم.ولكن أيضاً،
يمكن تقديم أقضل من ذلك.
يمكننا تعميم الأشياء.
ونحن ندفع لذلك، بسبب الموقع الذي
أسسه "ساكروتا" والذي
يعرف بإسم بوابة البيانات
العامة لمدينة نيويورك.
هنا حيث توجد ١١٠٠ مجموعة بيانات خالية
من العيوب التي أخبرتكم بها مباشرة.
وهذا الرقم بازدياد, وهذا شيء عظيم.
يمكنكم تحميل البيانات بأي صيغة،
جداول CSV أو PDF أو Excel
أيها تريد, يمكنك الحصول على البيانات بذلك.
المشكلة هي, حين تفعل ذلك
ستجد أن كل إدارة
لديها ترميز مختلف لعناوينها.
حيث مرة يكون أسم الشارع وتقاطع الشوارع،
الشارع والبلدة والعنوان
والمبنى وعنوان المبنى.
إذن مرة أخرى ستقضي الوقت
رغم توفر هذه البوابة
تقضي الوقت لتسوية خانات العنوان.
هذا تضييع لوقت المواطنين.
يمكننا فعل أفضل من ذلك كمدينة.
يمكننا توحيد العناوين.
حينها يمكننا الحصول على خرائط أكثر كهذه.
هذه خرائط لحنفيات الحريق في نيوروك
ولكن ليس كل الحنفيات.
هذه أعلى ٢٥٠ حنفية على الاطلاق
من حيث مخالفات مواقف السيارات.
(ضحك)
لقد تعلمت عدة أشياء من هذه الخريطة
أنا أحب هذه الخريطة.
أولاً: لا تركن السيارة في
الجزء الشمال شرقي.
فقط لاتفعل. لا يهم أين توقف سيارتك
سوف تحصل على مخالفة متعلقه بحنفيات الحريق.
ثانياً:وجدت أكثر حنفيتان
على الأطلاق في نيويورك
وتقعان في الجنوب الشرقي من المدينة,
وقد وفرتا أكثر من ٥٥ ألف دولار سنوياً!
قيمة مخالفات المواقف بجوارهما.
ويبدو ذلك غريباً لبعض الشيء حيث لاحظت ذلك.
ثم قمت بالمزيد من البحث وأتضح
أنه ما يبدو أنه طفاية حريق
هو في الحقيقة تمديد لممر مشاة
وهو عبارة عن ممر بعرض
٧ أقدام للعبور عليه
يمر في منطقة مواقف.
حيث تأتي هذه السيارات ..
" الحنفية ليست قريبة, سأركن هنا"
والموقف متاح وتم طلائة بشكل جميل لذلك.
سيوقفون سياراتهم, وشرطة نيويورك
تخالفهم الرأي بمسمى هذه الموقف,
وسيقومون بمخالفتهم.
وحينها لست الوحيد الذي حصل على مخالفة.
هذه سياره من خرائط تصوير الشوارع لقوقل
وقد حصلت على نفس المخالفة.
حينها, قمت بالكتابة عن ذلك في
مدونتي في "Quant NY",
وإدارة المواصلات قامت بالرد وقالوا,
" بما أن الإدارة لم تتلقى أي
شكاوى عن هذا الموقع,
سنقوم بإعادة النظر لهذا الممر
ونقوم بأي تعديلات بديلة."
وقلت لنفسي, رد نموذجي من جهة حكومية,
حسناً، سأتغاضى عن ذلك.
ولكن عدة أسابيع لاحقاً، شيء عجيب حصل.
لقد قاموا بإعادة طلاء المنطقة.
ولثانية، كأني رأيت مستقبل البيانات العامة
فكّر بما حصل هنا.
لخمس سنوات
كان يتم المخالفة في هذه النقطة
وكانت ذلك محيراً,
ولكن مواطن عثر على شيء
وأخبر المدينة. لاحقاً،
وخلال أسابيع, تم إصلاح المشكلة.
ذلك مذهل.العديد يرى أن
البيانات العامة هي الحارس.
ولكنها ستكون شريك.
نستطيع حث المواطنين ليكونوا
شركاء أفضل للحكومة.
وذلك ليس صعباً.
كل ما نحتاجه بعض التغيرات.
اذا كنت تصيغ بيانات للعامة،
واذا رأيت أن بياناتك
يتم صياغتها للعامة،
إذن لننشرها بحيث تكون مصممة للعامة.
وإذا كنت جهة حكومية تنشر
بياناتك بصيغه PDF,
لنقر تشريع يطلب منك نشرها
بالبيانات الدقيقة،
وذلك لأن هذه البيانات أتت من مصدر ما.
لا أعرف من أين، ولكنها أتت من مصدر ما
ويمكن نشرها بصيغة PDF حينها.
ولنتبنى بعض معايير
البيانات المفتوحة للعامة.
لنبدأ بعنوانيننا هنا في نيويورك.
لنبدأ بتعميم عنوانيننا.
لأن نيويورك رائدة في
نشر البيانات المفتوحة.
بغض النظر عما سبق, إن لنا الطليعة
في البيانات المفتوحة
ولو بدأنا بتعميم معايير للبيانات المفتوحة،
آخرون سيتبعوننا.الولاية,
وربما الحكومة الفيدرالية.
أعلم, يبدواً جنونياً, ولكن
بلدان أخرى قد تفعل ذلك،
ونحن لسن بعيدين عن الوقت حيث
تستطيع كتابة برنامج وحيد
وانشاء خريطة معلومات من ١٠٠ دولة.
هذا ليس خيال علمي. نحن قريبون من ذلك حقاً.
وبالمناسبة, من هو المستفيد من هذا؟
لأن ذلك لا يخص"جوهن كراوس"
او "كريس وونج" فقط.
هناك المئات من اللقاءات
تجري في نيويورك الآن.
لقاءات نشطة.
هناك آلاف الناس تحضر هذه اللقاءات.
هولاء الناس يذهبون بعد العمل
وفي عطل الأسبوع،
ويحضرون ليطلعوا على هذه البيانات المفتوحة.
وليجعلوا مدينتنا أفضل.
مجموعات مثل "بيتا نيويورك",
التي أطلقت الأسبوع الماضي
موقع شكاوى نيويورك.
يتيح الأشتراك بنحو ٣١١ شكوى
قريبة من منازلنا, أو مكاتبينا.
تضع عنوانك وتحصل على الشكاوى المحلية.
كما أن المختصّون ليسوا وحدهم
خلف هذا المشروع،
ولكن مخططي المدن، كطلابي في معهد برات.
الناشطين السياسيين أيضاً, والجميع.
إنها مجموعة من المواطنين من مختلف الأعراق.
ومع بعض التغييرات، تغييرات تدريجية،
يمكننا إطلاق شغف وقدرة المواطنيين
لإستغلال البيانات المفتوحة
لجعل مدينتا أفضل
سواء كانت مجموعة بيانات واحده،
أو موقف سيارات وحيد، على حده.
شكراً
(تصفيق)
Près de 10 000 km de routes,
près de 6 000 km de rails de métro,
près de 650 km de pistes cyclables,
et 800 m de rails de tram,
si vous avez déjà été à Roosevelt Island.
Ce sont les chiffres qui constituent
l'infrastructure de NY,
les statistiques de nos infrastructures.
Ce sont les chiffres
des rapports des agences civiles.
Par exemple, le département des transports
publiera sûrement
les kilomètres de voies
qu'ils entretiennent.
La MTA se vantera du nombre
de kilomètres de rail existants.
Mais la plupart des agences
nous donnent des statistiques.
Ceci vient d'un rapport de 2015
de la Commission Taxi & Limousine ,
où on apprend qu'il y a
environ 13 500 taxis, ici, à New-York.
Plutôt intéressant, non ?
Mais avez vous déjà pensé
d'où venaient ces chiffres ?
Parce que pour que ces chiffres existent,
quelqu'un à l'agence
doit se dire, « Tiens, voilà un chiffre
qui pourrait intéresser quelqu'un.
C'est un chiffre qui intéresse
nos citoyens. »
Donc ils plongent dans leur données,
ils comptent, ajoutent, calculent,
puis ils écrivent des rapports.
Et ces rapports contiennent
ce genre de chiffres.
Le problème est comment
anticipent-ils nos questions ?
Nous avons plein de questions.
Il y a littéralement
un nombre infini de questions
qu'on se pose sur notre ville.
Les agences ne pourront jamais suivre.
Le paradigme ne marche pas vraiment
et je pense que nos politiques
s'en rendent compte,
puisqu'en 2012, le maire Bloomberg
a ratifié une loi qu'il a appelé
la législation la plus ambitieuse
et complète du pays.
De bien des façons, il a raison.
En deux ans, la ville a publié
1000 jeux de données sur le portail public
et c'est plutôt génial.
Vous voyez de telles données,
et au lieu de compter le nombre de taxis,
on commence à poser d'autres questions.
Donc j'ai une question :
Quand est l'heure de pointe à New York ?
C'est plutôt agaçant.
A quelle heure exactement ?
Et j'ai pensé, ces taxis ne sont pas
que des chiffres,
ce sont des traceurs GPS
dans les rues qui enregistrent
chaque virage à droite.
Ce sont des données.
J'ai regardé ces données
et fait un graphe
de la vitesse moyenne des taxis
à NY pendant la journée.
Vous pouvez voir que de minuit
à environ 5h18, la vitesse augmente,
et qu'à partir de là, les choses changent.
Ils ralentissent encore et encore
jusqu'à 8h35
où ils arrivent à 18,5 km/h.
Le taxi moyen roule à 18,5 km/h
dans les rues de notre ville,
et il apparaît que ça reste ainsi
toute la journée.
(Rires)
Je me suis dit,
il n'y a pas d'heure de pointe à NY,
il y a un "jour de pointe".
(Rires)
Ça a du sens.
C'est important pour deux raisons.
Si vous planifiez des transports,
ça peut être assez intéressant à savoir.
Mais si voulez bouger rapidement,
vous savez maintenant que
vous mettrez votre réveil à 4h45.
New York, non ?
Ces données ont une histoire,
ce n'était pas disponible de cette façon.
C'est venu de quelque chose appelé
une requête pour la liberté d'information,
ou une requête FOIL.
Ce document est sur le site
de la Commission Taxi & Limousine.
Pour accéder à ces données,
vous avez besoin du document,
de le remplir et ils vous répondront.
Et un gars appelé Chris Whong
a fait exactement ça.
Chris y est allé et ils lui ont dit,
« Venez avec un disque dur tout neuf,
laissez-le pendant 5 heures,
nous y copierons les données. »
Voilà d'où ces données viennent.
Chris est le genre à vouloir
rendre les données publiques,
et elles finissent donc en ligne,
c'est de là que vient ce graphe.
Et le fait qu'il existe est incroyable.
Ces traceurs GPS - vraiment cool !
Mais avoir des citoyens
qui se baladent avec des disques durs,
récupérant des données
pour les rendre publiques ...
C'était déjà un peu public,
vous y aviez accès,
c'était "public",
ce n'était pas public.
Nous pouvons faire mieux
en tant que ville,
nos citoyens ne devraient pas avoir
besoin de demander.
Aujourd'hui, tout n'est pas accessible
avec une requête FOIL.
Voici une carte que j'ai faite
des carrefours les plus dangereux
d'après les accidents cyclistes.
Les zones dangereuses sont en rouge.
Ça montre d'abord
l'est de Manhattan,
en particulier la partie basse
a plus d'accidents de cyclistes.
C'est sensé
car il y a plus de cyclistes
venant des ponts.
D'autres lieux sont intéressants.
Il y a Williamsburg.
Il y a l'avenue Roosevelt du Queens.
C'est le type de données
nécessaire pour la vision zéro.
C'est ce que nous cherchons.
Il y a une histoire
pour ces données aussi.
Ces données ont une origine.
Combien parmi vous connaissent ce logo ?
Oui, j'en vois certains.
Avez-vous déjà essayé de copier
et coller depuis un PDF
et en tirer du sens ?
J'en vois plus.
Plus connaissent le copier-coller PDF
que le logo. J'aime ça.
Il se trouve que les données
que vous avez vues, viennent d'un PDF.
En fait, des centaines et des centaines
de PDF publiés par notre propre NYPD,
et pour y accéder,
vous devez soit les copier-coller
pendant des centaines d'heures,
soit vous êtes John Krauss.
John Krauss s'est dit,
je ne vais pas copier-coller ces données,
je vais coder un programme.
Il s'appelle le NYPD Crash Data Band-Aid.
Il va sur le site de la NYPD
et télécharge des PDFs.
Tous les jours, il cherche ;
s'il trouve un PDF, il le télécharge
et il exécute un programme
d'extraction de PDF
qui donne un fichier texte,
et le mettrait en ligne pour
nous permettre de faire de telles cartes.
Et le fait que ces données soit là,
que nous y ayons accès,
chaque accident, en outre,
est une ligne dans ce tableau.
Imaginez le nombre de PDFs.
Le fait que nous y ayons accès est génial.
Mais ne les publions pas en format PDF.
Ça oblige nos citoyens
à coder des extracteurs de PDF.
Leur temps pourrait
être mieux utilisé,
et nous, comme ville,
pouvons faire mieux.
La bonne nouvelle est que
l'administration actuelle
a en fait publié ces données
il y a quelques mois,
donc nous pouvons y accéder.
Mais de nombreuses données
sont encore dans des PDFs.
Par exemple, les données sur les crimes
sont seulement en PDFs.
Et pas seulement elles,
notre propre budget municipal y est aussi.
Notre budget municipal est lisible
seulement en format PDF.
Mais personne ne peut l'analyser car
nos propres législateurs
qui votent le budget,
l'ont aussi qu'en PDF.
Donc nos législateurs ne peuvent
analyser le budget qu'ils votent.
Et je pense que, comme ville,
nous pouvons faire un peu mieux aussi.
Plein de données ne sont pas
en PDFs aujourd'hui.
Voici une carte que j'ai faite.
Ce sont les cours d'eau
les plus sales de NY.
Comment ai-je mesuré leur saleté ?
Eh bien, c'est un peu étrange,
mais j'ai regardé
la teneur en coliformes fécaux,
qui est une mesure de la matière fécale
dans tous nos cours d'eau.
Plus le cercle est grand,
plus l'eau est sale.
Les grands cercles sont les eaux sales;
et les petits, les propres.
Il s'agit des cours d'eaux intérieurs.
Ce sont toutes les données rassemblées
par la ville depuis cinq ans.
Les cours d'eaux intérieurs
sont plus souvent sales.
Ça du sens, non ?
Et j'ai ainsi appris quelques trucs.
En un : ne jamais nager dans ce qui finit
dans un canal ou un ruisseau
Deuxièmement : j'ai aussi découvert
les eaux les plus sales de NY
avec cette mesure, une mesure.
Dans le Coney Island Creek,
qui n'est pas où vous nagez,
heureusement, mais de l'autre côté.
94% des échantillons
prélevés depuis 5 ans,
avaient des niveaux
de matières fécales si importants,
qu'il aurait été illégal
de s'y baigner.
Et ce n'est pas le genre de fait
que vous allez voir
écrit en gros dans les rapports
ou à la une de nyc.gov.
Vous ne le verrez pas là-bas,
mais le fait que nous ayons
ces données est génial.
Mais ce n'était pas très facile,
car ces données
n'étaient pas sur le portail.
Si vous allez sur le portail de données,
vous n'y verriez qu'un petit peu,
que quelques mois.
C'était en fait sur le site du département
pour l'environnement.
Chacun des liens est une feuille Excel
et chacune d'elles est différente.
Chaque en-tête change :
vous copiez, coller, réorganiser.
Et vous pouvez faire des cartes
et c'est super mais à nouveau,
nous pouvons faire mieux,
nous pouvons normaliser les choses.
Nous y arrivons grâce
au site fait par Socrata
appelé le Open Data Portal NYC.
Il y a 1100 lots de données
ne souffrant pas
de ce dont je viens de parler,
et ce nombre augmente,
et c'est super.
Vous pouvez télécharger ces données
dans tous les formats, CSV, PDF ou Excel.
Vous pouvez télécharger ces données
comme vous le voulez.
Le problème est qu'après,
vous verrez que chaque agence
présente son adresse à sa façon.
Donc une donnera le nom de la rue,
ou le carrefour,
ou le quartier, la rue puis le bâtiment
ou l'inverse.
Donc, encore une fois, vous passez
du temps même avec le portail,
vous passez du temps à normaliser
le champ d'adresse.
Je pense que ce temps pourrait
être mieux utilisé,
nous pouvons faire mieux.
Nous pouvons normaliser tout ça.
Ainsi, nous pourrons
faire plus de cartes.
Voici une carte
des bouches d'incendie de NY.
Mais pas n'importe lesquelles.
Ce sont les 250 plus rentables
bouches d'incendies
en terme d'amendes de stationnement.
(Rires)
J'ai appris quelques trucs de cette carte.
De un, ne pas se garer
dans Upper East Side.
Ne le faites pas. Quelque soit l'endroit,
vous aurez une amende.
De deux, j'ai trouvé les 2 bouches
d'incendie plus rentables de NY.
C'est dans le Lower East Side,
et elles rapportent plus de 55 000 dollars
par an en contraventions.
Ça m'a semblé étrange
quand je l'ai remarqué,
donc j'ai creusé un peu
et il s'avère
qu'on avait une bouche d'incendie
et quelque chose appelé un îlot,
qui est un espace de 2 mètres piéton,
puis une place de parking.
Donc les conducteurs viennent
et pensent :
« La bouche est là-bas, c'est bon. »
et il y a en fait une belle place
magnifiquement peinte pour eux.
Ils se garent donc et la police
qui n'est pas du même avis,
leur donne une amende.
Et ce n'est pas seulement moi
qui a eu une amende.
Voici la vue Google street, et on voit
une voiture avec cette même amende.
Donc je l'ai écrit sur mon blog,
I Quant NY,
et le département des transports
a répondu :
« Bien que nous n'ayons pas reçu
de plainte à propos de cet endroit,
nous allons revoir les marquages
et faire les modifications appropriées. »
J'ai pensé que c'était la réponse typique
du gouvernement,
donc j'ai continué ma vie.
Mais quelques semaines plus tard,
quelque chose d'incroyable est arrivé.
Ils ont repeint l'îlot.
Pour une seconde j'ai vu
le futur des données ouvertes
car pensez à ce qu'il vient d'arriver.
Pendant 5 ans, cet îlot a généré
des amendes car le marquage était confus.
Puis un citoyen a vu le problème,
il prévient la ville et peu après,
le problème est résolu. C'est génial.
Beaucoup voit ces données ouvertes
comme du contrôle,
mais c'est un partenariat.
Nous pouvons permettre à nos citoyens
d'aider le gouvernement,
et ce n'est pas si difficile.
Peu de changements sont requis.
Si vous diffusez,
si vous recevez de plus en plus
de demandes de données,
publiez-les, c'est un signe
que ça devrait être public.
Et si vous être une agence gouvernementale
publiant un PDF,
passons une loi qui vous oblige à publier
également les données brutes,
car ces données viennent
de quelque part.
Je ne sais pas d'où
mais vous publiez-les avec le PDF.
Adoptons des standards
de publication de données.
Commençons pas nos adresses,
ici, à New-York.
Débutons juste
par normaliser nos adresses.
Car NY est un leader
des données ouvertes.
Malgré tout, nous sommes
un leader des données ouvertes,
et si nous commençons à tout normaliser,
et créons des standards,
d'autres suivront.
L'état suivra et peut-être
le gouvernement fédéral,
d'autres pays pourraient suivre,
et nous ne sommes pas si loin d'un jour
où l'on pourrait écrire un programme
et cartographier
l'information de 100 pays.
Ce n'est pas de la SF,
nous en sommes assez proches.
Et par ailleurs,
qui responsabilisons nous ?
Car ce n'est pas seulement John Krauss,
ce n'est pas que Chris Whong.
Il y a des centaines de rencontres à NY
de nos jours,
des rencontres actives.
Des milliers de gens assistent
à ces rencontres.
Ces personnes viennent le soir
ou en weekend,
et ils viennent à ces rencontres
pour analyser ces données,
et améliorer notre ville.
Des groupes comme BetaNYC qui,
la semaine dernière, a publié citygram.nyc
qui vous permet de souscrire
à 311 plaintes
près de chez vous ou de votre bureau.
Vous entrez votre adresse, et accédez
aux plaintes.
Et ce n'et pas que le milieu technologique
qui s'intéresse à cela.
Ce sont des urbanistes tels que
mes étudiants de Pratt.
Ce sont les défenseurs
des politiques publiques,
des citoyens de milieux différents.
Et avec quelques petits changements,
nous pouvons débloquer la passion
et la capacité de nos citoyens
à exploiter ces données
et améliorer notre ville,
même si c'est un lot de données
ou une place de parking à la fois.
Merci.
(Applaudissements)
Bijna 10.000 kilometer wegen,
zo'n 1000 kilometer metrolijnen,
bijna 650 kilometer fietspaden
en 800 meter tramspoor --
die liggen op Roosevelt Island.
Dat is de infrastructuur
van de stad New York in cijfers.
De statistieken van onze infrastructuur.
Deze cijfers verschijnen
in rapporten van de lokale overheid.
Afdeling Transport
kan je bijvoorbeeld vertellen
hoeveel kilometer wegen ze onderhouden.
Openbaar Vervoer pocht
met kilometers metrolijnen.
De meeste afdelingen
geven statistieken uit.
Uit een rapport van vorig jaar
van de commissie voor taxiverkeer,
leren we dat er zo'n 13.500 taxi's
in New York rijden.
Dat is toch interessant?
Maar waar komen
die cijfers vandaan?
Op zo'n gemeentelijke afdeling
moet iemand bedacht hebben
welke cijfers ons interesseren.
Hier zit men op te wachten.
Dus spitten ze in hun ruwe gegevens,
tellen en calculeren
en brengen hun rapporten uit,
waar dit soort cijfers in staan.
Maar hoe kennen ze al onze vragen?
We zitten vol met vragen.
We kunnen waarschijnlijk
een eindeloos aantal
vragen stellen over onze stad.
Teveel voor die afdelingen.
Het model werkt dus niet,
en de beleidsmakers zien dat ook in,
want burgemeester Bloomberg heeft in 2012
een wet ondertekend, die hij beschreef
als de meest ambitieuze en uitgebreide
'open data'-wetgeving in het land.
Op veel punten heeft hij gelijk.
De afgelopen twee jaar
gaf de stad 1000 gegevenssets vrij
op het open data-portaal.
Dat is fantastisch.
Je kunt in die gegevens duiken
en dan niet alleen de taxi's tellen,
maar ook andere vragen stellen.
Ik had dus een vraag.
Wanneer is de spits in New York?
Hoe laat begint de spits precies?
Toen dacht ik: een taxi
is niet alleen een nummer,
maar ook een gps-recorder
die door onze straten rijdt
en elke rit vastlegt.
Ik heb de gegevens ervan bekeken
en een diagram van de gemiddelde snelheid
van taxi's in New York gemaakt.
Je ziet dan dat van middernacht
tot 5:18 uur 's ochtends
de snelheid toeneemt,
en dan afneemt.
Dan gaan ze steeds langzamer rijden
tot ze om 8:35 uur 's ochtends
nog maar 18,5 km/u rijden.
De gemiddelde taxi rijdt dan
18,5 km/u op onze straten,
en dat blijft dan zo, gedurende...
de hele dag.
(Gelach)
Er is dus geen spitsuur in New York.
Het is spitsdág. (Gelach)
Dat klinkt logisch en is belangrijk.
Voor een transportplanner
is dat interessant.
Maar als je snel ergens moet zijn,
weet je nu dat je je wekker
op 4:45 uur moet zetten.
New York, hè?
Die gegevens hebben een verhaal.
Ze bleken niet zomaar beschikbaar.
Hier was een aanvraag voor nodig
via de Wet Openbaarheid van Bestuur,
een Wob-aanvraag.
Het staat op de website
van de Commissie voor taxiverkeer.
Voor deze gegevens
heb je zo'n formulier nodig.
Als je het invult, krijg je bericht.
Chris Wong deed dit.
Chris ging langs en ze zeiden:
"Breng een nieuwe harddisk
naar ons kantoor.
Vijf uur later staan de gegevens erop
en kun je hem ophalen."
Daar komen die gegevens vandaan.
Chris is zo iemand
die gegevens publiek wil delen,
en zo kwam het online te staan,
wat deze grafiek mogelijk heeft gemaakt.
Fantastisch dat het beschikbaar is,
die GPS-recorders -- echt perfect.
Maar dat burgers met een harddisk
bij afdelingen gegevens
op moeten halen om die te delen --
als je erom vroeg, kreeg je ze,
maar het was 'openbaar', niet gedeeld.
Dat kunnen we als stad béter doen.
Onze burgers hoeven niet
rond te lopen met een harddisk.
Niet voor alle gegevens
heb je de Wob nodig.
Ik heb deze kaart gemaakt
van de gevaarlijkste kruisingen,
gebaseerd op fietsongelukken.
De rode gebieden zijn dus gevaarlijker.
Je ziet dat er in
het oosten van Manhattan,
vooral het zuidoosten,
meer fietsongelukken zijn.
Logisch, omdat daar meer fietsers
van de bruggen af komen.
Maar je ziet ook
andere gevaarlijke plekken,
zoals Williamsburg
en Roosevelt Avenue in Queens.
Dit soort gegevens
zoeken we voor Vision Zero.
Precies wat we zoeken.
Maar ook deze gegevens hebben een verhaal.
Ze kwamen niet zomaar aandrijven.
Kennen jullie dit logo?
Ik zie mensen knikken.
Weleens geprobeerd om gegevens
van een pdf te kopiëren
en daar wijs uit te worden?
Ik zie meer knikken.
Meer die hebben geprobeerd te kopiëren,
dan die het logo kennen. Leuk.
Deze gegevens stonden dus in een pdf.
Een pdf van honderden pagina's lang,
gepubliceerd door de NYPD [politie].
Om dat te gebruiken
moest je dus
honderden uren gaan kopiëren,
of John Krauss zijn.
John Krauss dacht:
ik kopieer die gegevens niet,
maar schrijf een programma.
Het heet de 'NYPD-
ongevallen-gegevens-pleister'.
Het haalt pdf's van de website
van de NYPD af.
Dagelijks start het een zoekopdracht;
downloadt gevonden pdf's,
en bewerkt die
zodat je losse tekst krijgt,
die op het internet wordt geplaatst,
zodat je dit soort kaarten kunt maken.
En het feit dat die gegevens
voor ons beschikbaar zijn --
Ieder ongeluk is trouwens
een rij in deze tabel.
Stel je voor hoeveel pdf's dat zijn --
Prachtig dat we die gegevens hebben,
maar laten we geen pdf's maken,
anders moeten burgers
bewerkingsprogramma's maken.
Zonde van de tijd.
Als stad kunnen we dat béter oplossen.
Gelukkig zijn onder
burgemeester de Blasio
recentelijk deze gegevens vrijgegeven,
zodat we er gewoon bij kunnen.
Maar veel gegevens staan
nog steeds ingepakt in pdf.
Misdaadgegevens krijg je
bijvoorbeeld alleen in pdf.
Niet alleen misdaadgegevens,
maar ook de begroting van de stad.
De begroting van de stad
is alleen in een pdf te lezen.
Niet alleen wij hebben daar last van --
onze eigen wetgevers
die over de begroting beslissen
krijgen het ook alleen in pdf.
Onze wetgevers kunnen de begroting
waarover ze beslissen dus niet analyseren.
Dat moeten we als stad
toch ook beter kunnen doen.
Veel gegevens staan niet verborgen in pdf.
Hier heb ik een kaart gemaakt
van de smerigste vaarwaters
in de stad New York.
Maar hoe meet ik smerigheid?
Dat is misschien een beetje vreemd;
ik keek naar het aandeel darmbacterieën,
waardoor je ontlasting
in onze vaarwaters kunt meten.
Hoe groter de cirkel is,
hoe viezer het water.
Grote cirkels duiden op vies water,
kleinere op schoner water.
Dat is binnenwater.
Dit zijn alle gegevens die de stad
de laatste vijf jaar verzamelde.
Binnenwater is meestal viezer.
Logisch toch?
Ik concludeer allereerst:
zwem niet waar de naam
eindigt op 'creek' of 'canal'.
(Gelach)
Maar ten tweede: ik vond
de smerigste vaarweg in de stad New York,
volgens deze meting althans.
Het is Coney Island Creek --
niet waar we zwemmen bij Coney Island --
maar aan de andere kant.
De afgelopen vijf jaar had 94 procent
van de monsters uit Coney Island Creek
zulke hoge sporen van ontlasting
dat het illegaal zou zijn
om daar te zwemmen.
Dat is zo'n feitje
waar ze niet mee opscheppen
in de gemeentelijke rapporten.
Dat staat niet prominent op nyc.gov.
Maar het is prachtig
dat we die gegevens hebben.
Maar ook dit was geen eitje.
Het stond niet in de
open data-portal.
Daar vind je maar een deel:
een jaar en wat maanden.
Het stond op de website
van de afdeling Milieubeheer.
Iedere link is een Excel-bestand.
En ieder Excel-bestand is verschillend.
(Gelach)
De koppen zijn anders.
Je moet kopiëren en reorganiseren.
Als je die moeite neemt,
kun je een kaart maken,
maar dat kan beter als stad,
door het glad te strijken.
En het gaat steeds beter,
want Socrata heeft een website:
de 'Open Data Portal NYC'.
Hierop staan al 1100 gegevenssets
zonder de problemen die ik noemde,
en gelukkig groeit dat aantal.
Je kunt gegevens in elk formaat
downloaden, zoals csv, pdf of Excel.
Wat je ook wilt,
je kan het downloaden hoe je wilt.
Het enige probleem is,
dat elke afdeling een andere opmaak
voor adressen gebruikt.
Dus op straatnaam, kruising,
straat, wijk, adres/gebouw, gebouw/adres.
Je bent dus weer veel tijd kwijt,
zelfs met deze portal,
om de adresvelden gelijk te trekken.
Dat willen burgers niet.
Als stad kunnen we dat beter doen.
Adressen in een standaardopmaak,
zodat we meer kaarten
kunnen maken zoals deze.
Dit is een kaart
van brandkranen in New York,
maar niet zomaar brandkranen.
Dit zijn de 250 brandkranen
die de meeste parkeerboetes opleveren.
(Gelach)
Ik heb wat dingen geleerd van deze kaart,
die ik erg leuk vind.
Ten eerste, parkeer nooit
in de Upper East Side.
Gewoon niet doen want
je krijgt overal een brandkraanbekeuring.
Ten tweede, ik heb de twee kranen gevonden
die het meeste opbrengen in New York,
in de Lower East Side.
Die brengen ieder jaar 50.000 euro
aan parkeerboetes binnen.
Dat vond ik een beetje vreemd,
dus ging ik graven en ontdekte
dat hier een brandkraan stond
naast een 'stoepverbreding':
zo'n twee meter extra loopruimte.
Dan een parkeerplaats.
Automobilisten zagen de brandkraan --
"Die staat ver weg, geen probleem".
Er was zelfs een mooie
parkeerplaats getekend.
Dus ze parkeerden,
maar de politie dacht daar anders over
en gaf je een bon.
Ik ben niet de enige
die dit opmerkte.
Hier fotografeert de
Streetview-auto van Google
diezelfde parkeerboete. (Gelach)
Ik schreef erover op mijn blog I Quant NY,
en kreeg antwoord van de afdeling Verkeer,
die zeiden:
"Hoewel we nooit klachten
over deze locatie hebben gehad,
zullen we de markeringen bekijken
en noodzakelijke wijzigingen aanbrengen."
Typisch antwoord van de overheid,
dacht ik nog,
en ik ging verder met mijn leven.
Maar een paar weken later
was er iets ongelooflijks gebeurd.
Ze hadden nieuwe lijnen
op die plek getekend,
en even zag ik
de toekomst van open data.
Wat is hier namelijk gebeurd?
Vijf jaar lang werden hier boetes
uitgedeeld op een onduidelijke plek,
totdat een burger iets vond
wat hij meldde aan de gemeente,
en binnen een paar weken
was het probleem opgelost.
Fantastisch. Veel mensen zien
open data als een bedreiging.
Maar ze kunnen ons juist helpen.
Je kan burgers laten
meedenken met de overheid.
Dat is niet zo moeilijk.
Dat vraagt om wat aanpassingen.
Als je wob-aanvragen hebt,
en dezelfde gegevens
worden telkens opgevraagd,
deel die dan gewoon,
dat willen mensen blijkbaar weten.
En als een overheidsdienst
een pdf uitbrengt,
zou ze wettelijk verplicht moeten zijn
de onderliggende gegevens te geven,
want die komen ergens vandaan.
Je kan ze vrijgeven via diezelfde pdf.
En laten we standaarden gaan gebruiken.
Als eerste voor de adressen in New York.
Altijd dezelfde adresopmaak.
Want ondanks dit alles
loopt New York voorop in open data,
en als wij beginnen met
een open data-standaard,
dan volgt de rest.
Eerst de staat en misschien
zelfs de federale overheid.
Vervolgens andere landen,
zodat je in de nabije toekomst
één programma kunt schrijven
om informatie uit 100 landen
inzichtelijk te maken.
Dat is geen sciencefiction.
We zijn al dichtbij.
Wie doen we daar een plezier mee?
Niet alleen John Kraus en Chris Wong.
Er zijn momenteel honderden
burgerinitiatieven in New York,
actieve bijeenkomsten.
Duizenden mensen zijn daarbij betrokken.
Die mensen ontmoeten elkaar
na werktijd en in het weekend
om door middel van open data
onze stad te verbeteren.
BetaNYC heeft vorige week bijvoorbeeld
citygram.nyc geopenbaard
zodat je meldingen kunt krijgen
van klachten in je omgeving.
Vul je adres in en je ziet
klachten uit de omgeving.
En niet alleen it'ers
houden zich hier mee bezig.
Ook stadsplanners,
zoals mijn studenten op Pratt.
Beleidsvoorstanders, echt iedereen,
burgers met verschillende achtergronden.
Met kleine stap-voor-stap-veranderingen
geven we burgers de inspiratie
en de mogelijkheden
om met behulp van open data
onze stad te verbeteren.
Elke set gegevens -- of parkeerplaats --
draagt daaraan bij.
Dank jullie wel.
(Applaus)
Dez mil quilômetros de estradas,
mil quilômetros de trilhos de metrô,
650 quilômetros de ciclovias,
e 800 metros de bonde elétrico
se já esteve em Roosevelt Island.
Esses são os números relativos
à infraestrutura de Nova York.
São estatísticas da nossa infraestrutura.
Números divulgados em relatórios
de órgãos municipais,
como a Secretaria de Transporte,
que orgulhosamente informa
quantos quilômetros de estradas mantém.
O MTA vai se gabar da extensão
das linhas do metrô.
A maioria desses órgãos
fornecem estatísticas.
Estas são de um relatório deste ano
da Comissão de Táxis e Limusines,
em que descobrimos que há cerca
de 13,5 mil táxis aqui em Nova York.
Bem interessante, né?
Mas já se perguntaram
de onde vêm esses números?
Pois, para esses números
existirem, alguém na prefeitura
precisa parar e dizer: "Eis aqui um número
que alguém pode querer saber.
Um número que os cidadãos querem saber."
Daí, voltam para seus dados brutos,
contam, adicionam, calculam
e aí publicam relatórios,
e esses relatórios têm números assim.
O problema é: como eles
sabem todas nossas dúvidas?
Temos muitas perguntas.
De fato, há literalmente
um número infinito de perguntas
que podemos fazer sobre a cidade.
Os órgãos do governo não dão conta.
Assim, o paradigma não funciona, e acho
que nossos urbanistas percebem isso,
pois, em 2012, o prefeito Bloomberg
sancionou uma lei que chamou
de a mais ambiciosa e abrangente
legislação de dados abertos do país.
Em grande parte, ele está certo.
Nos últimos dois anos, a cidade divulgou
mil arquivos de dados nesse portal,
e é bem impressionante.
Então, vamos lá e vemos dados como estes
e, em vez de só contar o número de táxis,
podemos fazer diversas perguntas.
Eu tinha uma pergunta:
quando é a hora do rush em Nova York?
Que é uma coisa bem chata:
qual é a hora do rush?
E pensei comigo mesmo:
esses táxis não são só números,
são dados de GPS rodando por nossas ruas,
registrando cada corrida que fazem.
Há dados aí, e olhei para esses dados
e calculei a velocidade média
dos táxis em Nova York durante o dia.
Dá pra ver que, da meia-noite
até cerca das 5h18 da manhã,
a velocidade aumenta e, a partir daí,
as coisas se invertem,
e eles ficam cada vez mais lentos
até cerca das 8h35 da manhã,
quando acabam rodando
em torno dos 17 km/h.
O táxi comum roda a 17 km/h
nas ruas da cidade,
e acontece de ficar assim...
... o dia inteiro.
(Risos)
Daí pensei: acho que não há hora do rush
em Nova York, apenas dia de rush.
(Risos)
Isso faz sentido e é importante
por diversas razões.
Para um gestor de transportes,
deve ser bem interessante saber isso.
Mas, se quiser chegar rápido a um lugar,
agora sabe que basta pôr o alarme
para as 4h45 da manhã, e pronto.
É Nova York, certo?
Mas há uma história aí.
Esses dados não estavam
disponíveis dessa forma.
Na verdade, vieram do chamado
Freedom of Information Law Request,
ou Requisição FOIL.
Este é um formulário do site
da Comissão de Táxis e Limusines.
Para acessar os dados,
é preciso pegar esse formulário,
preenchê-lo, e depois eles te notificam.
Um cara chamado Chris Whong
fez exatamente isso.
Chris foi lá, e disseram para ele:
"Traga um HD novinho em folha
ao nosso escritório,
deixe-o aqui por cinco horas, copiamos
os dados e você busca de volta".
E foi daí que vieram esses dados.
Chris é o tipo do cara que quer
tornar públicos esses dados,
para ficarem on-line para todos,
e esse gráfico veio daí.
E o fato de isso existir é incrível;
esses registros de GPS são muito legais.
Mas os cidadãos precisarem
andar por aí com HDs,
coletando esses dados
para torná-los públicos,
quando já eram meio
que públicos, acessíveis,
mas não eram públicos, eram "públicos".
O governo pode fazer melhor que isso.
Não faz sentido nossos cidadãos
andando por aí com HDs.
Mas nem todos os dados dependem
de uma Requisição FOIL.
Eis um mapa que fiz dos cruzamentos
mais perigosos de Nova York,
baseado em acidentes com ciclistas.
As áreas vermelhas são as mais perigosas.
E a mais perigosa é
o East Side de Manhattan,
especialmente a área mais ao sul,
com maior número de acidentes.
Isso faz sentido, pois ali há
mais ciclistas vindo das pontes.
Mas há outros lugares dignos de atenção,
como Williamsburg
e a Avenida Roosevelt, no Queens.
E é exatamente o tipo de dado
que precisamos para o Vision Zero.
É exatamente o que estamos procurando.
Há uma história atrás desses dados também.
Eles não surgiram do nada.
Quantos aqui conhecem essa logomarca?
É, alguns de vocês.
Já tentaram copiar e colar dados
de um arquivo PDF e depois decifrá-los?
Mais mãos levantadas agora.
Mais pessoas tentam copiar e colar
do que conhecem a logomarca. Gostei!
Na verdade, os dados que acabaram
de ver estavam em PDF.
De fato, há centenas de páginas em PDF
disponibilizadas pela nossa polícia
e, para acessar, ou vocês copiam
e colam por centenas de horas,
ou fazem como John Krauss.
John Krauss pensou:
"Não vou copiar e colar esses dados.
Vou escrever um programa."
Chama-se "NYPD Crash Data Band-Aid",
e vai no site da polícia e baixa os PDFs.
Todos os dias o programa procura;
se encontrar um PDF, ele baixa,
roda um programa
que extrai os dados do PDF,
produz um texto
e coloca na Internet, para que as pessoas
possam fazer mapas assim.
E o fato de os dados estarem aqui,
o fato de termos acesso a eles,
aliás, cada linha dessa
tabela é um acidente.
Imaginem quantos PDFs há aqui.
O fato de termos acesso a isso é ótimo.
Mas parem de liberar dados em PDF,
ou nossos cidadãos vão
ter de extrair dados de PDF.
Isso é desperdício
do tempo dos cidadãos,
e a prefeitura pode fazer melhor que isso.
Bem, a boa notícia
é que a administração Blasio
liberou esses dados poucos meses atrás,
e agora então podemos de fato acessá-los,
mas ainda há uma porção
de dados escondidos em PDF.
Por exemplo, nossos dados criminais
estão disponíveis apenas em PDF.
E não apenas os dados criminais,
o próprio orçamento do município.
Nosso orçamento está disponível
apenas no formato PDF.
Não somos os únicos
a não conseguir analisá-los.
Nossos próprios legisladores,
que votam o orçamento,
também apenas o acessam em PDF.
Daí, nossos legisladores não conseguem
analisar o orçamento que estão votando.
E acho que a cidade pode fazer
um pouco melhor que isso.
Mas há uma porção de dados
não escondidos em PDFs.
Eis um exemplo de um mapa que fiz
com as hidrovias mais sujas de Nova York.
Bem, como medi essa sujeira?
Foi de um jeito um pouco estranho,
mas olhei o nível dos coliformes fecais,
que é uma medida da matéria fecal
em cada uma das nossas hidrovias.
Quanto maior o círculo,
mais suja é a água.
Assim, os círculos grandes são água suja,
e os menores, água mais limpa.
O que veem são hidrovias internas.
Dados que foram coletados pela prefeitura
nos últimos cinco anos.
E as hidrovias internas são,
em geral, mais sujas.
Faz sentido, não é mesmo?
E aprendi umas coisas com isso.
Primeira, nunca nadem em algo
que termine com "creek" ou "canal".
Segundo, também descobri
a hidrovia mais suja de Nova York
por essa medida, uma medida.
Em Coney Island Creek,
não a Coney Island onde nadam,
felizmente, mas do outro lado,
vi que 94% das amostras coletadas
lá nos últimos cinco anos
tinham níveis fecais tão altos
que deveria ser ilegal nadar naquela água.
E esse não é o tipo de fato propalado
num relatório municipal, né?
Não vai estar na capa página do NYC.gov.
Não vão ver isso lá,
mas o fato de podermos
acessar esses dados é incrível.
Mas, repito, não foi superfácil,
pois não estavam
no portal de dados abertos.
No portal de dados abertos, havia apenas
parte deles, um ano ou poucos meses.
Eles estavam no site
da Secretaria do Meio Ambiente.
E cada um desses links é uma planilha
Excel, e cada planilha é diferente.
Cada cabeçalho é diferente:
você copia, cola, reorganiza.
E aí pode fazer mapas, o que é ótimo,
mas a cidade pode fazer melhor,
padronizando os dados.
E estamos chegando lá, pois
há este site feito pela Socrata,
chamado Open Data Portal NYC.
Aqui é onde ficam 1,1 mil arquivos
sem esses problemas que mencionei,
e esse número está
crescendo, o que é ótimo.
Vocês podem baixar dados
em qualquer formato, CSV, PDF ou Excel.
O que quiserem, podem baixar
do jeito que acharem melhor.
O problema é que, uma vez feito isso,
vão descobrir que cada órgão codifica
os endereços de forma diferente.
Assim, podemos ter
nome da rua, cruzamento,
rua, bairro, endereço, edifício,
endereço do prédio.
Então, mesmo tendo o portal,
gasta-se tempo padronizando
nossos campos de endereço.
E essa não é a melhor forma
de usarmos nosso tempo.
Podemos fazer melhor como cidade.
Podemos padronizar nossos endereços
e, assim, vamos ter mais mapas como este.
Este é um mapa de hidrantes de Nova York,
mas não de quaisquer hidrantes.
Estes são os 250 hidrantes
campeões de multas de trânsito.
(Risos)
Assim, aprendi algumas
coisas com este mapa.
Primeiro, não estacione
no Upper East Side.
De jeito nenhum; não importa onde
parar, vai levar uma multa de hidrante.
Segundo, descobri os hidrantes
campeões de multa em Nova York.
Eles estão no Lower East Side
e arrecadam mais de US$ 55 mil por ano
em multa por estacionar em local proibido.
E achei estranho quando vi isso.
Então pesquisei um pouco mais,
e acontece que há um hidrante
e algo chamado extensão da calçada,
um lugar de uns 2m para se andar,
e depois um lugar para estacionar.
Então os carros chegam e veem o hidrante:
"A vaga vai até lá, estou bem".
Na verdade, a vaga está
lá demarcada bonitinha.
Daí, estacionam ali, mas a polícia
discorda dessa marcação, e multa.
E não fui o único a levar uma multa.
Vejam só o carro do Street View do Google
ali com a mesma multa de trânsito.
Daí, escrevi sobre isso no meu blog,
I Quant NY, e o DOT respondeu, dizendo:
"Apesar de o DOT não ter recebido
qualquer reclamação sobre esse lugar,
vamos rever a marcação na pista
e fazer as alterações necessárias".
E pensei cá comigo:
"Resposta típica do governo,
tudo bem, vou cuidar da minha vida".
Mas, poucas semanas depois,
algo incrível aconteceu.
Repintaram o lugar,
e por um segundo vislumbrei
o futuro dos dados abertos,
pois vejam só o que aconteceu aqui.
Durante cinco anos, levamos multas
nesse lugar, pois era confuso,
e daí um cidadão descobriu isso,
avisou à prefeitura e, em poucas semanas,
o problema foi resolvido. Incrível!
E há quem veja isso como um fiscal.
Não é, tem a ver com parceria.
Empoderar os cidadãos para serem
melhores parceiros do governo.
E não é tão difícil assim,
só precisamos de algumas mudanças.
Se camuflarem os dados, e os cidadãos
tiverem todas as vezes de requisitá-los,
melhor liberá-los, é sinal de que é
preciso torná-los públicos.
E, se você é um órgão do governo
liberando um PDF,
vamos aprovar legislação que exija
publicar isso com os dados originais,
pois esses dados vêm de algum lugar,
não sei de onde, mas vêm,
e depois podem publicá-los em PDF.
E vamos adotar e compartilhar
padrões de dados abertos,
começando com nossos
endereços aqui em Nova York.
Vamos padronizar nossos endereços,
pois somos referência em dados abertos.
Apesar desses problemas,
somos líderes absolutos nisso.
Se estabelecermos um padrão
para os dados, outros vão nos seguir.
O estado vai seguir,
talvez o governo federal.
Sei que parece loucura,
mas outros países poderão seguir,
e não estamos tão longe assim
de escrever um programa
para mapear informação de 100 países.
Não é ficção científica; estamos
bem perto disso na verdade.
E, a propósito, quem estamos
empoderando com isso?
Não é apenas John Krauss ou Chris Whong.
Há centenas de "meetups" acontecendo
em Nova York agora mesmo.
"Meetups" ativos, com milhares
de pessoas participando
depois do trabalho e nos finais de semana,
analisando dados abertos,
para tornar nossa cidade um lugar melhor.
Grupos como BetaNYC, que semana
passada lançou o citygram.nyc,
que dá acesso às reclamações feitas
no site da prefeitura, por região.
É só colocar o endereço
e acessar as reclamações.
E não é apenas a comunidade tecnológica
que está atrás dessas coisas.
São os gestores urbanos,
como meus alunos em Pratt.
Agentes de políticas públicas, todo mundo,
cidadãos de diversos segmentos.
E, com algumas mudanças
pequenas, graduais,
podemos estimular a paixão
e a habilidade de nossos cidadãos
para usar dados abertos
e fazer nossa cidade ainda melhor,
seja com um conjunto de dados,
ou com um lugar para estacionar.
Obrigado.
(Aplausos)
9600 kilometara puteva,
960 kilometara podzemne železnice,
640 kilometara staza za bicikl
i 800 metara tramvajskih šina,
ako ste ikada bili na ostrvu Ruzvelt.
Ovo su brojke koje čine
infrastrukturu Njujorka.
Ovo je statistika naše infrastrukture.
Ovakve brojke možete naći objavljene
u izveštajima gradskih agencija.
Na primer, Odsek za transport
će vam verovatno reći
koliko kilometara puteva održavaju.
Uprava transporta Metropolitena
pohvaliće se koliko pruge postoji.
Većina gradskih agencija daje statistiku.
Ovo je izveštaj za ovu godinu
od Komisije za taksije i limuzine
iz kog vidimo da postoji
13 500 taksija u Njujorku.
Interesantno, zar ne?
Da li ste razmišljali odakle ove brojke?
Kako bi ove brojke postojale,
neko iz gradske agencije
mora da zastane i kaže
da je ovo broj koji neko želi da zna.
Ovo je broj koji naši građani žele.
Hajde da se vratimo sirovim podacima
koje oni broje, dodaju, proračunavaju
i onda objave izveštaje,
a u tim izveštajima se nalaze
ovakve brojke.
Problem je u tome,
kako oni znaju sva naša pitanja?
Imamo ih mnogo.
U stvari, na neki način postoji
neograničen broj pitanja
koja postavljamo o našem gradu.
Agencije nas ne mogu ispratiti.
Tako da paradigma ne radi kako treba
i zakonodavci shvataju to
zato što je u 2012. gradonačelnik Blumberg
potpisao zakon koji on zove
najambicioznijim i najobuhvatnijim
zakonodavnim aktom o podacima u zemlji.
On je u pravu na mnogo načina.
U poslednje dve godine,
grad je objavio 1000 skupova datoteka
na otvorenom portalu za podatke,
što je zaista odlično.
Tako da možete pogledati ovakav podatak
i umesto brojanja taksija,
možemo postavljati različita pitanja.
Tako da ja imam pitanje.
Kada je najveća gužva u Njujorku?
Krajnje napadno pitanje.
Kada je tačno najveća gužva?
I kažem sebi onda da
ovi taksiji nisu samo brojke,
to su GPS odašiljači
koji voze našim ulicama
snimajući svaku svoju vožnju.
Postoje podaci
i ja sam pregledao te spise,
napravivši proračun
prosečne brzine taksista
tokom dana u Njujorku.
Možete videti da od ponoći
do oko 5:18 ujutru
brzina raste i da se nakon toga
stvari menjaju
i sve postaje sporije i sporije
do oko 8:35 ujutru
kada voze oko 17 kilometara na čas.
Prosečan taksi vozi tom brzinom
po gradskim ulicama.
Ispadne da ostane pri toj brzini
tokom celog dana.
(Smeh)
Kako sam kazao, izgleda da nema
saobraćajnog špica u Njujorku.
Postoji samo dnevni špic.
(Smeh)
To ima smisla
i to je važno iz više razloga.
Ukoliko ste organizator transporta,
važno je da ovo znate.
Ali ako treba negde brzo da stignete,
sada znate da treba da namestite
alarm na 4:45 ujutru i na konju ste.
Njujork, zar ne?
Ali postoji priča iza toga.
Ispostavlja se da podaci
nisu bili prosto dostupni.
To je pošlo od nečega što se zove
Zahtev za zakon o slobodi informacija,
ili FOIL zahtev.
Ovaj formular možete naći na stranici
Komisije za taksije i limuzine.
Kako biste dobili pristup podacima,
potrebno vam je ovo.
Popunite i obavestiće vas.
Tip po imenu Kris Vong je to uradio.
Kris je tamo otišao i rekli su mu:
"Donesite nov hard disk u kancelariju,
ostavite ga na pet sati
i prebacićemo vam te podatke."
Eto odakle ovi podaci.
Sad, Kris je osoba
koja je htela da ih objavi
i tako su oni osvanuli na internetu
i eto odakle je ovaj grafikon.
Činjenica da postoji je neverovatna.
Ovi GPS prijemnici - stvarno sjajno.
Ali sama činjenica da građani nose diskove
i grabe podatke od agencija da
bi ih objavili -
već su nekako ti podaci javni,
možete do njih doći,
ali te nisu javni, te jesu.
Ali možemo više učiniti kao grad.
Ne moraju naši građani
da šetaju okolo sa hard diskovima.
Sad, nije sve obuhvaćeno
FOIL inicijativom.
Evo mape najopasnijih
njujorških raskrsnica
na osnovu nesreća biciklista.
Crvene zone su najopasnije.
Mapa pokazuje istočnu stranu Menhetna,
posebno donje delove u kojima su
biciklističke nesreće češće.
To ima smisla
zato što ima više biciklista
koji prelaze mostove tamo.
Ali vredi proučiti ključne tačke.
To je Vilijamzburg,
to je Ruzveltova avenija u Kvinsu.
To je vrsta podataka
potrebna za Nultu viziju.
To je ono što upravo tražimo.
Ali postoji priča iza tih podataka.
Ti se podaci nisu sami pojavili.
Koliko vas poznaje ovaj logo?
Da, vidim neke podignute ruke.
Da li ste ikada pokušali da iskopirate
nešto iz PDF-a
i dešifrujete to?
Sad vidim više ruku.
Više vas je nešto kopiralo nego što
prepoznaje logo. To mi se sviđa.
Podaci koje ste upravo videli su
smešteni u PDF-u.
U stvari, stotine i stotine stranica
u PDF-u koje je naša policija objavila
a kako bi im pristupili,
ili morate da kopirate i lepite
stotinama sati
ili biste mogli biti Džon Kraus.
Džon Kraus nije hteo
da kopira podatke.
On je napisao program.
Zove se NYPD Crash Data Band-Aid
i odlazi na sajt policije
kako bi preuzeo PDF datoteke.
Svakog dana bi pretraživao,
našao PDF fajl i preuzeo ga.
Zatim bi pokrenuo neki program
koji otvara PDF
i ostavlja čisti tekst.
Potom bi podatke objavio na internetu
da bi ljudi mogli praviti ovakve mape.
Činjenica da imamo podatke ovde
i da im možemo pristupiti -
usput, svaka nesreća je kolona
u ovoj tabeli.
Možete zamisliti koliko je to fajlova.
Sjajno je što možemo da im pristupimo,
ali hajde da ne budu u PDF-formatu,
zato što onda građani moraju
da programiraju čitače.
Nije dobro da građani gube vreme,
a mi kao grad možemo bolje od toga.
Sad, dobre su vesti da je
administracija De Blazija
objavila podatke pre nekoliko meseci,
tako da im sad možemo pristupiti,
mada je velika količina podataka
i dalje zaglavljena u PDF-u.
Na primer, podaci o stopi kriminala
su i dalje u tom formatu.
Ne samo ti podaci,
već i naš budžet.
Podaci o budžetu su dostupni
samo u PDF formatu.
Nismo samo mi ti koji ga
ne mogu analizirati,
već i naši zakonodavci koji su
glasali za njega,
mogu ga dobiti samo u PDF-u.
Tako naši zakonodavci ne mogu
analizirati budžet koji treba da donesu.
Smatram da mi kao grad možemo učiniti
nešto bolje od toga.
Sad, postoje brojni podaci koji nisu
skriveni u PDF-u.
Primer toga je mapa koju sam izradio.
Ovo je jedan od najprljavijih
njujorških kanala.
Kako da izmerim prljavštinu?
Pomalo je čudno,
ali kada pogledam nivo
fekalnog koliforma
koji je mera fekalnog otpada
u svakom našem kanalu.
Što je veći krug, to je prljavija voda.
Tako da je u velikim krugovima
prljava voda, dok su mali čistiji.
Ovo što vidite su kanali u unutrašnjosti.
Grad je ove podatke pet godina prikupljao.
Kanali u unutrašnjosti su
uglavnom prljaviji.
Ima smisla, zar ne?
Iz toga sam naučio nekoliko stvari.
Prvo, nikad ne plivajte u onom što
se naziva potokom ili kanalom.
Drugo, pronašao sam
najprljaviji njujorški kanal
ovim merenjem, samo jednim merenjem.
Radi se o Koni Ajlend Kriku,
što nije srećom
Koni Ajlend u kom plivate.
Ovaj je na drugoj strani.
Ali na prvom je 94% uzoraka
uzetih tokom pet godina
imalo tako visok nivo fekalija
da bi po državnom zakonu bilo
ilegalno plivati u toj vodi.
Ovakav podatak neće biti
naduvan u gradskom izveštaju,
neće biti na prvoj stranici nyc.gov.
Nećete ih tamo videti,
ali činjenica da možemo da dođemo
do tih podataka je sjajna.
Ali da kažem ponovo, to nije prelako
zato što ovi podaci nisu
u javnoj bazi podataka.
Kada biste otvorili javnu bazu podataka,
to je samo mali deo njih,
godina ili par meseci.
Bili su u stvari na sajtu
Odseka za zaštitu okoline.
Svaki od ovih linkova je tabela u Ekselu,
a svaka Eksel tabela je drugačija.
Svaki naslov je različit: kopirate ga,
prenosite, reorganizujete.
Super je kada to radite i pravite mape,
ali još jednom,
mi to možemo bolje kao grad,
mi možemo normalizovati stvari.
Mi dostižemo to zato što postoji sajt
koji je Sokrata napravila
i koji se zove Otvoreni portal Njujorka.
Ovo je bilo 1100 datoteka koje ne pate
od stvari koje sam ovde naveo,
a taj broj raste, što je odlično.
Možete preuzeti podatke u bilo kom formatu
poput CSV-a, PDF-a ili Eksela.
Šta god želeli, možete
preuzeti podatke na taj način.
Problem je što kada to uradite,
otkrićete da svaka agencija drukčije
kodira svoje adrese.
Tako da je jedno naziv ulice, raskrsnice,
opštine, adrese zgrade.
Još jednom trošite vreme
čak i kada imate ovaj portal,
trošite vreme sređujući adrese.
A to nije najprikladnije trošenje
vremena građana.
Možemo to bolje uraditi kao grad.
Možemo standardizovati adrese.
Ako to uradimo, dobićemo ovakve mape.
Ovo je mapa njujorških
nadzemnih hidranata,
ali ne bilo kakvih nadzemnih hidranata.
Ovo su 250 najboljih hidranata
što se tiče plaćanja kazni za parking.
(Smeh)
Naučio sam nekoliko stvari sa ove mape.
Pod jedan: ne parkirajte se na Aper Istu.
Jednostavno nemojte. Gde god se
vi parkirali, dobićete kartu za hidrante.
Pod dva: pronašao sam dva
najprofitnija njujorška hidranta,
a oni su na nižem Ist Sajdu.
Donose više od 55 000 dolara godišnje
naplatom parkinga.
Delovalo mi je čudno
kada sam to primetio,
tako da sam malo kopao
i ispalo je da postoji hidrant
i proširenje za parkiranje
što je oko 2 metra prostora za hodanje,
i mesto za parkiranje.
Tako su se pojavili ovi automobili,
a hidrant -
"Ima mesta ovde koliko hoćete,
meni je ok",
dok u stvari za automobile postoji
obeleženo mesto za parkiranje.
Tamo bi parkirali, dok se policija
sa tim ne bi složila
i naplatila im kaznu.
Nisam samo ja bio taj
koji je pronašao kaznu za parking.
Ovde je Guglov automobil koji prolazi
i nalazi istu kaznu za parking.
O ovome sam pisao na svom blogu,
I Quant NY, i Odeljenje za saobraćaj
je odgovorilo i rekli su:
"Iako Odeljenje za saobraćaj nije dobilo
nikakve zvanične žalbe za ovu lokaciju,
razmotrićemo oznake na putu
i napraviti neophodne izmene."
Pomislio sam da je to
tipičan odgovor vlasti,
i nastavio sam sa svojim životom.
Ali nekoliko nedelja kasnije,
desilo se nešto neverovatno.
Prefarbali su to mesto
i na sekund sam pomislio da sam video
budućnost otvorenih podataka,
jer razmislite o tome šta se ovde desilo.
Godinama su se na ovom mestu
naplaćivale kazne i bilo je zbunjujuće,
a onda je građanin otkrio nešto,
to rekao gradu i za nekoliko nedelja
problem je bio rešen.
To je neverovatno.
Dosta ljudi vidi otvorene podatke
kao vrstu čuvara.
Ne radi se o tome, već o partnerstvu.
Možemo osnažiti svoje građane
da budu bolji partneri vladi
i to nije tako teško.
Samo je potrebno nekoliko promena.
Ukoliko zahtevate podatke,
ukoliko vidite da ljudi stalno
od vas zahtevaju podatke,
to je znak da treba da budu javni.
A ako ste javna agencija
koja postavlja PDF dokument,
donesimo zakon koji zahteva od vas
da ga postavite sa pratećim podacima
zato što ti podaci dolaze odnekud.
Ne znam odakle, ali odnekud
i možete ih postaviti sa PDF-om.
I hajde da usvojimo i delimo
neke standarde o otvorenim podacima.
Počnimo sa adresama ovde u Njujorku.
Počnimo samo da normalizujemo
naše adrese.
Njujork vodi
što se tiče otvorenih podataka.
Uprkos svemu, mi smo na vrhu
što se tiče otvorenih podataka
i ako počnemo da normalizujemo stvari
i odredimo standard za otvorene podatke,
drugi će nas pratiti.
Država, a možda i savezna vlada.
Mogle bi da nas prate i druge države
i nismo tako daleko od vremena
gde biste mogli da napišete program
i mapirate informacije iz 100 država.
To nije naučna fantastika.
Zapravo smo veoma blizu.
Usput, koga osnažujemo ovim?
Nisu to samo Džon Kraus i Kris Vong.
Postoji stotine sastanaka
koji se sada dešavaju u Njujorku,
aktivnih sastanaka.
Postoji hiljade ljudi koji posećuju
ove sastanke.
Ti ljudi dolaze nakon posla
i tokom vikenda
i posećuju ove sastanke
da bi videli velike podatke
i načinili naš grad boljim mestom.
Grupe poput BetaNYC, koja je
prošle nedelje objavila citygram.nyc
koji vam omogućava da se pretplatite
na servis za žalbe
oko vašeg doma ili kancelarije.
Ukucate svoju adresu,
dobijete lokalne žalbe.
Nije samo zajednica informatičara
koja je uključena ovde.
Tu su i arhitekte, poput studenata
kojima predajem na Pretu.
To su pravni zastupnici, to su svi,
građani iz raznih pozadina.
I uz male, postepene promene,
možemo osloboditi strast
i mogućnosti naših građana
da iskoriste otvorene podatke
i načine naš grad još boljim,
bez obzira da li je to jedan po jedan
komplet podataka ili po parking mesto.
Hvala vam.
(Aplauz)