Six thousand miles of road,
600 miles of subway track,
400 miles of bike lanes,
and a half a mile of tram track,
if you've ever been to Roosevelt Island.
These are the numbers that make up the infrastructure of NYC,
these are the statistics of our infrastructure.
They're the kind of numbers released in reports by city agencies.
For example, the Department of Transportation will probably tell you
how many miles of road they maintain.
The MTA will boast how many miles of subway track there are.
But most city agencies give us statistics.
This is from a report this year from the Taxi & Limousine Commission,
where we've learned that there is about 13,500 taxis here in NYC.
Pretty interesting, right?
But did you ever think about where these numbers came from?
Because for these numbers to exist somebody at the city agency
has to stop and say hmm, here's a number that somebody might want to know.
Here's a number that our citizens want to know.
So they go back to their raw data,
they count, they add, they calculate,
and then they put out reports.
And those reports will have numbers like this.
The problem is, how do they know all of our questions?
We have lots of questions.
In fact, in some ways there's literally an infinite number of questions
that we can ask about our city.
So the agencies can never keep up.
So the paradigm isn't exactly working
and I think our policy makers realize that
because in 2012, Mayor Bloomberg signed into law what he called
the most ambitious and comprehensive open data legislation in the country.
In a lot of ways he's right.
In the last two years the city's released 1,000 data sets on our open data portal
and, it's pretty awesome.
You look at data like this,
and instead of counting the number of cabs,
we can start to ask different questions.
So I had a question: When is rush hour in NYC?
It can be pretty bothersome. When is rush hour exactly?
And I thought to myself, these cabs aren't just numbers,
these are GPS recorders driving around in our city's streets recording
each and every right they take.
There's data there.
And I looked at that data and I made a plot
of the average speed of taxis in NYC throughout the day.
You can see that from around midnight to around 5:18 AM, speed increases,
and at that point, things turn around.
They get slower, slower and slower until about 8:35 AM
when they end up at 11.5 mph.
The average taxi is going at 11.5 mph in our city streets,
and it turns out it stays that way
for the entire day.
(Laughter)
So I said to myself, I guess there's no rush hour in NYC,
there's just a "rush day."
(Laughter)
Makes sense.
This is important for a couple of reasons.
If you are a transportation planner, this might be pretty interesting to know.
But if you want to get somewhere quickly
you now know to set your alarm for 4:45 AM and you're all set.
New York, right?
But there's story behind this data,
it wasn't just available as it turns out.
It actually came from something called a Freedom of Information Law Request,
or a FOIL Request.
This is a form you can find on the Taxi & Limousine Commission website.
In order to access this data, you need to go get this form,
fill it out, and they will notify you.
And a guy name Chris Whong did exactly that.
Chris went down and they told him,
"Just bring a brand new hard drive to our office,
leave it here for 5 hours, we'll copy the data and you take it back."
And that's where this data came from.
Now, Chris is the kind of guy that wants to make the data public,
so it ended up online for all to use and that's where this graph came from.
And the fact that it exists is amazing.
These GPS recorders - really cool!
But the fact that we have citizens walking around with hard drives
picking up data from city agencies to make it public -
it was already kind of public, you could get to it,
but it was "public", it wasn't public.
And we can do better than that as a city,
we don't need our citizens walking around with hard drives.
Now, not every dataset is behind a FOIL request.
Here's a map I made with the most dangerous intersections in NYC
based on cyclist accidents.
So the red areas are more dangerous.
What it shows is first the East side of Manhattan,
especially in the lower area of Manhattan, has more cycle accidents.
That might makes sense
because there are more cyclist coming off the bridges over there.
But there's other hotspots worth studying.
There's Williamsburg. There's Roosevelt Avenue in Queens.
This is exactly the type of data we need for vision zero.
This is exactly what we're looking for.
But there's story behind this data as well.
This data didn't just appear.
How many of you guys know this logo?
Yeah, I see some shakes.
Have you ever tried to copy and paste data out of a PDF
and make sense of it?
I see more shakes.
More of you tried to copying and pasting than knew the logo. I like that.
What happen is, the data that you just saw was actually on a PDF.
In fact, hundreds, and hundreds, of pages of PDF put out by our own NYPD,
and in order to access it,
you either have to copy and paste for hundred and hundred of hours,
or you could be John Krauss.
John Krauss is like,
I'm not going to copy and paste this data, I'm going to write a program.
It's called the NYPD Crash Data Band-Aid.
And it goes to the NYPD's website and it would download PDFs.
Every day with it would search;
if it found a PDF, it would download it,
and it would run some PDF-scraping program,
and out would come the text
and it would go on the Internet, and people could make maps like that.
And the fact that the data is here, that we can have access to it -
every accident, by the way, is a row on this table.
You can imagine how many PDF that is.
The fact that we have access to that is great.
But let's not release it in PDF form.
Because then we're having our citizens write PDF scrapers.
It's not the best use of our citizens' time,
and we, as a city, can do better than that.
The good news is that the de Blasio Administration
actually released this data a few months ago,
so now, we can have access to it.
But there's a lot of data still entombed in PDF.
For example our crime data, still is only available in PDF.
And not just our crime data,
our own city budget.
Our city budget is only readable right now in PDF form.
And it's not just us that can't analyze it -
our own legislators who vote for the budget,
also only get it in PDF.
So our legislators cannot analyze the budget that they are voting for.
And I think as a city we can do a little better than that as well.
Now, there's a lot of data that's not hidden in PDFs.
This is an example of a map I made.
And this is the dirtiest waterways in NYC.
How do I measure dirty?
Well, it's kind of a little weird,
but I looked at the level of fecal coliform,
which is a measurement of fecal matter in each of our waterways.
The larger the circle, the dirtier the water.
The large circles are dirty waters, the smaller circles are cleaner.
What you see is inland waterways.
This is all data that was sampled by the city over the last 5 years.
And inland waterways are, in general, dirtier.
That makes sense, right?
And I learned a few things from this.
Number 1: never swim in anything that ends in creek or canal.
Number 2: I also found the dirtiest waterways in New York City
by this measure, one measure.
In Coney Island Creek,
which is not Coney Island you swim in, luckily, it's on the other side.
But Coney Island Creek, 94% of samples taken over the last 5 years
have had fecal levels so high,
that it would be against state law to swim in the water.
And this is not the kind of fact that you're going to see
boasted in a city report or on the front page of nyc.gov.
You're not going to see it there,
but the fact that we can get to that data, is awesome.
Once again, it wasn't super easy,
because this data was not on the open data portal.
If you were to go to the open data portal,
you'd see just a snippet of it, a year or a few months.
It was actually on the Department of Environmental Protection's website.
Each one of these links is an Excel sheet, and this Excel sheet is different.
Every heading is different: you copy, paste, reorganize.
When you do you can make maps and that's great, but once again,
we can do better than that as a city, we can normalize things.
We're getting there because there's this website that Socrata makes,
called the Open Data Portal NYC.
This is where 1100 data sets, that don't suffer
from the things I told you live,
and that number is growing, and that's great.
You can download data in any format, be it CSV or PDF or Excel document.
Whatever you want, you can download the data that way.
The problem is, once you do,
you'll find that each agency codes their addresses differently.
So, one is street name, intersection street,
street, borough, address building, building, address.
So, once again, you're spending time, even when we have this portal,
you're spending time normalizing our address field.
I think that's not the best use of our citizens' time,
we can do better than that as a city.
We can standardize our addresses.
If we do, we can get more maps like this.
This is a map of fire hydrants in New York City.
But not just any fire hydrant.
These are the top 250 grossing fire hydrants
in terms of parking tickets.
(Laughter)
So I learned a few things from this map.
Number 1: just don't park on the Upper East side.
Just don't. No matter where you park, you will get a hydrant ticket.
Number 2: I found the two highest grossing hydrants in all of New York City.
They are on the Lower East side,
and they are bringing in over 55,000 dollars a year in parking tickets.
And that seemed a little strange to me when I noticed it,
so I did a little digging, and it turns out
what you had is a hydrant and something called a curb extension,
which is like a seven-foot space to walk on,
and then a parking spot.
So these cars came along and the hydrant -
"It's all the way over there, I'm fine,"
and there was actually a parking spot painted there beautifully for them.
They would park there and the NYPD disagree with the designation,
and would ticket them.
And it wasn't just me who found a parking ticket.
This is the Google street view car driving by, finding same parking ticket.
So I wrote about this on my blog, on I Quant NY,
and the DOT responded and they said,
"While the DOT has not received any complaints about this location,
we will review the roadway markings and make any appropriate alterations."
I thought to myself, you know, typical government response,
all right, moved on with my life.
But then, a few weeks later, something incredible happened.
They repainted the spot.
And for a second I thought I saw the future of open data
because think about what happened here.
For five years, this spot was being ticketed, and it was confusing.
And then a citizen found something, they told the city and within a few weeks,
the problem was fixed. It's amazing.
A lot of people see open data as being a watch dog, it's not.
It's about being a partner.
We can empower our citizens to be better partners for government,
and it's not that hard.
All we need are a few changes.
If you're FOILing data,
if you seeing your data being FOILed over and over again,
let's release it to the public, that's a sign that it should be made public.
And if you're a government agency releasing a PDF,
let's pass a legislation that requires you to post it with your underlying data,
because that data is coming from somewhere.
I don't know where, but you can release it with the PDF.
And let's adopt and share some open data standards.
Let's start with our addresses here in New York City.
Let's just start normalizing our addresses.
Because New York is a leader in open data.
Despite all this, we're absolutely a leader in open data,
and if we start normalizing things, and set an open data standard,
others will follow.
The state will follow, maybe the federal government,
other countries could follow,
and we're not that far off from a time where you can write one program
and map information from a 100 countries.
It's not science fiction, we're actually quite close.
And by the way, who are we empowering with this?
Because it's not just John Krauss, it's not just Chris Whong.
There are hundred of meetups going around in New York City right now,
active meetups.
There are thousands of people attending these meetups.
These people are going after work and on weekends,
and they're attending these meetups to look at open data,
and make our city a better place.
Groups like BetaNYC who just last week, released something called citygram.nyc
that allows you to subscribe to 311 complaints
around your own home, or around your office.
You put in your address, you get local complaints.
And it's not just the tech community that are after these things.
It's urban planners like the students I teach at Pratt.
It's policy advocates, it's everyone,
it's citizens from a diverse set of backgrounds.
And with some small incremental changes,
we can unlock the passion and the ability of our citizens
to harness open data and make our city even better,
whether is one data set or one parking spot at a time.
Thank you.
(Applause)
ستة آلاف ميل من الطرق
ستمائة ميل من سكك قطارات الأنفاق
أربعمائة ميل من طرق الدراجات
ونصف ميل من سكة الترام...
إذا زرت (جزيرة روزفيلت) من قبل
هذه الأرقام التي تشكل البنية التحتية لمدينة نيويورك
هذه هي إحصائات البنية التحتية لمدينتنا
وهي الأرقام التي تَنشر في التقارير الحكومية
مثلاً مكتب المواصلات قد يخبرك
عدد الأميال من الطرق التي تتم صيانتها
إدارة النقل ستتفاخر بطول سكة الأنفاق
معظم إدارات المدينة تزودنا بالإحصاءات
هذا من تقرير السنة الحالية
من لجنة سيارات الأجرة
حيث نجد ان هنالك حوالي 13,500 سيارة أجرة
هنا في نيويورك
مثير للإهتمام, صحيح؟
لكن هل تساءلت عن مصدر هذه الأرقام؟
حتى تستنتج هذه الأرقام
لابد لشخص ما في مكتب المدينة قال
"هممم, هذا رقم قد يرغب البعض بمعرفته
هذا رقم يود مواطنونا معرفته"
فهم يعودون للبيانات الأولية
يحصون ويضيفون و يحسبون
ثم يحررون التقارير
وهذه التقارير تحوي أرقاماً كهذه
المشكلة هي كيف يعلمون بكل أسئلتنا
ولدينا الكثير من الأسئلة
هناك في الحقيقة بشكل ما
عدد لانهائي لأسئلة يمكن أن نسألها عن مدينتا
لذلك لا يمكن للإدارات مجاراتها
إذاً هذا النموذج غير ناجح
واعتقد أن صانعي القرار يعلمون ذلك لأنه
في عام ٢٠١٢ وقع العمدة (بلومبيرج) قانون ما سماه
تشريع البيانات المفتوحة الأكثر طموحا وشمولا في البلد
ومن عدة نواحي هو على حق
في السنتين الماضيتين نشرت المدينة
1000 مجموعة بيانات في بوابة البيانات
وهو شيء رائع جداً
فترى هذه البيانات ليس لعد سيارات الأجرة
يمكننا أن نسأل أسئلة مختلفة
خطر لي سؤال:
متى تكون ساعة الذروة في نيويورك؟
وهو ماقد يزعج البعض متى ساعة الذروة بالضبط؟
وفكرت بداخلي سيارات الاجرة ليست مجرد أرقام
هذه خرائط ملاحة لمساراتهم في شوارع مدينتنا
سجلات تحوي كل طريق يسلكونه
توجد بيانات هنا، وانا انظر الى تلك البيانات
ودونت معدل سرعة سيارة الاجرة في مدينة نيويورك طوال اليوم
تشاهدون أنه تقريبا من منتصف الليل الى ٥:١٨ صباحا
تزداد السرعة، وعند هذه النقطة، حيث تنعكس القراءة
حيث تقل السرعة تدريجياً حتى ٨:٣٥ صباحاً
حيث يقل المعدل ليصل إلى ١١,٥ ميل/الساعة
متوسط سرعة سيارات الأجرة في شوارع مدينتا هو ١١,٥ ميل
ويتضح أن ذلك المعدل يبقى ثابتاً
لباقي اليوم.
(ضحك)
قلت لنفسي أعتقد أنه لا توجد
ساعة ذروة في نيويورك.
هناك يوم الذروة.
ذلك منطقي. وهذا شيْ ضروري لسببين.
لو كنت مسؤول تخطيط في النقل سيبدو ذلك مهماً لمعرفته.
ولكن إذا أردت الذهاب سريعاً لمكان ما،
الآن تعرف أنه يجب ضبط المنبه الساعة ٤:٤٥ صباحاً لتكون مستعداً
نيويورك, أليس كذلك؟
ولكن هناك قصة خلف هذه البيانات.
هذه المعلومات ليست متوفرة فقط لذلك.
هذه البيانات أتت من قانون طلب تحرير المعلومات
أو يختصر FOIL
هذا نموذج متوفرعلى موقع لجنة سيارات الأجرة والليموزين.
لتحصل على معلومات كهذه يجب عليك بملء هذاالنموذج
وتقديم الطلب، وهم سيبلغونك لاحقاً.
وهناك شاب أسمه (كريس وونق) قام تماماً بذلك.
(كريس) قدم الطلب وردوا عليه:
"أحضر محرك أقراص صلبة إلى مكتبنا
أترك المحرك لمدة ٥ ساعات، سنقوم بنسخ البيانات
ثم سوف تسترد المحرك".
ومن هنا, أتت هذه البيانات.
كريس هو ممن يريد أن يتيح هذه البيانات للعامة.
فقام بنشر هذه البيانات على الأنترنت للعامة
ومنها تم رسم هذا التخطيط.
كون هذه المعلومات متاحة شيء مذهل.
مسجلات المواقع GPS .. رائعة.
ولكن كون مواطنين يتجولون حاملين أقراص صلبه,
ثم يطلبون البيانات من المدينة لنشرها للعامة,
والتي أساسا هي بيانات عامة يمكنك الوصول إليها،
ولكنها "عامة", ولكن ليس تماماً.
ونستطيع تقديم أفضل من ذلك كمدينة.
لا نحتاج إلى مواطنينا أن يحملوا أقراص صلبة.
الآن، ليست كل البيانات متاحة من خلال نموذج الطلب FOIL
هنا خريطة قمت بإنشائها توضح
أكثر التقاطعات خطورة في نيويورك
من حيث حوادث الدراجات الهوائية.
حيث النقاط الحمراء هي الأكثر خطورة.
وكما ترون، الجانب الشرقي من "مانهاتن"
خصوصا الجانب السفلي من "مانهاتن"
يحوي الجزء الأكبر من حوادث الدراجات.
يبدو ذلك منطقياً.
لأن هناك دراجات أكثر تعبر الجسور هناك.
ولكن هناك نقطة حرجة أخرى تستحق الدراسة.
هنا في "ويليامسبيرق" وجادة "روزفيلت"
وهذا تحديداً مانحتاجه كرؤية مبدئية.
وهذا تماماً ما نبحث عنه.
وأيضاً توجد قصة لهذه البيانات كذلك.
هذه البيانات لم تظهر بالصدفة.
من يعرف هذا الشعار؟
نعم, أرى البعض يهزء رأسه موافقاً.
هل حاولت نسخ ولصق بيانات من ملف PDF
لتعرضها بشكل منطقي أكثر؟.
أرى المزيد ممن يوافق.
من استخراج بيانات أكثر
ممن عرف الشعار.
ما حصل هو أن البيانات التي رأيتموها
كانت موجوده في ملف PDF.
المئات والمئات من صفحات ملفات PDF
يتم نشرها بواسطة قسم شرطة نيوروك لوحده.
وحتى تحصل عليها, أما عليك النسخ واللصق
لعدة مئات من الساعات.
أو يمكنكم أن تكونوا "جوهن كراوس".
جون كراوس قال أنه لن يقوم بنسخ ولصق
هذه البيانات, ولكن سأقوم بانشاء تطبيق
إسمه المساعد في تفكيك بيانات شرطة نيويورك.
البرنامج يذهب لموقع شرطة نيويورك الإلكتروني
, ويقوم بتحميل ملفات PDF
كل يوم، التطبيق يبحث ويقوم بتحميل أي ملف جديد.
وحينها يقوم التطبيق بتنفيذ مسح,
والمخرجات تكون عباره عن نص
وينشره على الأنترنت. حينها نستطيع عمل خرائط كهذه.
وبالمناسبة هذه البيانات التي حصلنا عليها
كل الحوادث مرتبة بطريقة أفقياً
ويمكن تخيل كمية الملفات.
حقيقة أنه يمكننا الوصول لهذه البيانات شيء عظيم,
ولكن لنتوقف عن نشرها بملفات PDF
لأنه سيكتب المواطنين برمجيات لهذه الملفات.
وهذا ليس الخيار الأفضل لوقت المواطنين,
كما أنه يمكننا كمدينة تقديم أفضل من ذلك.
الآن, الخبر الجيد أنه إدارة "دي بلاسيو"
أصدرت منذ فترة قريبة هذه البيانات,
والآن يمكننا الوصول إليها,
ولكن هناك الكثير من البيانات مدفونة في ملف PDF
مثلاً, سجل الجرائم ما زال متوفر فقط بصيغة PDF
وليس سجل الجرائم فقط بل ميزانية المدينة أيضاً.
ميزانية المدينة التي يمكن قرائتها هي صيغه PDF فقط.
ولسنا الوحيدين الذين لا نستطيع تحليله,
ولكن المشرعَين الذين صوتوا على هذه الميزانية
أيضا تصلهم بصيغة PDF فقط.
إذن, المشرعّون لا يمكنهم فهم الميزانية التي يصوتون عليها.
وحين أفكر كمدينة يمكننا تحسين ذلك قليلاً بالطبع.
هناك العديد من البياناتا لتي ليست محصورة بملفات PDF.
هذا مثال لخريطة قمت بإنشائها
وهي تمثل الممرات المائية الأقذر في نيويورك.
الآن, كيف قمت بحساب تلوثها؟
ذلك يبدو غريباً بعض الشيء,
ولكنني بحثت في معدلات بيكتريا القولون,
والتي تقيس معدل القاذورات في كل من هذه الممرات.
الدائرة الأكبر, تعني تلوث أكثر.
الدائرة الأكبر تمثل المياة الأكثر تلوثاً,
والأصغر أقل تلوثاً.
الذي ترونه هي الممرات الداخلية.
هذه البيانات أستخرجت من فحص عينات
قامت بها المدينة خلال ٥ سنوات.
والممرات الداخلية تعتبر أكثر تلوث.
وذلك منطقي. أليس كذلك؟
كما تعلمت عدة أمور.
أولاً: لا تسبح في أي شيء ينتهي بقناة أو جدول مائي.
ولكن ثانياً:وجدت أن أقذر ممر مائي في نيوروك,
من خلال هذه العينات.
في جدول "كوني أيلند"وهو ليس الذي تسبحون فيه، لحسن الحظ.
أنه في الجهة المقابلة.
ولكن ٩٤٪ من العينات المأخوذة
من هذا الجدول خلال السنوات الماضية الخمس
تحتوي على مستويات عالية جداً
مخالفة للقوانين من حيث المستويات المسموح السباحة فيها.
وهذه ليست أحدى الحقائق التي يمكن أن تجدها
في تقارير المدينة. أليس كذلك؟
لن تجدها في موقع المدينة.
لن تجدها في ذلك الموقع,
ولكن من الجيد أن نصل لهذه البيانات.
ولكن مرة أخرى, ذلك ليس سهلاً أبداً.
لأن هذه البيانات ليست في البيانات العامة.
لو ذهبت الى البيانات العامة
ستجد قصاصة منها، سنة أو عدة أشهر.
في الواقع هذه البيانات كانت في موقع إدارة حماية البيئة.
وكل هذه الروابط عباره عن ملفات جداول حسابية "Excel"
وكل ملف مختلف.
مختلف في العناوين.تقوم بنسخ ولصق وترتيب البيانات.
حينها تستطيع عمل خرائط وهذا شيء عظيم.ولكن أيضاً،
يمكن تقديم أقضل من ذلك. يمكننا تعميم الأشياء.
ونحن ندفع لذلك، بسبب الموقع الذي أسسه "ساكروتا" والذي
يعرف بإسم بوابة البيانات العامة لمدينة نيويورك.
هنا حيث توجد ١١٠٠ مجموعة بيانات خالية
من العيوب التي أخبرتكم بها مباشرة.
وهذا الرقم بازدياد, وهذا شيء عظيم.
يمكنكم تحميل البيانات بأي صيغة، جداول CSV أو PDF أو Excel
أيها تريد, يمكنك الحصول على البيانات بذلك.
المشكلة هي, حين تفعل ذلك
ستجد أن كل إدارة
لديها ترميز مختلف لعناوينها.
حيث مرة يكون أسم الشارع وتقاطع الشوارع،
الشارع والبلدة والعنوان والمبنى وعنوان المبنى.
إذن مرة أخرى ستقضي الوقت رغم توفر هذه البوابة
تقضي الوقت لتسوية خانات العنوان.
هذا تضييع لوقت المواطنين.
يمكننا فعل أفضل من ذلك كمدينة.
يمكننا توحيد العناوين.
حينها يمكننا الحصول على خرائط أكثر كهذه.
هذه خرائط لحنفيات الحريق في نيوروك
ولكن ليس كل الحنفيات.
هذه أعلى ٢٥٠ حنفية على الاطلاق
من حيث مخالفات مواقف السيارات.
(ضحك)
لقد تعلمت عدة أشياء من هذه الخريطة
أنا أحب هذه الخريطة.
أولاً: لا تركن السيارة في الجزء الشمال شرقي.
فقط لاتفعل. لا يهم أين توقف سيارتك
سوف تحصل على مخالفة متعلقه بحنفيات الحريق.
ثانياً:وجدت أكثر حنفيتان على الأطلاق في نيويورك
وتقعان في الجنوب الشرقي من المدينة,
وقد وفرتا أكثر من ٥٥ ألف دولار سنوياً!
قيمة مخالفات المواقف بجوارهما.
ويبدو ذلك غريباً لبعض الشيء حيث لاحظت ذلك.
ثم قمت بالمزيد من البحث وأتضح أنه ما يبدو أنه طفاية حريق
هو في الحقيقة تمديد لممر مشاة
وهو عبارة عن ممر بعرض ٧ أقدام للعبور عليه
يمر في منطقة مواقف.
حيث تأتي هذه السيارات ..
" الحنفية ليست قريبة, سأركن هنا"
والموقف متاح وتم طلائة بشكل جميل لذلك.
سيوقفون سياراتهم, وشرطة نيويورك
تخالفهم الرأي بمسمى هذه الموقف,
وسيقومون بمخالفتهم.
وحينها لست الوحيد الذي حصل على مخالفة.
هذه سياره من خرائط تصوير الشوارع لقوقل
وقد حصلت على نفس المخالفة.
حينها, قمت بالكتابة عن ذلك في مدونتي في "Quant NY",
وإدارة المواصلات قامت بالرد وقالوا,
" بما أن الإدارة لم تتلقى أي شكاوى عن هذا الموقع,
سنقوم بإعادة النظر لهذا الممر ونقوم بأي تعديلات بديلة."
وقلت لنفسي, رد نموذجي من جهة حكومية,
حسناً، سأتغاضى عن ذلك.
ولكن عدة أسابيع لاحقاً، شيء عجيب حصل.
لقد قاموا بإعادة طلاء المنطقة.
ولثانية، كأني رأيت مستقبل البيانات العامة
فكّر بما حصل هنا.
لخمس سنوات
كان يتم المخالفة في هذه النقطة وكانت ذلك محيراً,
ولكن مواطن عثر على شيء وأخبر المدينة. لاحقاً،
وخلال أسابيع, تم إصلاح المشكلة.
ذلك مذهل.العديد يرى أن البيانات العامة هي الحارس.
ولكنها ستكون شريك.
نستطيع حث المواطنين ليكونوا شركاء أفضل للحكومة.
وذلك ليس صعباً.
كل ما نحتاجه بعض التغيرات.
اذا كنت تصيغ بيانات للعامة،
واذا رأيت أن بياناتك يتم صياغتها للعامة،
إذن لننشرها بحيث تكون مصممة للعامة.
وإذا كنت جهة حكومية تنشر بياناتك بصيغه PDF,
لنقر تشريع يطلب منك نشرها بالبيانات الدقيقة،
وذلك لأن هذه البيانات أتت من مصدر ما.
لا أعرف من أين، ولكنها أتت من مصدر ما
ويمكن نشرها بصيغة PDF حينها.
ولنتبنى بعض معايير البيانات المفتوحة للعامة.
لنبدأ بعنوانيننا هنا في نيويورك.
لنبدأ بتعميم عنوانيننا.
لأن نيويورك رائدة في نشر البيانات المفتوحة.
بغض النظر عما سبق, إن لنا الطليعة في البيانات المفتوحة
ولو بدأنا بتعميم معايير للبيانات المفتوحة،
آخرون سيتبعوننا.الولاية, وربما الحكومة الفيدرالية.
أعلم, يبدواً جنونياً, ولكن
بلدان أخرى قد تفعل ذلك،
ونحن لسن بعيدين عن الوقت حيث تستطيع كتابة برنامج وحيد
وانشاء خريطة معلومات من ١٠٠ دولة.
هذا ليس خيال علمي. نحن قريبون من ذلك حقاً.
وبالمناسبة, من هو المستفيد من هذا؟
لأن ذلك لا يخص"جوهن كراوس" او "كريس وونج" فقط.
هناك المئات من اللقاءات تجري في نيويورك الآن.
لقاءات نشطة.
هناك آلاف الناس تحضر هذه اللقاءات.
هولاء الناس يذهبون بعد العمل وفي عطل الأسبوع،
ويحضرون ليطلعوا على هذه البيانات المفتوحة.
وليجعلوا مدينتنا أفضل.
مجموعات مثل "بيتا نيويورك",
التي أطلقت الأسبوع الماضي موقع شكاوى نيويورك.
يتيح الأشتراك بنحو ٣١١ شكوى
قريبة من منازلنا, أو مكاتبينا.
تضع عنوانك وتحصل على الشكاوى المحلية.
كما أن المختصّون ليسوا وحدهم خلف هذا المشروع،
ولكن مخططي المدن، كطلابي في معهد برات.
الناشطين السياسيين أيضاً, والجميع.
إنها مجموعة من المواطنين من مختلف الأعراق.
ومع بعض التغييرات، تغييرات تدريجية،
يمكننا إطلاق شغف وقدرة المواطنيين
لإستغلال البيانات المفتوحة لجعل مدينتا أفضل
سواء كانت مجموعة بيانات واحده،
أو موقف سيارات وحيد، على حده.
شكراً
(تصفيق)
Près de 10 000 km de routes,
près de 6 000 km de rails de métro,
près de 650 km de pistes cyclables,
et 800 m de rails de tram,
si vous avez déjà été à Roosevelt Island.
Ce sont les chiffres qui constituent l'infrastructure de NY,
les statistiques de nos infrastructures.
Ce sont les chiffres des rapports des agences civiles.
Par exemple, le département des transports publiera sûrement
les kilomètres de voies qu'ils entretiennent.
La MTA se vantera du nombre de kilomètres de rail existants.
Mais la plupart des agences nous donnent des statistiques.
Ceci vient d'un rapport de 2015 de la Commission Taxi & Limousine ,
où on apprend qu'il y a environ 13 500 taxis, ici, à New-York.
Plutôt intéressant, non ?
Mais avez vous déjà pensé d'où venaient ces chiffres ?
Parce que pour que ces chiffres existent, quelqu'un à l'agence
doit se dire, « Tiens, voilà un chiffre qui pourrait intéresser quelqu'un.
C'est un chiffre qui intéresse nos citoyens. »
Donc ils plongent dans leur données,
ils comptent, ajoutent, calculent,
puis ils écrivent des rapports.
Et ces rapports contiennent ce genre de chiffres.
Le problème est comment anticipent-ils nos questions ?
Nous avons plein de questions.
Il y a littéralement un nombre infini de questions
qu'on se pose sur notre ville.
Les agences ne pourront jamais suivre.
Le paradigme ne marche pas vraiment
et je pense que nos politiques s'en rendent compte,
puisqu'en 2012, le maire Bloomberg a ratifié une loi qu'il a appelé
la législation la plus ambitieuse et complète du pays.
De bien des façons, il a raison.
En deux ans, la ville a publié 1000 jeux de données sur le portail public
et c'est plutôt génial.
Vous voyez de telles données,
et au lieu de compter le nombre de taxis,
on commence à poser d'autres questions.
Donc j'ai une question : Quand est l'heure de pointe à New York ?
C'est plutôt agaçant. A quelle heure exactement ?
Et j'ai pensé, ces taxis ne sont pas que des chiffres,
ce sont des traceurs GPS dans les rues qui enregistrent
chaque virage à droite.
Ce sont des données.
J'ai regardé ces données et fait un graphe
de la vitesse moyenne des taxis à NY pendant la journée.
Vous pouvez voir que de minuit à environ 5h18, la vitesse augmente,
et qu'à partir de là, les choses changent.
Ils ralentissent encore et encore jusqu'à 8h35
où ils arrivent à 18,5 km/h.
Le taxi moyen roule à 18,5 km/h dans les rues de notre ville,
et il apparaît que ça reste ainsi
toute la journée.
(Rires)
Je me suis dit, il n'y a pas d'heure de pointe à NY,
il y a un "jour de pointe".
(Rires)
Ça a du sens.
C'est important pour deux raisons.
Si vous planifiez des transports, ça peut être assez intéressant à savoir.
Mais si voulez bouger rapidement,
vous savez maintenant que vous mettrez votre réveil à 4h45.
New York, non ?
Ces données ont une histoire,
ce n'était pas disponible de cette façon.
C'est venu de quelque chose appelé une requête pour la liberté d'information,
ou une requête FOIL.
Ce document est sur le site de la Commission Taxi & Limousine.
Pour accéder à ces données, vous avez besoin du document,
de le remplir et ils vous répondront.
Et un gars appelé Chris Whong a fait exactement ça.
Chris y est allé et ils lui ont dit,
« Venez avec un disque dur tout neuf,
laissez-le pendant 5 heures, nous y copierons les données. »
Voilà d'où ces données viennent.
Chris est le genre à vouloir rendre les données publiques,
et elles finissent donc en ligne, c'est de là que vient ce graphe.
Et le fait qu'il existe est incroyable.
Ces traceurs GPS - vraiment cool !
Mais avoir des citoyens qui se baladent avec des disques durs,
récupérant des données pour les rendre publiques ...
C'était déjà un peu public, vous y aviez accès,
c'était "public", ce n'était pas public.
Nous pouvons faire mieux en tant que ville,
nos citoyens ne devraient pas avoir besoin de demander.
Aujourd'hui, tout n'est pas accessible avec une requête FOIL.
Voici une carte que j'ai faite des carrefours les plus dangereux
d'après les accidents cyclistes.
Les zones dangereuses sont en rouge.
Ça montre d'abord l'est de Manhattan,
en particulier la partie basse a plus d'accidents de cyclistes.
C'est sensé
car il y a plus de cyclistes venant des ponts.
D'autres lieux sont intéressants.
Il y a Williamsburg. Il y a l'avenue Roosevelt du Queens.
C'est le type de données nécessaire pour la vision zéro.
C'est ce que nous cherchons.
Il y a une histoire pour ces données aussi.
Ces données ont une origine.
Combien parmi vous connaissent ce logo ?
Oui, j'en vois certains.
Avez-vous déjà essayé de copier et coller depuis un PDF
et en tirer du sens ?
J'en vois plus.
Plus connaissent le copier-coller PDF que le logo. J'aime ça.
Il se trouve que les données que vous avez vues, viennent d'un PDF.
En fait, des centaines et des centaines de PDF publiés par notre propre NYPD,
et pour y accéder,
vous devez soit les copier-coller pendant des centaines d'heures,
soit vous êtes John Krauss.
John Krauss s'est dit,
je ne vais pas copier-coller ces données, je vais coder un programme.
Il s'appelle le NYPD Crash Data Band-Aid.
Il va sur le site de la NYPD et télécharge des PDFs.
Tous les jours, il cherche ;
s'il trouve un PDF, il le télécharge
et il exécute un programme d'extraction de PDF
qui donne un fichier texte,
et le mettrait en ligne pour nous permettre de faire de telles cartes.
Et le fait que ces données soit là, que nous y ayons accès,
chaque accident, en outre, est une ligne dans ce tableau.
Imaginez le nombre de PDFs.
Le fait que nous y ayons accès est génial.
Mais ne les publions pas en format PDF.
Ça oblige nos citoyens à coder des extracteurs de PDF.
Leur temps pourrait être mieux utilisé,
et nous, comme ville, pouvons faire mieux.
La bonne nouvelle est que l'administration actuelle
a en fait publié ces données il y a quelques mois,
donc nous pouvons y accéder.
Mais de nombreuses données sont encore dans des PDFs.
Par exemple, les données sur les crimes sont seulement en PDFs.
Et pas seulement elles,
notre propre budget municipal y est aussi.
Notre budget municipal est lisible seulement en format PDF.
Mais personne ne peut l'analyser car
nos propres législateurs qui votent le budget,
l'ont aussi qu'en PDF.
Donc nos législateurs ne peuvent analyser le budget qu'ils votent.
Et je pense que, comme ville, nous pouvons faire un peu mieux aussi.
Plein de données ne sont pas en PDFs aujourd'hui.
Voici une carte que j'ai faite.
Ce sont les cours d'eau les plus sales de NY.
Comment ai-je mesuré leur saleté ?
Eh bien, c'est un peu étrange,
mais j'ai regardé la teneur en coliformes fécaux,
qui est une mesure de la matière fécale dans tous nos cours d'eau.
Plus le cercle est grand, plus l'eau est sale.
Les grands cercles sont les eaux sales; et les petits, les propres.
Il s'agit des cours d'eaux intérieurs.
Ce sont toutes les données rassemblées par la ville depuis cinq ans.
Les cours d'eaux intérieurs sont plus souvent sales.
Ça du sens, non ?
Et j'ai ainsi appris quelques trucs.
En un : ne jamais nager dans ce qui finit dans un canal ou un ruisseau
Deuxièmement : j'ai aussi découvert les eaux les plus sales de NY
avec cette mesure, une mesure.
Dans le Coney Island Creek,
qui n'est pas où vous nagez, heureusement, mais de l'autre côté.
94% des échantillons prélevés depuis 5 ans,
avaient des niveaux de matières fécales si importants,
qu'il aurait été illégal de s'y baigner.
Et ce n'est pas le genre de fait que vous allez voir
écrit en gros dans les rapports ou à la une de nyc.gov.
Vous ne le verrez pas là-bas,
mais le fait que nous ayons ces données est génial.
Mais ce n'était pas très facile,
car ces données n'étaient pas sur le portail.
Si vous allez sur le portail de données,
vous n'y verriez qu'un petit peu, que quelques mois.
C'était en fait sur le site du département pour l'environnement.
Chacun des liens est une feuille Excel et chacune d'elles est différente.
Chaque en-tête change : vous copiez, coller, réorganiser.
Et vous pouvez faire des cartes et c'est super mais à nouveau,
nous pouvons faire mieux, nous pouvons normaliser les choses.
Nous y arrivons grâce au site fait par Socrata
appelé le Open Data Portal NYC.
Il y a 1100 lots de données ne souffrant pas
de ce dont je viens de parler,
et ce nombre augmente, et c'est super.
Vous pouvez télécharger ces données dans tous les formats, CSV, PDF ou Excel.
Vous pouvez télécharger ces données comme vous le voulez.
Le problème est qu'après,
vous verrez que chaque agence présente son adresse à sa façon.
Donc une donnera le nom de la rue, ou le carrefour,
ou le quartier, la rue puis le bâtiment ou l'inverse.
Donc, encore une fois, vous passez du temps même avec le portail,
vous passez du temps à normaliser le champ d'adresse.
Je pense que ce temps pourrait être mieux utilisé,
nous pouvons faire mieux.
Nous pouvons normaliser tout ça.
Ainsi, nous pourrons faire plus de cartes.
Voici une carte des bouches d'incendie de NY.
Mais pas n'importe lesquelles.
Ce sont les 250 plus rentables bouches d'incendies
en terme d'amendes de stationnement.
(Rires)
J'ai appris quelques trucs de cette carte.
De un, ne pas se garer dans Upper East Side.
Ne le faites pas. Quelque soit l'endroit, vous aurez une amende.
De deux, j'ai trouvé les 2 bouches d'incendie plus rentables de NY.
C'est dans le Lower East Side,
et elles rapportent plus de 55 000 dollars par an en contraventions.
Ça m'a semblé étrange quand je l'ai remarqué,
donc j'ai creusé un peu et il s'avère
qu'on avait une bouche d'incendie et quelque chose appelé un îlot,
qui est un espace de 2 mètres piéton,
puis une place de parking.
Donc les conducteurs viennent et pensent :
« La bouche est là-bas, c'est bon. »
et il y a en fait une belle place magnifiquement peinte pour eux.
Ils se garent donc et la police qui n'est pas du même avis,
leur donne une amende.
Et ce n'est pas seulement moi qui a eu une amende.
Voici la vue Google street, et on voit une voiture avec cette même amende.
Donc je l'ai écrit sur mon blog, I Quant NY,
et le département des transports a répondu :
« Bien que nous n'ayons pas reçu de plainte à propos de cet endroit,
nous allons revoir les marquages et faire les modifications appropriées. »
J'ai pensé que c'était la réponse typique du gouvernement,
donc j'ai continué ma vie.
Mais quelques semaines plus tard, quelque chose d'incroyable est arrivé.
Ils ont repeint l'îlot.
Pour une seconde j'ai vu le futur des données ouvertes
car pensez à ce qu'il vient d'arriver.
Pendant 5 ans, cet îlot a généré des amendes car le marquage était confus.
Puis un citoyen a vu le problème, il prévient la ville et peu après,
le problème est résolu. C'est génial.
Beaucoup voit ces données ouvertes comme du contrôle,
mais c'est un partenariat.
Nous pouvons permettre à nos citoyens d'aider le gouvernement,
et ce n'est pas si difficile.
Peu de changements sont requis.
Si vous diffusez,
si vous recevez de plus en plus de demandes de données,
publiez-les, c'est un signe que ça devrait être public.
Et si vous être une agence gouvernementale publiant un PDF,
passons une loi qui vous oblige à publier également les données brutes,
car ces données viennent de quelque part.
Je ne sais pas d'où mais vous publiez-les avec le PDF.
Adoptons des standards de publication de données.
Commençons pas nos adresses, ici, à New-York.
Débutons juste par normaliser nos adresses.
Car NY est un leader des données ouvertes.
Malgré tout, nous sommes un leader des données ouvertes,
et si nous commençons à tout normaliser, et créons des standards,
d'autres suivront.
L'état suivra et peut-être le gouvernement fédéral,
d'autres pays pourraient suivre,
et nous ne sommes pas si loin d'un jour où l'on pourrait écrire un programme
et cartographier l'information de 100 pays.
Ce n'est pas de la SF, nous en sommes assez proches.
Et par ailleurs, qui responsabilisons nous ?
Car ce n'est pas seulement John Krauss, ce n'est pas que Chris Whong.
Il y a des centaines de rencontres à NY de nos jours,
des rencontres actives.
Des milliers de gens assistent à ces rencontres.
Ces personnes viennent le soir ou en weekend,
et ils viennent à ces rencontres pour analyser ces données,
et améliorer notre ville.
Des groupes comme BetaNYC qui, la semaine dernière, a publié citygram.nyc
qui vous permet de souscrire à 311 plaintes
près de chez vous ou de votre bureau.
Vous entrez votre adresse, et accédez aux plaintes.
Et ce n'et pas que le milieu technologique qui s'intéresse à cela.
Ce sont des urbanistes tels que mes étudiants de Pratt.
Ce sont les défenseurs des politiques publiques,
des citoyens de milieux différents.
Et avec quelques petits changements,
nous pouvons débloquer la passion et la capacité de nos citoyens
à exploiter ces données et améliorer notre ville,
même si c'est un lot de données ou une place de parking à la fois.
Merci.
(Applaudissements)
Bijna 10.000 kilometer wegen,
zo'n 1000 kilometer metrolijnen,
bijna 650 kilometer fietspaden
en 800 meter tramspoor --
die liggen op Roosevelt Island.
Dat is de infrastructuur van de stad New York in cijfers.
De statistieken van onze infrastructuur.
Deze cijfers verschijnen in rapporten van de lokale overheid.
Afdeling Transport kan je bijvoorbeeld vertellen
hoeveel kilometer wegen ze onderhouden.
Openbaar Vervoer pocht met kilometers metrolijnen.
De meeste afdelingen geven statistieken uit.
Uit een rapport van vorig jaar van de commissie voor taxiverkeer,
leren we dat er zo'n 13.500 taxi's in New York rijden.
Dat is toch interessant?
Maar waar komen die cijfers vandaan?
Op zo'n gemeentelijke afdeling
moet iemand bedacht hebben welke cijfers ons interesseren.
Hier zit men op te wachten.
Dus spitten ze in hun ruwe gegevens,
tellen en calculeren
en brengen hun rapporten uit,
waar dit soort cijfers in staan.
Maar hoe kennen ze al onze vragen?
We zitten vol met vragen.
We kunnen waarschijnlijk
een eindeloos aantal vragen stellen over onze stad.
Teveel voor die afdelingen.
Het model werkt dus niet, en de beleidsmakers zien dat ook in,
want burgemeester Bloomberg heeft in 2012 een wet ondertekend, die hij beschreef
als de meest ambitieuze en uitgebreide 'open data'-wetgeving in het land.
Op veel punten heeft hij gelijk.
De afgelopen twee jaar gaf de stad 1000 gegevenssets vrij
op het open data-portaal.
Dat is fantastisch.
Je kunt in die gegevens duiken
en dan niet alleen de taxi's tellen,
maar ook andere vragen stellen.
Ik had dus een vraag.
Wanneer is de spits in New York?
Hoe laat begint de spits precies?
Toen dacht ik: een taxi is niet alleen een nummer,
maar ook een gps-recorder die door onze straten rijdt
en elke rit vastlegt.
Ik heb de gegevens ervan bekeken
en een diagram van de gemiddelde snelheid van taxi's in New York gemaakt.
Je ziet dan dat van middernacht tot 5:18 uur 's ochtends
de snelheid toeneemt, en dan afneemt.
Dan gaan ze steeds langzamer rijden
tot ze om 8:35 uur 's ochtends
nog maar 18,5 km/u rijden.
De gemiddelde taxi rijdt dan 18,5 km/u op onze straten,
en dat blijft dan zo, gedurende...
de hele dag.
(Gelach)
Er is dus geen spitsuur in New York.
Het is spitsdág. (Gelach)
Dat klinkt logisch en is belangrijk.
Voor een transportplanner is dat interessant.
Maar als je snel ergens moet zijn,
weet je nu dat je je wekker op 4:45 uur moet zetten.
New York, hè?
Die gegevens hebben een verhaal.
Ze bleken niet zomaar beschikbaar.
Hier was een aanvraag voor nodig via de Wet Openbaarheid van Bestuur,
een Wob-aanvraag.
Het staat op de website van de Commissie voor taxiverkeer.
Voor deze gegevens heb je zo'n formulier nodig.
Als je het invult, krijg je bericht.
Chris Wong deed dit.
Chris ging langs en ze zeiden:
"Breng een nieuwe harddisk naar ons kantoor.
Vijf uur later staan de gegevens erop en kun je hem ophalen."
Daar komen die gegevens vandaan.
Chris is zo iemand die gegevens publiek wil delen,
en zo kwam het online te staan, wat deze grafiek mogelijk heeft gemaakt.
Fantastisch dat het beschikbaar is, die GPS-recorders -- echt perfect.
Maar dat burgers met een harddisk
bij afdelingen gegevens op moeten halen om die te delen --
als je erom vroeg, kreeg je ze,
maar het was 'openbaar', niet gedeeld.
Dat kunnen we als stad béter doen.
Onze burgers hoeven niet rond te lopen met een harddisk.
Niet voor alle gegevens heb je de Wob nodig.
Ik heb deze kaart gemaakt van de gevaarlijkste kruisingen,
gebaseerd op fietsongelukken.
De rode gebieden zijn dus gevaarlijker.
Je ziet dat er in het oosten van Manhattan,
vooral het zuidoosten, meer fietsongelukken zijn.
Logisch, omdat daar meer fietsers van de bruggen af komen.
Maar je ziet ook andere gevaarlijke plekken,
zoals Williamsburg en Roosevelt Avenue in Queens.
Dit soort gegevens zoeken we voor Vision Zero.
Precies wat we zoeken.
Maar ook deze gegevens hebben een verhaal.
Ze kwamen niet zomaar aandrijven.
Kennen jullie dit logo?
Ik zie mensen knikken.
Weleens geprobeerd om gegevens van een pdf te kopiëren
en daar wijs uit te worden?
Ik zie meer knikken.
Meer die hebben geprobeerd te kopiëren, dan die het logo kennen. Leuk.
Deze gegevens stonden dus in een pdf.
Een pdf van honderden pagina's lang,
gepubliceerd door de NYPD [politie].
Om dat te gebruiken
moest je dus honderden uren gaan kopiëren,
of John Krauss zijn.
John Krauss dacht:
ik kopieer die gegevens niet, maar schrijf een programma.
Het heet de 'NYPD- ongevallen-gegevens-pleister'.
Het haalt pdf's van de website van de NYPD af.
Dagelijks start het een zoekopdracht; downloadt gevonden pdf's,
en bewerkt die zodat je losse tekst krijgt,
die op het internet wordt geplaatst, zodat je dit soort kaarten kunt maken.
En het feit dat die gegevens voor ons beschikbaar zijn --
Ieder ongeluk is trouwens een rij in deze tabel.
Stel je voor hoeveel pdf's dat zijn --
Prachtig dat we die gegevens hebben,
maar laten we geen pdf's maken,
anders moeten burgers bewerkingsprogramma's maken.
Zonde van de tijd.
Als stad kunnen we dat béter oplossen.
Gelukkig zijn onder burgemeester de Blasio
recentelijk deze gegevens vrijgegeven,
zodat we er gewoon bij kunnen.
Maar veel gegevens staan nog steeds ingepakt in pdf.
Misdaadgegevens krijg je bijvoorbeeld alleen in pdf.
Niet alleen misdaadgegevens, maar ook de begroting van de stad.
De begroting van de stad is alleen in een pdf te lezen.
Niet alleen wij hebben daar last van --
onze eigen wetgevers die over de begroting beslissen
krijgen het ook alleen in pdf.
Onze wetgevers kunnen de begroting waarover ze beslissen dus niet analyseren.
Dat moeten we als stad toch ook beter kunnen doen.
Veel gegevens staan niet verborgen in pdf.
Hier heb ik een kaart gemaakt
van de smerigste vaarwaters in de stad New York.
Maar hoe meet ik smerigheid?
Dat is misschien een beetje vreemd;
ik keek naar het aandeel darmbacterieën,
waardoor je ontlasting in onze vaarwaters kunt meten.
Hoe groter de cirkel is, hoe viezer het water.
Grote cirkels duiden op vies water, kleinere op schoner water.
Dat is binnenwater.
Dit zijn alle gegevens die de stad de laatste vijf jaar verzamelde.
Binnenwater is meestal viezer.
Logisch toch?
Ik concludeer allereerst:
zwem niet waar de naam eindigt op 'creek' of 'canal'.
(Gelach)
Maar ten tweede: ik vond de smerigste vaarweg in de stad New York,
volgens deze meting althans.
Het is Coney Island Creek -- niet waar we zwemmen bij Coney Island --
maar aan de andere kant.
De afgelopen vijf jaar had 94 procent van de monsters uit Coney Island Creek
zulke hoge sporen van ontlasting
dat het illegaal zou zijn om daar te zwemmen.
Dat is zo'n feitje waar ze niet mee opscheppen
in de gemeentelijke rapporten.
Dat staat niet prominent op nyc.gov.
Maar het is prachtig dat we die gegevens hebben.
Maar ook dit was geen eitje.
Het stond niet in de open data-portal.
Daar vind je maar een deel: een jaar en wat maanden.
Het stond op de website van de afdeling Milieubeheer.
Iedere link is een Excel-bestand.
En ieder Excel-bestand is verschillend. (Gelach)
De koppen zijn anders. Je moet kopiëren en reorganiseren.
Als je die moeite neemt, kun je een kaart maken,
maar dat kan beter als stad, door het glad te strijken.
En het gaat steeds beter, want Socrata heeft een website:
de 'Open Data Portal NYC'.
Hierop staan al 1100 gegevenssets
zonder de problemen die ik noemde,
en gelukkig groeit dat aantal.
Je kunt gegevens in elk formaat downloaden, zoals csv, pdf of Excel.
Wat je ook wilt, je kan het downloaden hoe je wilt.
Het enige probleem is,
dat elke afdeling een andere opmaak voor adressen gebruikt.
Dus op straatnaam, kruising,
straat, wijk, adres/gebouw, gebouw/adres.
Je bent dus weer veel tijd kwijt, zelfs met deze portal,
om de adresvelden gelijk te trekken.
Dat willen burgers niet.
Als stad kunnen we dat beter doen.
Adressen in een standaardopmaak,
zodat we meer kaarten kunnen maken zoals deze.
Dit is een kaart van brandkranen in New York,
maar niet zomaar brandkranen.
Dit zijn de 250 brandkranen die de meeste parkeerboetes opleveren.
(Gelach)
Ik heb wat dingen geleerd van deze kaart, die ik erg leuk vind.
Ten eerste, parkeer nooit in de Upper East Side.
Gewoon niet doen want je krijgt overal een brandkraanbekeuring.
Ten tweede, ik heb de twee kranen gevonden die het meeste opbrengen in New York,
in de Lower East Side.
Die brengen ieder jaar 50.000 euro aan parkeerboetes binnen.
Dat vond ik een beetje vreemd,
dus ging ik graven en ontdekte dat hier een brandkraan stond
naast een 'stoepverbreding':
zo'n twee meter extra loopruimte.
Dan een parkeerplaats.
Automobilisten zagen de brandkraan --
"Die staat ver weg, geen probleem".
Er was zelfs een mooie parkeerplaats getekend.
Dus ze parkeerden, maar de politie dacht daar anders over
en gaf je een bon.
Ik ben niet de enige die dit opmerkte.
Hier fotografeert de Streetview-auto van Google
diezelfde parkeerboete. (Gelach)
Ik schreef erover op mijn blog I Quant NY, en kreeg antwoord van de afdeling Verkeer,
die zeiden:
"Hoewel we nooit klachten over deze locatie hebben gehad,
zullen we de markeringen bekijken en noodzakelijke wijzigingen aanbrengen."
Typisch antwoord van de overheid, dacht ik nog,
en ik ging verder met mijn leven.
Maar een paar weken later was er iets ongelooflijks gebeurd.
Ze hadden nieuwe lijnen op die plek getekend,
en even zag ik de toekomst van open data.
Wat is hier namelijk gebeurd?
Vijf jaar lang werden hier boetes uitgedeeld op een onduidelijke plek,
totdat een burger iets vond wat hij meldde aan de gemeente,
en binnen een paar weken was het probleem opgelost.
Fantastisch. Veel mensen zien open data als een bedreiging.
Maar ze kunnen ons juist helpen.
Je kan burgers laten meedenken met de overheid.
Dat is niet zo moeilijk.
Dat vraagt om wat aanpassingen.
Als je wob-aanvragen hebt,
en dezelfde gegevens worden telkens opgevraagd,
deel die dan gewoon, dat willen mensen blijkbaar weten.
En als een overheidsdienst een pdf uitbrengt,
zou ze wettelijk verplicht moeten zijn de onderliggende gegevens te geven,
want die komen ergens vandaan.
Je kan ze vrijgeven via diezelfde pdf.
En laten we standaarden gaan gebruiken.
Als eerste voor de adressen in New York.
Altijd dezelfde adresopmaak.
Want ondanks dit alles loopt New York voorop in open data,
en als wij beginnen met een open data-standaard,
dan volgt de rest.
Eerst de staat en misschien zelfs de federale overheid.
Vervolgens andere landen,
zodat je in de nabije toekomst één programma kunt schrijven
om informatie uit 100 landen inzichtelijk te maken.
Dat is geen sciencefiction.
We zijn al dichtbij.
Wie doen we daar een plezier mee?
Niet alleen John Kraus en Chris Wong.
Er zijn momenteel honderden burgerinitiatieven in New York,
actieve bijeenkomsten.
Duizenden mensen zijn daarbij betrokken.
Die mensen ontmoeten elkaar na werktijd en in het weekend
om door middel van open data
onze stad te verbeteren.
BetaNYC heeft vorige week bijvoorbeeld citygram.nyc geopenbaard
zodat je meldingen kunt krijgen
van klachten in je omgeving.
Vul je adres in en je ziet klachten uit de omgeving.
En niet alleen it'ers houden zich hier mee bezig.
Ook stadsplanners, zoals mijn studenten op Pratt.
Beleidsvoorstanders, echt iedereen,
burgers met verschillende achtergronden.
Met kleine stap-voor-stap-veranderingen
geven we burgers de inspiratie en de mogelijkheden
om met behulp van open data onze stad te verbeteren.
Elke set gegevens -- of parkeerplaats -- draagt daaraan bij.
Dank jullie wel.
(Applaus)
Dez mil quilômetros de estradas,
mil quilômetros de trilhos de metrô,
650 quilômetros de ciclovias,
e 800 metros de bonde elétrico
se já esteve em Roosevelt Island.
Esses são os números relativos à infraestrutura de Nova York.
São estatísticas da nossa infraestrutura.
Números divulgados em relatórios de órgãos municipais,
como a Secretaria de Transporte, que orgulhosamente informa
quantos quilômetros de estradas mantém.
O MTA vai se gabar da extensão das linhas do metrô.
A maioria desses órgãos fornecem estatísticas.
Estas são de um relatório deste ano da Comissão de Táxis e Limusines,
em que descobrimos que há cerca de 13,5 mil táxis aqui em Nova York.
Bem interessante, né?
Mas já se perguntaram de onde vêm esses números?
Pois, para esses números existirem, alguém na prefeitura
precisa parar e dizer: "Eis aqui um número que alguém pode querer saber.
Um número que os cidadãos querem saber."
Daí, voltam para seus dados brutos, contam, adicionam, calculam
e aí publicam relatórios,
e esses relatórios têm números assim.
O problema é: como eles sabem todas nossas dúvidas?
Temos muitas perguntas.
De fato, há literalmente um número infinito de perguntas
que podemos fazer sobre a cidade.
Os órgãos do governo não dão conta.
Assim, o paradigma não funciona, e acho que nossos urbanistas percebem isso,
pois, em 2012, o prefeito Bloomberg sancionou uma lei que chamou
de a mais ambiciosa e abrangente legislação de dados abertos do país.
Em grande parte, ele está certo.
Nos últimos dois anos, a cidade divulgou mil arquivos de dados nesse portal,
e é bem impressionante.
Então, vamos lá e vemos dados como estes e, em vez de só contar o número de táxis,
podemos fazer diversas perguntas.
Eu tinha uma pergunta:
quando é a hora do rush em Nova York?
Que é uma coisa bem chata: qual é a hora do rush?
E pensei comigo mesmo: esses táxis não são só números,
são dados de GPS rodando por nossas ruas,
registrando cada corrida que fazem.
Há dados aí, e olhei para esses dados
e calculei a velocidade média dos táxis em Nova York durante o dia.
Dá pra ver que, da meia-noite até cerca das 5h18 da manhã,
a velocidade aumenta e, a partir daí, as coisas se invertem,
e eles ficam cada vez mais lentos até cerca das 8h35 da manhã,
quando acabam rodando em torno dos 17 km/h.
O táxi comum roda a 17 km/h nas ruas da cidade,
e acontece de ficar assim...
... o dia inteiro.
(Risos)
Daí pensei: acho que não há hora do rush em Nova York, apenas dia de rush.
(Risos)
Isso faz sentido e é importante por diversas razões.
Para um gestor de transportes, deve ser bem interessante saber isso.
Mas, se quiser chegar rápido a um lugar,
agora sabe que basta pôr o alarme para as 4h45 da manhã, e pronto.
É Nova York, certo?
Mas há uma história aí.
Esses dados não estavam disponíveis dessa forma.
Na verdade, vieram do chamado Freedom of Information Law Request,
ou Requisição FOIL.
Este é um formulário do site da Comissão de Táxis e Limusines.
Para acessar os dados, é preciso pegar esse formulário,
preenchê-lo, e depois eles te notificam.
Um cara chamado Chris Whong fez exatamente isso.
Chris foi lá, e disseram para ele:
"Traga um HD novinho em folha ao nosso escritório,
deixe-o aqui por cinco horas, copiamos os dados e você busca de volta".
E foi daí que vieram esses dados.
Chris é o tipo do cara que quer tornar públicos esses dados,
para ficarem on-line para todos, e esse gráfico veio daí.
E o fato de isso existir é incrível; esses registros de GPS são muito legais.
Mas os cidadãos precisarem andar por aí com HDs,
coletando esses dados para torná-los públicos,
quando já eram meio que públicos, acessíveis,
mas não eram públicos, eram "públicos".
O governo pode fazer melhor que isso.
Não faz sentido nossos cidadãos andando por aí com HDs.
Mas nem todos os dados dependem de uma Requisição FOIL.
Eis um mapa que fiz dos cruzamentos mais perigosos de Nova York,
baseado em acidentes com ciclistas.
As áreas vermelhas são as mais perigosas.
E a mais perigosa é o East Side de Manhattan,
especialmente a área mais ao sul, com maior número de acidentes.
Isso faz sentido, pois ali há mais ciclistas vindo das pontes.
Mas há outros lugares dignos de atenção,
como Williamsburg e a Avenida Roosevelt, no Queens.
E é exatamente o tipo de dado que precisamos para o Vision Zero.
É exatamente o que estamos procurando.
Há uma história atrás desses dados também.
Eles não surgiram do nada.
Quantos aqui conhecem essa logomarca?
É, alguns de vocês.
Já tentaram copiar e colar dados de um arquivo PDF e depois decifrá-los?
Mais mãos levantadas agora.
Mais pessoas tentam copiar e colar do que conhecem a logomarca. Gostei!
Na verdade, os dados que acabaram de ver estavam em PDF.
De fato, há centenas de páginas em PDF disponibilizadas pela nossa polícia
e, para acessar, ou vocês copiam e colam por centenas de horas,
ou fazem como John Krauss.
John Krauss pensou:
"Não vou copiar e colar esses dados. Vou escrever um programa."
Chama-se "NYPD Crash Data Band-Aid",
e vai no site da polícia e baixa os PDFs.
Todos os dias o programa procura; se encontrar um PDF, ele baixa,
roda um programa que extrai os dados do PDF,
produz um texto
e coloca na Internet, para que as pessoas possam fazer mapas assim.
E o fato de os dados estarem aqui, o fato de termos acesso a eles,
aliás, cada linha dessa tabela é um acidente.
Imaginem quantos PDFs há aqui.
O fato de termos acesso a isso é ótimo.
Mas parem de liberar dados em PDF,
ou nossos cidadãos vão ter de extrair dados de PDF.
Isso é desperdício do tempo dos cidadãos,
e a prefeitura pode fazer melhor que isso.
Bem, a boa notícia é que a administração Blasio
liberou esses dados poucos meses atrás,
e agora então podemos de fato acessá-los,
mas ainda há uma porção de dados escondidos em PDF.
Por exemplo, nossos dados criminais estão disponíveis apenas em PDF.
E não apenas os dados criminais, o próprio orçamento do município.
Nosso orçamento está disponível apenas no formato PDF.
Não somos os únicos a não conseguir analisá-los.
Nossos próprios legisladores, que votam o orçamento,
também apenas o acessam em PDF.
Daí, nossos legisladores não conseguem analisar o orçamento que estão votando.
E acho que a cidade pode fazer um pouco melhor que isso.
Mas há uma porção de dados não escondidos em PDFs.
Eis um exemplo de um mapa que fiz com as hidrovias mais sujas de Nova York.
Bem, como medi essa sujeira?
Foi de um jeito um pouco estranho, mas olhei o nível dos coliformes fecais,
que é uma medida da matéria fecal em cada uma das nossas hidrovias.
Quanto maior o círculo, mais suja é a água.
Assim, os círculos grandes são água suja, e os menores, água mais limpa.
O que veem são hidrovias internas.
Dados que foram coletados pela prefeitura nos últimos cinco anos.
E as hidrovias internas são, em geral, mais sujas.
Faz sentido, não é mesmo?
E aprendi umas coisas com isso.
Primeira, nunca nadem em algo que termine com "creek" ou "canal".
Segundo, também descobri a hidrovia mais suja de Nova York
por essa medida, uma medida.
Em Coney Island Creek,
não a Coney Island onde nadam, felizmente, mas do outro lado,
vi que 94% das amostras coletadas lá nos últimos cinco anos
tinham níveis fecais tão altos
que deveria ser ilegal nadar naquela água.
E esse não é o tipo de fato propalado num relatório municipal, né?
Não vai estar na capa página do NYC.gov.
Não vão ver isso lá,
mas o fato de podermos acessar esses dados é incrível.
Mas, repito, não foi superfácil,
pois não estavam no portal de dados abertos.
No portal de dados abertos, havia apenas parte deles, um ano ou poucos meses.
Eles estavam no site da Secretaria do Meio Ambiente.
E cada um desses links é uma planilha Excel, e cada planilha é diferente.
Cada cabeçalho é diferente: você copia, cola, reorganiza.
E aí pode fazer mapas, o que é ótimo,
mas a cidade pode fazer melhor, padronizando os dados.
E estamos chegando lá, pois há este site feito pela Socrata,
chamado Open Data Portal NYC.
Aqui é onde ficam 1,1 mil arquivos sem esses problemas que mencionei,
e esse número está crescendo, o que é ótimo.
Vocês podem baixar dados em qualquer formato, CSV, PDF ou Excel.
O que quiserem, podem baixar do jeito que acharem melhor.
O problema é que, uma vez feito isso,
vão descobrir que cada órgão codifica os endereços de forma diferente.
Assim, podemos ter nome da rua, cruzamento,
rua, bairro, endereço, edifício, endereço do prédio.
Então, mesmo tendo o portal,
gasta-se tempo padronizando nossos campos de endereço.
E essa não é a melhor forma de usarmos nosso tempo.
Podemos fazer melhor como cidade.
Podemos padronizar nossos endereços
e, assim, vamos ter mais mapas como este.
Este é um mapa de hidrantes de Nova York,
mas não de quaisquer hidrantes.
Estes são os 250 hidrantes campeões de multas de trânsito.
(Risos)
Assim, aprendi algumas coisas com este mapa.
Primeiro, não estacione no Upper East Side.
De jeito nenhum; não importa onde parar, vai levar uma multa de hidrante.
Segundo, descobri os hidrantes campeões de multa em Nova York.
Eles estão no Lower East Side
e arrecadam mais de US$ 55 mil por ano em multa por estacionar em local proibido.
E achei estranho quando vi isso.
Então pesquisei um pouco mais, e acontece que há um hidrante
e algo chamado extensão da calçada,
um lugar de uns 2m para se andar, e depois um lugar para estacionar.
Então os carros chegam e veem o hidrante: "A vaga vai até lá, estou bem".
Na verdade, a vaga está lá demarcada bonitinha.
Daí, estacionam ali, mas a polícia discorda dessa marcação, e multa.
E não fui o único a levar uma multa.
Vejam só o carro do Street View do Google ali com a mesma multa de trânsito.
Daí, escrevi sobre isso no meu blog, I Quant NY, e o DOT respondeu, dizendo:
"Apesar de o DOT não ter recebido qualquer reclamação sobre esse lugar,
vamos rever a marcação na pista e fazer as alterações necessárias".
E pensei cá comigo:
"Resposta típica do governo, tudo bem, vou cuidar da minha vida".
Mas, poucas semanas depois, algo incrível aconteceu.
Repintaram o lugar,
e por um segundo vislumbrei o futuro dos dados abertos,
pois vejam só o que aconteceu aqui.
Durante cinco anos, levamos multas nesse lugar, pois era confuso,
e daí um cidadão descobriu isso, avisou à prefeitura e, em poucas semanas,
o problema foi resolvido. Incrível!
E há quem veja isso como um fiscal. Não é, tem a ver com parceria.
Empoderar os cidadãos para serem melhores parceiros do governo.
E não é tão difícil assim, só precisamos de algumas mudanças.
Se camuflarem os dados, e os cidadãos tiverem todas as vezes de requisitá-los,
melhor liberá-los, é sinal de que é preciso torná-los públicos.
E, se você é um órgão do governo liberando um PDF,
vamos aprovar legislação que exija publicar isso com os dados originais,
pois esses dados vêm de algum lugar,
não sei de onde, mas vêm, e depois podem publicá-los em PDF.
E vamos adotar e compartilhar padrões de dados abertos,
começando com nossos endereços aqui em Nova York.
Vamos padronizar nossos endereços, pois somos referência em dados abertos.
Apesar desses problemas, somos líderes absolutos nisso.
Se estabelecermos um padrão para os dados, outros vão nos seguir.
O estado vai seguir, talvez o governo federal.
Sei que parece loucura, mas outros países poderão seguir,
e não estamos tão longe assim de escrever um programa
para mapear informação de 100 países.
Não é ficção científica; estamos bem perto disso na verdade.
E, a propósito, quem estamos empoderando com isso?
Não é apenas John Krauss ou Chris Whong.
Há centenas de "meetups" acontecendo em Nova York agora mesmo.
"Meetups" ativos, com milhares de pessoas participando
depois do trabalho e nos finais de semana, analisando dados abertos,
para tornar nossa cidade um lugar melhor.
Grupos como BetaNYC, que semana passada lançou o citygram.nyc,
que dá acesso às reclamações feitas no site da prefeitura, por região.
É só colocar o endereço e acessar as reclamações.
E não é apenas a comunidade tecnológica que está atrás dessas coisas.
São os gestores urbanos, como meus alunos em Pratt.
Agentes de políticas públicas, todo mundo, cidadãos de diversos segmentos.
E, com algumas mudanças pequenas, graduais,
podemos estimular a paixão e a habilidade de nossos cidadãos
para usar dados abertos e fazer nossa cidade ainda melhor,
seja com um conjunto de dados, ou com um lugar para estacionar.
Obrigado.
(Aplausos)
9600 kilometara puteva,
960 kilometara podzemne železnice,
640 kilometara staza za bicikl
i 800 metara tramvajskih šina,
ako ste ikada bili na ostrvu Ruzvelt.
Ovo su brojke koje čine infrastrukturu Njujorka.
Ovo je statistika naše infrastrukture.
Ovakve brojke možete naći objavljene u izveštajima gradskih agencija.
Na primer, Odsek za transport će vam verovatno reći
koliko kilometara puteva održavaju.
Uprava transporta Metropolitena pohvaliće se koliko pruge postoji.
Većina gradskih agencija daje statistiku.
Ovo je izveštaj za ovu godinu od Komisije za taksije i limuzine
iz kog vidimo da postoji 13 500 taksija u Njujorku.
Interesantno, zar ne?
Da li ste razmišljali odakle ove brojke?
Kako bi ove brojke postojale, neko iz gradske agencije
mora da zastane i kaže da je ovo broj koji neko želi da zna.
Ovo je broj koji naši građani žele.
Hajde da se vratimo sirovim podacima
koje oni broje, dodaju, proračunavaju
i onda objave izveštaje,
a u tim izveštajima se nalaze ovakve brojke.
Problem je u tome, kako oni znaju sva naša pitanja?
Imamo ih mnogo.
U stvari, na neki način postoji neograničen broj pitanja
koja postavljamo o našem gradu.
Agencije nas ne mogu ispratiti.
Tako da paradigma ne radi kako treba
i zakonodavci shvataju to
zato što je u 2012. gradonačelnik Blumberg potpisao zakon koji on zove
najambicioznijim i najobuhvatnijim zakonodavnim aktom o podacima u zemlji.
On je u pravu na mnogo načina. U poslednje dve godine,
grad je objavio 1000 skupova datoteka na otvorenom portalu za podatke,
što je zaista odlično.
Tako da možete pogledati ovakav podatak
i umesto brojanja taksija,
možemo postavljati različita pitanja.
Tako da ja imam pitanje. Kada je najveća gužva u Njujorku?
Krajnje napadno pitanje. Kada je tačno najveća gužva?
I kažem sebi onda da ovi taksiji nisu samo brojke,
to su GPS odašiljači koji voze našim ulicama
snimajući svaku svoju vožnju.
Postoje podaci
i ja sam pregledao te spise, napravivši proračun
prosečne brzine taksista tokom dana u Njujorku.
Možete videti da od ponoći do oko 5:18 ujutru
brzina raste i da se nakon toga stvari menjaju
i sve postaje sporije i sporije do oko 8:35 ujutru
kada voze oko 17 kilometara na čas.
Prosečan taksi vozi tom brzinom po gradskim ulicama.
Ispadne da ostane pri toj brzini
tokom celog dana.
(Smeh)
Kako sam kazao, izgleda da nema saobraćajnog špica u Njujorku.
Postoji samo dnevni špic.
(Smeh)
To ima smisla
i to je važno iz više razloga.
Ukoliko ste organizator transporta, važno je da ovo znate.
Ali ako treba negde brzo da stignete,
sada znate da treba da namestite alarm na 4:45 ujutru i na konju ste.
Njujork, zar ne?
Ali postoji priča iza toga.
Ispostavlja se da podaci nisu bili prosto dostupni.
To je pošlo od nečega što se zove Zahtev za zakon o slobodi informacija,
ili FOIL zahtev.
Ovaj formular možete naći na stranici Komisije za taksije i limuzine.
Kako biste dobili pristup podacima, potrebno vam je ovo.
Popunite i obavestiće vas.
Tip po imenu Kris Vong je to uradio.
Kris je tamo otišao i rekli su mu:
"Donesite nov hard disk u kancelariju,
ostavite ga na pet sati i prebacićemo vam te podatke."
Eto odakle ovi podaci.
Sad, Kris je osoba koja je htela da ih objavi
i tako su oni osvanuli na internetu i eto odakle je ovaj grafikon.
Činjenica da postoji je neverovatna.
Ovi GPS prijemnici - stvarno sjajno.
Ali sama činjenica da građani nose diskove
i grabe podatke od agencija da bi ih objavili -
već su nekako ti podaci javni, možete do njih doći,
ali te nisu javni, te jesu.
Ali možemo više učiniti kao grad.
Ne moraju naši građani da šetaju okolo sa hard diskovima.
Sad, nije sve obuhvaćeno FOIL inicijativom.
Evo mape najopasnijih njujorških raskrsnica
na osnovu nesreća biciklista.
Crvene zone su najopasnije.
Mapa pokazuje istočnu stranu Menhetna,
posebno donje delove u kojima su biciklističke nesreće češće.
To ima smisla
zato što ima više biciklista koji prelaze mostove tamo.
Ali vredi proučiti ključne tačke.
To je Vilijamzburg, to je Ruzveltova avenija u Kvinsu.
To je vrsta podataka potrebna za Nultu viziju.
To je ono što upravo tražimo.
Ali postoji priča iza tih podataka.
Ti se podaci nisu sami pojavili.
Koliko vas poznaje ovaj logo?
Da, vidim neke podignute ruke.
Da li ste ikada pokušali da iskopirate nešto iz PDF-a
i dešifrujete to?
Sad vidim više ruku.
Više vas je nešto kopiralo nego što prepoznaje logo. To mi se sviđa.
Podaci koje ste upravo videli su smešteni u PDF-u.
U stvari, stotine i stotine stranica u PDF-u koje je naša policija objavila
a kako bi im pristupili,
ili morate da kopirate i lepite stotinama sati
ili biste mogli biti Džon Kraus.
Džon Kraus nije hteo
da kopira podatke. On je napisao program.
Zove se NYPD Crash Data Band-Aid
i odlazi na sajt policije kako bi preuzeo PDF datoteke.
Svakog dana bi pretraživao,
našao PDF fajl i preuzeo ga.
Zatim bi pokrenuo neki program koji otvara PDF
i ostavlja čisti tekst.
Potom bi podatke objavio na internetu da bi ljudi mogli praviti ovakve mape.
Činjenica da imamo podatke ovde i da im možemo pristupiti -
usput, svaka nesreća je kolona u ovoj tabeli.
Možete zamisliti koliko je to fajlova.
Sjajno je što možemo da im pristupimo,
ali hajde da ne budu u PDF-formatu,
zato što onda građani moraju da programiraju čitače.
Nije dobro da građani gube vreme,
a mi kao grad možemo bolje od toga.
Sad, dobre su vesti da je administracija De Blazija
objavila podatke pre nekoliko meseci,
tako da im sad možemo pristupiti,
mada je velika količina podataka i dalje zaglavljena u PDF-u.
Na primer, podaci o stopi kriminala su i dalje u tom formatu.
Ne samo ti podaci,
već i naš budžet.
Podaci o budžetu su dostupni samo u PDF formatu.
Nismo samo mi ti koji ga ne mogu analizirati,
već i naši zakonodavci koji su glasali za njega,
mogu ga dobiti samo u PDF-u.
Tako naši zakonodavci ne mogu analizirati budžet koji treba da donesu.
Smatram da mi kao grad možemo učiniti nešto bolje od toga.
Sad, postoje brojni podaci koji nisu skriveni u PDF-u.
Primer toga je mapa koju sam izradio.
Ovo je jedan od najprljavijih njujorških kanala.
Kako da izmerim prljavštinu?
Pomalo je čudno,
ali kada pogledam nivo fekalnog koliforma
koji je mera fekalnog otpada u svakom našem kanalu.
Što je veći krug, to je prljavija voda.
Tako da je u velikim krugovima prljava voda, dok su mali čistiji.
Ovo što vidite su kanali u unutrašnjosti.
Grad je ove podatke pet godina prikupljao.
Kanali u unutrašnjosti su uglavnom prljaviji.
Ima smisla, zar ne?
Iz toga sam naučio nekoliko stvari.
Prvo, nikad ne plivajte u onom što se naziva potokom ili kanalom.
Drugo, pronašao sam najprljaviji njujorški kanal
ovim merenjem, samo jednim merenjem.
Radi se o Koni Ajlend Kriku, što nije srećom
Koni Ajlend u kom plivate. Ovaj je na drugoj strani.
Ali na prvom je 94% uzoraka uzetih tokom pet godina
imalo tako visok nivo fekalija
da bi po državnom zakonu bilo ilegalno plivati u toj vodi.
Ovakav podatak neće biti
naduvan u gradskom izveštaju, neće biti na prvoj stranici nyc.gov.
Nećete ih tamo videti,
ali činjenica da možemo da dođemo do tih podataka je sjajna.
Ali da kažem ponovo, to nije prelako
zato što ovi podaci nisu u javnoj bazi podataka.
Kada biste otvorili javnu bazu podataka,
to je samo mali deo njih, godina ili par meseci.
Bili su u stvari na sajtu Odseka za zaštitu okoline.
Svaki od ovih linkova je tabela u Ekselu, a svaka Eksel tabela je drugačija.
Svaki naslov je različit: kopirate ga, prenosite, reorganizujete.
Super je kada to radite i pravite mape, ali još jednom,
mi to možemo bolje kao grad, mi možemo normalizovati stvari.
Mi dostižemo to zato što postoji sajt koji je Sokrata napravila
i koji se zove Otvoreni portal Njujorka.
Ovo je bilo 1100 datoteka koje ne pate
od stvari koje sam ovde naveo,
a taj broj raste, što je odlično.
Možete preuzeti podatke u bilo kom formatu poput CSV-a, PDF-a ili Eksela.
Šta god želeli, možete preuzeti podatke na taj način.
Problem je što kada to uradite,
otkrićete da svaka agencija drukčije kodira svoje adrese.
Tako da je jedno naziv ulice, raskrsnice,
opštine, adrese zgrade.
Još jednom trošite vreme čak i kada imate ovaj portal,
trošite vreme sređujući adrese.
A to nije najprikladnije trošenje vremena građana.
Možemo to bolje uraditi kao grad.
Možemo standardizovati adrese.
Ako to uradimo, dobićemo ovakve mape.
Ovo je mapa njujorških nadzemnih hidranata,
ali ne bilo kakvih nadzemnih hidranata.
Ovo su 250 najboljih hidranata
što se tiče plaćanja kazni za parking.
(Smeh)
Naučio sam nekoliko stvari sa ove mape.
Pod jedan: ne parkirajte se na Aper Istu.
Jednostavno nemojte. Gde god se vi parkirali, dobićete kartu za hidrante.
Pod dva: pronašao sam dva najprofitnija njujorška hidranta,
a oni su na nižem Ist Sajdu.
Donose više od 55 000 dolara godišnje naplatom parkinga.
Delovalo mi je čudno kada sam to primetio,
tako da sam malo kopao
i ispalo je da postoji hidrant i proširenje za parkiranje
što je oko 2 metra prostora za hodanje,
i mesto za parkiranje.
Tako su se pojavili ovi automobili, a hidrant -
"Ima mesta ovde koliko hoćete, meni je ok",
dok u stvari za automobile postoji obeleženo mesto za parkiranje.
Tamo bi parkirali, dok se policija sa tim ne bi složila
i naplatila im kaznu.
Nisam samo ja bio taj koji je pronašao kaznu za parking.
Ovde je Guglov automobil koji prolazi i nalazi istu kaznu za parking.
O ovome sam pisao na svom blogu, I Quant NY, i Odeljenje za saobraćaj
je odgovorilo i rekli su:
"Iako Odeljenje za saobraćaj nije dobilo nikakve zvanične žalbe za ovu lokaciju,
razmotrićemo oznake na putu i napraviti neophodne izmene."
Pomislio sam da je to tipičan odgovor vlasti,
i nastavio sam sa svojim životom.
Ali nekoliko nedelja kasnije, desilo se nešto neverovatno.
Prefarbali su to mesto
i na sekund sam pomislio da sam video budućnost otvorenih podataka,
jer razmislite o tome šta se ovde desilo.
Godinama su se na ovom mestu naplaćivale kazne i bilo je zbunjujuće,
a onda je građanin otkrio nešto, to rekao gradu i za nekoliko nedelja
problem je bio rešen. To je neverovatno.
Dosta ljudi vidi otvorene podatke kao vrstu čuvara.
Ne radi se o tome, već o partnerstvu.
Možemo osnažiti svoje građane da budu bolji partneri vladi
i to nije tako teško.
Samo je potrebno nekoliko promena.
Ukoliko zahtevate podatke,
ukoliko vidite da ljudi stalno od vas zahtevaju podatke,
to je znak da treba da budu javni.
A ako ste javna agencija koja postavlja PDF dokument,
donesimo zakon koji zahteva od vas da ga postavite sa pratećim podacima
zato što ti podaci dolaze odnekud.
Ne znam odakle, ali odnekud i možete ih postaviti sa PDF-om.
I hajde da usvojimo i delimo neke standarde o otvorenim podacima.
Počnimo sa adresama ovde u Njujorku.
Počnimo samo da normalizujemo naše adrese.
Njujork vodi što se tiče otvorenih podataka.
Uprkos svemu, mi smo na vrhu što se tiče otvorenih podataka
i ako počnemo da normalizujemo stvari i odredimo standard za otvorene podatke,
drugi će nas pratiti.
Država, a možda i savezna vlada.
Mogle bi da nas prate i druge države
i nismo tako daleko od vremena gde biste mogli da napišete program
i mapirate informacije iz 100 država.
To nije naučna fantastika. Zapravo smo veoma blizu.
Usput, koga osnažujemo ovim?
Nisu to samo Džon Kraus i Kris Vong.
Postoji stotine sastanaka koji se sada dešavaju u Njujorku,
aktivnih sastanaka.
Postoji hiljade ljudi koji posećuju ove sastanke.
Ti ljudi dolaze nakon posla i tokom vikenda
i posećuju ove sastanke da bi videli velike podatke
i načinili naš grad boljim mestom.
Grupe poput BetaNYC, koja je prošle nedelje objavila citygram.nyc
koji vam omogućava da se pretplatite na servis za žalbe
oko vašeg doma ili kancelarije.
Ukucate svoju adresu, dobijete lokalne žalbe.
Nije samo zajednica informatičara koja je uključena ovde.
Tu su i arhitekte, poput studenata kojima predajem na Pretu.
To su pravni zastupnici, to su svi,
građani iz raznih pozadina.
I uz male, postepene promene,
možemo osloboditi strast i mogućnosti naših građana
da iskoriste otvorene podatke i načine naš grad još boljim,
bez obzira da li je to jedan po jedan komplet podataka ili po parking mesto.
Hvala vam.
(Aplauz)