如何找到纽约最差停车点——使用大数据

市政部门拥有大量反映城市生活各个领域的数据。但是作为数据分析师，本·威灵顿在这个愉悦的演讲中认为有时市政部门并不知道如何使用这些数据。他展示了 如何将未知问题和智能数据处理相结合，产生奇妙有效的见解，并且分享了关于如何发布大数据，方便每个人使用的方法。

六千英里的公路，

六百英里的铁路，

四百英里的自行车道，

以及半英里的电车轨道，

如果你曾经去过罗斯福岛就会知道。

上述数据构成了纽约的基础设施网络。

这些是我们基础设施的统计数据。

这些数据你们都可以在
市政机关的报告中找到。

比如，交通部可能会告诉你

他们维修了多少英里的路。

MTA(大纽约交通运输管理局)
会吹嘘纽约有多少英里的铁路。

多数的市政机关会给我们一些统计数据。

这是来自今年出租车与轿车

委员会的一个报道，

从中我们可以知道纽约一共有
13500辆出租车。

很有趣，对吧？

但是你们有没有想过这些数据从哪里来的？

因为这些数据的存在，市政机关的某个人

可能会想：嗯，这个数据也许会有人想要知道。

这个数据我们的市民想要了解。

于是他们找出原始数据

计数，做补充，再计算，

并且将它们放在报告里。

于是这些报告就会包含这些数据。

不过问题是，
他们要怎么知道我们所有感兴趣的问题？

我们有很多的疑问。

事实上，关于我们的城市，

我们有无数的问题要问。

政府部门当然没办法全部回答。

所以现有模式不是十分有效，
并且我认为决策人也意识到了这个问题。

因为在2012年，彭博市长签署了一项法令，
他称之为

“全国最有雄心以及最综合性的
开放数据法案”。

在很多方面，他的决定是对的。

在最近两年，
纽约已经在公开的数据门户上

发布了1000组数据库，

非常了不起。

因此你们可以直接得到这些数据，

除了能够计算出租车的数量，

我们不妨问一些不一样的问题。

我有一个问题。

纽约的交通高峰期是哪个时间段？

这个问题可能令人厌烦。
交通高峰期具体指哪个时间段？

我在想，
这些出租车不仅仅是一些数据，

它们是行驶在城市街道的
GPS（全球定位系统）记录器，

记录下每一段它们行驶的路线。

这里有一些数据，我处理了一下，

将纽约出租车全天的
平均速度做了一个图表。

你会发现从午夜到凌晨5点18分，

速度在增加，到了这个点后，
接下来就不一样了，

速度越来越慢直到早上8点35分，

这时候出租车的时速
只有每小时11.5英里。

我们城市街道上的出租车
平均时速是每小时11.5英里，

并且最终保持这个速度

一整天。

（笑）

所以我心说，
纽约并没有什么交通高峰时间段。

只有“高峰日”。

这个结论是有意义的，
因为以下几个原因：

如果你是交通运输系统的规划人，
你可能有兴趣知道这些。

如果你想要快速到达某个地方，

你现在就知道只要将闹钟设在早上4点45分，
估计就没问题了。

在纽约嘛，这样做很合理是吧？

但是在这些数据背后有一个故事，

这些数据不是现成的。

它实际上来自一个叫
”信息自由法案申请“的东西，

或者称为”FOIL 申请“。

这个表格你可以在出租车
与轿车管理委员会的网站上找到。

要拿到这些数据，你必须拿到这个表格，

填写表格，然后他们会通知你，

有一个叫克里斯·王的人就是这样做的。

克里斯去了那里，他们告诉他，

“只要带一个新的硬盘到我们办公室，

我们会将数据拷贝到里面，
过5个小时你就可以拿回去了。”

这就是这些数据怎么得来的。

现在，克里斯想将这些数据公开，

这些数据最终被上传到网络上供大家使用，
这就是这个图表背后的故事。

这一切真的很不可思议，
这些GPS记录器实在太酷了。

但是实际上市民为了使数据公开，

需要带着装有市政部门数据的
硬盘走来走去——

这已经是一种公开性质的，
你们都可以得到，

不过它虽说是“公开”的，
但并不是真正意义上的“公开”。

我们作为一个城市可以做得更好。

我们不需要市民带着硬盘走来走去。

另外，不是每一组数据都需要
填写信息自由法案的申请。

这是一张我根据自行车事故数据绘制出的

纽约最危险十字路口的地图。

红色区域是最危险的。

首先显示的是曼哈顿的东区，

特别曼哈顿的下城区，
发生过很多自行车车祸。

这可能说得通，

因为很多自行车都是从桥上过来的。

不过还有其他值得研究的热点区域。

这里是威廉斯堡。
这里是皇后区的罗福斯大道。

这些正是Vision Zero
（跨国道路交通安全项目）所需要的数据。

这正是我们所要找的。

在这些数据的背后也有一个故事。

它们也不是现成的。

有多少人知道这个标志？

我看到有些人点头。

你们是否曾要复制和黏贴
PDF里的内容，

并且搞清楚这些数据的意义？

我看到更多的人在点头。

比起知道这个标志，有更多的人
试过复制和黏贴。很不错。

所以你们刚才看到的
数据确实是来自一个PDF。

事实上，有不计其数的PDF文档

都是通过纽约警察局公布的，

为了得到这些数据，
你要么需要花几百个小时

复制和黏贴，

或者像约翰·克劳斯那样做。

他是这样做的：

我不想复制黏贴这些数据，
我要写一个程序。

这个程序被称为：”纽约警察局事故数据创可贴“
（NYPD Crash Data Band－Aid），

这个程序先进入纽约警察局的网站，
然后下载PDF文件。

每天进行搜索，如果发现PDF文件，
就会下载下来，

然后它会运行PDF解码程序，

就可以将文本拷出来，

然后上传到网络上，
大家就可以做出这样的地图了。

只要数据在这里，
我们就可以使用这些数据——

每个事故都是这个
表格里的一行数据。

你门可以想象得有多少个PDF文件。

我们可以使用这些数据当然非常棒，

但是不要用PDF的格式公开这些数据，

因为还需要我们的市民写PDF解码程序。

这是在浪费市民的时间，

我们作为一个城市可以做得更好。

有一个好消息，
白思豪（纽约市长）的行政办公室

几个月前公开了这些数据。

现在我们可以直接使用这些数据了，

但是依然有很多数据隐藏在PDF里。

比如，与犯罪相关的数据
依然只能在PDF里才能看到。

不仅仅是与犯罪相关的数据，
还有我们城市的预算。

我们城市的预算只能
在PDF格式的文件里才能看到。

不仅仅是我们无法分析这些数据——

我们为预算投票的立法者

也只能通过PDF得到这些数据。

因此我们的立法者也无法
分析他们要投票的预算方案。

我认为我们作为一个
城市同样可以做得更好。

有许多没有被隐藏在PDF文件里的数据。

我做的地图就是一个例子，

这是纽约最脏的水沟。

我怎么判断肮脏的程度呢?

可能有点奇怪，

我是根据粪便菌群数的水平来判断的，

就是测量每一个水沟粪便物的指标。

圆圈越大，表示水越脏。

所以大圆圈代表脏水，
小圆圈代表较干净的水。

你们看到的是内陆地区的水沟。

这些是过去五年城市取样的所有数据。

内陆地区的水沟普遍更脏。

有道理，是吧？

圆圈越大表示越脏。
我从中了解到几件事。

第一：不要在任何名字末尾有
“小溪”、“运河”的地方游泳。

第二：经过一次测量我就发现了

纽约最脏的水沟。

就是康尼岛小溪，
幸运的是这并不是你们去游泳的康尼岛，

是在岛的另一面。

过去五年，康尼岛小溪94%的取样

所含排泄物含量水平如此高，

以至于州立法已经
禁止人们在此游泳。

这不是你所看到的市政报告中

吹嘘的那一类数据，对吧？

也不会出现在纽约政府官网的首页上。

你们不会在那里看到，

但是我们能得到这些数据是非常棒的。

但是再说一次，
这些数据并不是轻易得到的，

因为这些数据并不是公开的数据库。

如果你们查看公开的数据，

只会看到其中的部分数据，
一年或几个月的数据。

环境保护部门网站上
提供的数据就是这样的。

每一个链接都是一个Excel表格，
每一个表格都是不一样的。

标题也是不一样的：
你复制，黏贴，重新整理。

然后你就可以做一份地图，
那是很棒的，但是再说一次，

作为一个城市我们可以做得更好，
我们可以使数据标准化。

我们正在慢慢改进，
Socrata做了一个网站

叫做“纽约市公开数据门户网站”。

这里有1100组数据，
这些数据不会遭遇

我刚才跟你们说的那种情况，

并且数量还在增长，
这个网站真的很不错。

你们可以下载任何格式的数据，
CSV或者PDF 或者Excel。

你想要什么格式，就以那种格式下载。

问题是，一旦你开始下载数据，

就会发现不同的部门会
用不同方式编码他们的地址。

有的用街道名，十字路口，

街道，区，地址，大厦，大厦地址。

所以你还是需要花时间，
即使我们有这个网站，

你还是需要花时间使地址格式规范化。

这在浪费市民时间。

我们作为一个城市完全可以做得更好。

我们可以将我们的地址格式标准化，

如果我们做到了，
就可以做更多类似这样的地图，

这是纽约市防火栓的地图，

但并不是全部的。

这些是最容易被开罚单的前250个防火栓。

(笑声）

我从这张地图学到了一些东西，
我非常喜欢这张地图。

第一，不要在上东区停车。

不论你停在哪里，
你都会收到一张罚单。

第二，我发现全纽约市消防栓
最多的两个区域，

都在下东区，

并且一年可以带来
55000美元的罚单收入。

我发现这点的时候，感觉有点奇怪，

我做了一些研究，比如有一个消防栓，

旁边有横向拓宽的人行道，

就像一个可以行走的七英尺的空间，

然后旁边是停车位置。

司机将车开过来，心想

“ 还离得挺远，没问题的，“

何况地上还有一个画得美美的停车位。

于是他们将车停在这里，
但纽约警察局不允许这样，

然后他们就会被开罚单。

不仅仅是我收到罚单。

谷歌街景车开过的时候

也看到了同样的罚单。

我将这件事情写在我的博客和
“I Quant NY ”上，交通部回复了我，

他们说，

”虽然交通部没有收到关于这个地点的投诉，

我们还是会评估道路标志，
做出合适的调整。

我认为这是典型的政府答复，

好吧，继续过我的日子。

但是几个礼拜后，
难以置信的事情发生了。

他们重新粉刷了停车位置，

这让我立刻看到了公开数据的未来，

想想这里发生的事情吧。

五年来，这个位置的车常被开罚单，
令人很困惑。

然后有人发现了一些事情，
并且告诉了城市的管理者，在几周内

这个问题就得到了解决。

这太不可思议了。
很多人把公开数据当做监督者。

不是的，它更像是一个合作伙伴。

我们可以赋予市民权利
成为政府的优秀合作伙伴，

这不是很难。

只需要一些改变。

如果你正在申请FOIL数据，

如果你看到你要的数据被反复的请求获得，

让我们直接将这些数据向大众公开吧，
这是一个数据需要公开的信号。

如果你是一个政府部门，
要公开一个PDF，

让我们通过立法，发布被要求的源数据，

因为数据肯定来自某个地方。

虽然我不知道是哪里，

但你们可用PDF的形式将这些数据公开。

让我们采用和共享公开数据的标准。

我们先从纽约的地址开始。

从规范地址格式开始。

纽约在公开数据上属于引领者。

抛开这些问题，
我们在公开数据方面绝对是领先者，

如果我们开始规范化一些事情，
并且建立一个公开数据的标准，

其他人会照着标准做，
纽约州也会照着做，甚至是联邦政府。

其他国家也可能参照这套标准，

不久的将来，我们可以编写一个程序，

并整理出100个国家的数据信息。

这不是科幻小说。
我们已经很接近这个目标了。

顺便说一下，我们的授权对象是谁？

不仅仅是约翰·克劳斯和克里斯·王。

现在纽约有上百个聚会小组，

活跃的聚会小组。

成千上万的人参加了这些小组。

人们在下班后或周末去参加这些活动，

在活动上，人们会处理这些公开数据，

想办法让我们的城市越来越好。

像BetaNYC这样的组织，
上周刚公开了一个叫citygram.nyc的网站,

允许你订阅你家附近

或者你公司附近的311投诉。

输入地址，你就能看到本地的投诉。

这背后不仅仅有个技术团体，

还有许多城市规划者,
比如我在普瑞特艺术学院教过的学生。

不仅仅是政策的提倡者，是每一个人，

是具有不同背景的城市市民。

通过一些微小但与日俱增的变化，

我们就能释放市民的热情和能力，

去利用公开数据
使我们的城市变得更美好，

无论是每次一组数据，
还是一个停车点。

谢谢。

（掌声}