[David Evans]所以课程前三单元的目标就是创建语料库

[Sebastian Thrun]你对创建搜索引擎有什么体会呢

[Sergey Brin - Google公司创建者]是的。如果你想创建一个搜索引擎

不是创建一个搜索引擎

也可能没有，这取决于浏览器的设置

从一个好的种子网页开始

从一个种子网页开始

从创建搜索引擎中学到的知识

从网页中取出一个链接

以找到其他网页。那些网页中有更多链接

但那时候的万维网也比今天的要新鲜和令人兴奋

作为推动学习计算机科学

你曾经创建过一个搜索引擎，是吗？

其中有各种出乎意料的事情

其中有很多内容，有一些图像，有一些文本

列表中的每个网页都含有需要查询的关键字

剩下的三个单元中我们将看看如何响应查询

取出其中的链接

和推动学习编程的车轮

因为第一单元要做的只是

好像有很多事情要做

如果网页中有很多链接，则需要找出所有链接

它将拥有像Google那样的搜索引擎所拥有的主要部件

将是功能完整的搜索引擎

将让我们能够解决很多其他问题

就可以找到很多网页

就有一种创建语料库的途径了

已经扯得太远了

当然它不会像Google那样强大

我们从一串文本开始

我们使用udacity网站作为网页的例子

我们只想写少量代码

我们想要更简单一些

我们要找出最好的一个网页

我们要找出那个URL

我们要看看如何为含有关键字的网页评分

我们那时候使用万维网，那时候的万维网比今天的要小得多

我认为最重要的是

找出其中的所有链接，跟踪它们以找到其他网页

抓取网页是网页爬虫的工作

搜索一个关键字的时候，需要一个网页列表作为响应

收集那些网页中的链接

文本中有带URL的链接

最终我们会有网络中很多网页的集合

有一个到CS101页面的链接

没有必要找出网络中的每个网页

然后继续跟踪其他网页中的链接

爬虫要做的就是从一个网页开始

直到网页爬虫收集了很多、很多网页

第一单元要做的仅仅只是取出一个链接

第一次上课不会完成所有事情

第三单元将收集所有链接，这样就可以继续抓取

第三单元将超越一个网页

第三单元结束的时候，我们就已经创建了一个网页爬虫

第二单元的目标是

第二单元结束的时候我们就可以打印一个网页中的所有链接了

第二单元要做的就是

第五单元我们将讨论如何在大语料库的情况下扩展这种方法

第六单元要做的不仅仅是找出一个网页列表

第四单元中，我们将计算如何给出好的响应

继续查找

网页爬虫是从网页中提取内容的程序

网页爬虫能够找到的网页

网页爬虫要做的就是

考虑一个在浏览器中看到的，这样的网页

而其他网页也可能含有链接

而是将创建搜索引擎

要从一个很好的语料库开始

要记住的是，我们的真正目标

要通过抓取网页来为我们的搜索引擎创建语料库

解决如何继续处理，取出所有链接的问题

请求网页的时候，这些内容都会到达浏览器

课程结束时候我们创建的搜索引擎

跟踪它们，收集所有链接

跟踪这些链接到达其他网页

还有其他一些链接

这个网页上有另一个链接

这个链接可能是我的名字，指向我的主页

这样才能请求下一个网页

这里有一个到常见问题的链接

都是通过跟踪链接得到的

重要的是

重要的是：网页含有链接

链接在浏览器中显示的时候带有下划线

链接指向其他网页

链接是指向其他网页的指针