什么是网页爬取？含义、过程与示例

要点速览

网页爬取是搜索引擎用来在互联网上查找、读取网页并为其编制索引的自动化过程。它由网页爬虫执行。网页爬虫是一种小型程序，也称为蜘蛛机器人，它会沿着链接从一个页面跳到另一个页面，访问每个页面并保存所看到的内容，以便该页面日后出现在搜索结果中。简而言之，没有爬取就没有索引，没有索引就无法出现在 Google 或 Bing 中。

什么是网页爬取？

这是一项分析网络上各个网站内容的自动化任务。网页爬取由网页爬虫执行，网页爬虫也称为蜘蛛机器人。它会访问网站的每个页面来检查整个网站。这样，蜘蛛机器人就能帮助 Google 等搜索引擎发现页面并将其编入数据库索引。这对于保持搜索结果的相关性相当重要。

机器人的作用是收集信息，包括相关链接、网站内容和网站结构。随后，搜索引擎会利用这些信息对网站进行排名，并建立相应的索引。

同一过程有时也被称为网站爬取、互联网爬取或网络蜘蛛爬行。它们描述的都是同一件事：机器人在网络上从一个页面爬到另一个页面，并沿途收集数据。“蜘蛛”一词正是源于机器人在链接之网中移动的方式，就像蜘蛛在自己的网上爬行一样。

没有网页爬取，搜索引擎就没有可供排名的内容。您在 Google、Bing 或 Yahoo 上看到的每一条结果之所以存在，都是因为爬虫先访问了该页面、读取了内容，并将其添加到索引中。

什么是网页爬虫？

网页爬虫是一种为搜索引擎浏览网络的机器人，也称为蜘蛛、蜘蛛机器人或搜索引擎机器人。它唯一的任务就是访问页面、读取内容，并将信息传回搜索引擎，以便为该页面编制索引。

不同的搜索引擎运行各自的爬虫。最知名的包括：

• Googlebot：Google 的爬虫，桌面端和移动端各有独立版本
• Bingbot：Bing 的主要爬虫
• YandexBot：由 Yandex 使用
• DuckDuckBot：DuckDuckGo 的爬虫
• Baiduspider：由中国搜索引擎百度使用
• Slurp：Yahoo 较早的爬虫机器人

这些爬虫都遵循类似的规则，但它们对页面的优先级排序方式和重新访问频率各不相同。这也是同一网站在 Google 和 Bing 上的排名可能不同的原因之一。

请参阅这篇文章，了解网页爬虫与网页抓取工具之间的区别。

网页爬取如何工作？

网页爬取的过程并不简单。它从已知的 URL 开始。蜘蛛机器人会访问每个网址，检查页面并提取数据。此外，它还会通过检查入站和出站链接来找到新的 URL。这样，网页爬虫或搜索引擎机器人就能不断扩大所覆盖的网页范围。这一网站爬取过程会持续进行，用于数据处理和网站索引。

需要注意的是，网站爬取以一个名为 robots.txt 的文件为依据。该文件会告诉网页爬虫应访问哪些页面。抓取工具也遵循同样的规则。

网页爬取过程可分为四个基本步骤：

1. 从种子 URL 开始。爬虫从一份已知的网址列表开始。
2. 获取并读取页面。它会下载页面内容，包括文本、图片和元标签。
3. 查找新链接。页面上的每个链接都会被加入一个称为“爬取边界”（crawl frontier）的队列。
4. 重复并重新访问。爬虫会转到队列中的下一个 URL，并不时回到旧页面检查是否有更新。

这个循环从未真正停止。网络每秒都在变化，因此爬虫会一直运行，以保持搜索引擎索引的新鲜度。

网页爬取与网页抓取：区别

网页爬取的核心是发现和编制索引。爬虫在网络上移动、跟踪链接，并告诉搜索引擎有哪些页面存在。它不太关心页面上的数据，只关心页面是否存在。

网页抓取的核心是提取。抓取工具会访问特定页面（或一组页面），并提取特定数据：价格、评价、产品详情、联系信息。其目标是获取可用于业务、研究或分析的有用内容。

记住两者区别的简单方法：

• 爬取 = “外面有哪些页面？”
• 抓取 = “这个页面上有哪些我需要的内容？”

爬虫通常遵守 robots.txt 中的规则，并对服务器保持友好。抓取工具的目标性更强，通常会使用代理或 VPN 来访问数据而不被封锁。

网页爬虫的类型

并非每种爬虫都执行相同的任务。根据索引的内容和频率，网页爬虫可分为以下几种主要类型：

• 通用爬虫：由大型搜索引擎（Googlebot、Bingbot）使用，尽可能多地爬取公开网络。
• 聚焦爬虫：只爬取与特定主题或领域相关的页面，适用于垂直搜索引擎和研究项目。
• 增量爬虫：重新访问已知页面，以捕获更新并替换过时的链接。
• 分布式爬虫：同时在多台机器上运行，将工作分配到多台服务器上。
• 企业爬虫：由单个公司使用，为自己的网站编制索引，方便用户在站内搜索。

大多数现代网页爬取工具会同时结合其中几种方式，以保持快速和准确。

优点与缺点

优点

• 搜索引擎能及时收录新增和变更的内容。
• 用户能获得更准确、更相关的搜索结果。
• 网站所有者能从搜索中获得流量。没有爬取，网站在 Google 面前就是不可见的。
• 爬虫还有助于网站审计、SEO 检查和价格监测。

缺点

• 过多机器人访问同一台服务器可能会拖慢网站速度。
• 伪装成爬虫的恶意机器人可能会抓取内容或窃取数据。
• 忽略 robots.txt 的爬虫可能会为本不应公开的页面编制索引。

为了在不让单个 IP 过载的情况下进行大规模爬取，开发人员有时会使用蜘蛛池（一组通过大量代理或服务器分担工作的爬虫机器人）。这可以加快爬取速度，降低被封锁的几率，并使任何单个目标网站的负载保持在较低水平。

示例

Google、Bing 和 Yahoo 等大型搜索引擎依靠网页爬虫为网站编制索引。爬虫还被用于 SEO，以分析网站结构。许多在线广告专家会使用网络蜘蛛来查看和比较价格。

除了搜索引擎，企业也会依靠网页爬取来满足自身需求。SEO 团队会爬取自己的网站，查找失效链接、缺失的元标签以及未被索引的页面。电商公司使用爬虫实时跟踪竞争对手的价格。新闻聚合平台会爬取各家出版方的网站，以呈现最新报道。

简而言之，凡是需要（大规模）了解网络上有哪些内容的地方，都有网页爬虫在完成这项工作。

常见问题

网页爬取是什么意思？

网页爬取是指使用机器人自动浏览互联网，以查找和读取网页。收集到的数据随后会被搜索引擎用来建立网络索引。

网页爬虫和网络蜘蛛有什么区别？

它们是同一种东西。“蜘蛛”只是网页爬虫较早的别称，源于机器人在链接之“网”中移动的意象。

网页爬取合法吗？

爬取公开网页通常是合法的，尤其是在爬虫遵守网站 robots.txt 规则的情况下。爬取需要登录才能访问的页面、无视 robots.txt 或重复使用受版权保护的内容，则可能进入法律灰色地带。

网页爬取中的蜘蛛池是什么？

蜘蛛池是一组协同工作的爬虫机器人，通常分布在大量 IP 地址或代理上。它可以让您更快地爬取大型网站，并降低被限速或被封锁的风险。

网页爬取在 SEO 中如何使用？

SEO 专家使用爬虫审计自己的网站，查找失效链接、重复页面、缺失的标签或搜索引擎无法访问的页面。爬取您的网站，是解决阻碍其获得排名的问题的第一步。

搜索引擎多久爬取一次网站？

这取决于网站本身。热门且更新频繁的网站一天可能会被爬取多次。规模较小或很少更新的网站可能每隔几周才会被爬取一次。