官方公众号企业安全新浪微博
FreeBuf.COM网络安全行业门户，每日发布专业的安全资讯、技术剖析。
FreeBuf+小程序
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。
聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。
另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
为什么链接对于SEO和Web爬网程序如此重要？
整个互联网是巨大的；内容数量不限的未知信息。搜寻器没有时间访问每个页面，实际上，许多网页（介于20％到30％之间，具体取决于谁提供统计信息）都是所谓的“暗网”页面，无法访问或连接到常规Internet大多数人都知道和使用的 除了这些例外情况，网站之间的链接是爬网程序如何找到您的网页。
抓取漫游器始于所谓的种子。已知的可访问网站列表（例如百度，搜狗等）。该机器人从这些种子站点爬取到其他站点的链接，为这些站点建立索引，然后重复该过程。这就是已知Web的工作方式以及链接。
如果您的页面未与许多知名的“种子”网站链接，则爬网机器人会倾向于对您的排名降低。经常通过权威网站链接到自己，或者自己成为权威，这是一种高居榜首的好方法。为了帮助您到达那里，请查看我们现在可以执行的SEO维护任务列表。
如果您担心自己的网站根本没有连接任何东西，例如可以向百度提交sitemap.xml页面或进行爬网请求，以便他们知道您的存在，并且机器人会开始将您包括在常规爬网中。这是一个好习惯，因为这样做还会使百度知道您，要爬网您的网站，这意味着他们会告诉您robots.txt或其他错误。