网站优化基础知识 什么是robots.txt 什么是robots协议

什么是robots.txt

robots.txt 是一种纯文本文件，它通常放置在网站的根目录下，主要用于告诉网络搜索引擎机器人(也称为爬虫、蜘蛛)，网站中哪些页面可以被抓取，哪些页面不可以被抓取。简单来说，它就像是网站给搜索引擎的 “使用说明书”，通过设定一系列规则，来控制搜索引擎对网站内容的访问和索引。

通常可以通过输入主页的完整 URL，然后添加 /robots.txt 来查看任何给定网站的 robots.txt 文件，例如 https://www.cloudflare.com/robots.txt。该文件未链接到网站上的任何其他位置，因此用户不太可能会偶然发现该文件，但是大多数网页爬网程序机器人都会在抓取该网站的其余部分之前先查找该文件。

虽然robots.txt文件提供了有关机器人的规范，但实际上并不能执行这些规范。良性的机器人(例如网页爬网程序或新闻提要机器人)将先尝试访问robots.txt文件，然后再查看域中的任何其他页面，并将按照说明进行操作。恶意的机器人忽略robots.txt文件或对其进行处理，以查找被禁止的网页。

网页爬网程序机器人将遵循robots.txt文件中最具体的指示集。如果文件中有矛盾的命令，则机器人将遵循更细化的命令。

要注意的一件事是，所有子域都需要有自己的robots.txt文件。

什么是robots协议

robots协议也称爬虫协议、爬虫规则等,是指网站可建立一个robots.txt文件来告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,而搜索引擎则通过读取robots.txt文件来识别这个页面是否允许被抓取。但是,这个robots协议不是防火墙,也没有强制执行力,搜索引擎完全可以忽视robots.txt文件去抓取网页的快照。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据(Metadata，又称元数据)。

robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。