robots.txt 是一种纯文本文件，它通常放置在网站的根目录下，主要用于告诉网络搜索引擎机器人(也称为爬虫、蜘蛛)，网站中哪些页面可以被抓取，哪些页面不可以被抓取。简单来说，它就像是网站给搜索引擎的 “使用说明书”，通过设定一系列规则，来控制搜索引擎对网站内容的访问和索引。…