什么是Robots协议文件，Robots协议文件，robots.txt，是网站空间目录中的一份txt文本文件，通过在文件中添加规则内容，网站管理者可以控制搜索引擎蜘蛛如何爬取网站页面，Robots协议文件的配置格式Robots协议文件的规则…