网站Robots文件需要了解的知识-robots文件

网站robots文件是放在网站根目录下的一个txt文档文件。这个文件的作用就是规定搜索引擎蜘蛛不能抓取我们网站的哪些东西/哪些文件。（默认是全部抓取，robots写的规则大部分都是规定蜘蛛不让抓取什么东西）

当搜索引擎蜘蛛来到我们网站的时候，robots文件是蜘蛛第一个访问的文件。

需要注意：robots文件写入后不会马上生效，生效周期大约1个月左右！

【夜行SEO：90后Seoer，正在学习阶段，不定期发布学习后的感想和知识经验，欢迎大家一起交流学习。】