robots爬虫协议正确写法与实操经验分享-robots文件
想要网站健康收录,那一定离不开Robots协议的设置以及robots正确写法,如何设置robots协议,首先从了解robots协议开始。
第一:认识Robots
Robots简单来说就是搜索引擎和我们网站之间的一个协议,用于定义搜索引擎抓取和禁止的协议。robots基本语法符号:/ 、* 、$
/ 在允许和禁止的文件和文件夹前写; * 通配符,能够匹配所有的英文字符包括数字0; $ 表示结束符,用于屏蔽图片时候用。
第二:Robots.txt正确写法注意事项
①要顶格写。不要前面空几格。
②要在英文输入法下写语句。因为中文下的冒号和英文冒号不一样。
③开头要大些。如:User-agent,Baiduspider④冒号后要空一格。User-agent: /Baiduspider
第三:实操Robots写法
在写robots协议时,首先先要定义什么样的蜘蛛,如:User-agent: Baiduspider 指的就是定义百度蜘蛛,除了百度蜘蛛外还包括谷歌机器人、搜狗蜘蛛等等。
其次在下一行写上允许和禁止的语句,如:
如何屏蔽整站:Disallow: / 指的就是屏蔽整个网站(/单个符号搜索引擎认为是根目录);
如何屏蔽具体路径:Disallow: /toutiao.com/forum-53-1.html 指的是屏蔽具体某一个路径;
如何屏蔽文件和文件夹:Disallow: /uploads 指的是屏蔽uploads开头的文件和文件夹;
如何屏蔽文件夹:Disallow: /uploads/ 指的是只屏蔽uploads文件夹;
如何屏蔽动态路径:例如:toutiao.com/speedtest.aspx?host=bbs.moonseo.cn为动态路径,问号前toutiao.com/speedtest.aspx可以用通配符*代替,接着一个问号,然后问号后host=toutiao.com也可以用一个通配符*代替,所以其语句可以这样写:Disallow: /*?*
如何屏蔽图片:Disallow: /*.webp$ 如果单纯的写Disallow: /*.webp是屏蔽不了图片的,所以要在图片后面写上结束符$,指的是屏蔽所以jpg格式的图片;
那么相应的Allow语句写法也是如上所说。
相关内容
-
在wps中粘贴保留原格式化|wps中复制文件保留原
在wps中粘贴保留原格式化|wps中复制文件保留原有格式,格式化,...
-
什么是boot.ini文件错误ini的非法解决方案
什么是boot.ini文件错误ini的非法解决方案,,千奇百怪的电脑问...
-
鼠标不能拖动文件了
鼠标不能拖动文件了,鼠标,拖动,本文目录鼠标不能拖动文件了电...
-
Outlook的PST文件损坏的修复方法
Outlook的PST文件损坏的修复方法,文件, ...
-
联想扫地机器人|联想扫地机器人顶部雷达被挡住
联想扫地机器人|联想扫地机器人顶部雷达被挡住了,,联想扫地机...
-
电脑什么文件不能删除文件|电脑中哪些文件不能
电脑什么文件不能删除文件|电脑中哪些文件不能删除,,电脑中哪...
-
电脑上怎样打文件|电脑上怎样打文件符号
电脑上怎样打文件|电脑上怎样打文件符号,,电脑上怎样打文件符...
-
将wps转为EX|把WPS文件转为excel表格
将wps转为EX|把WPS文件转为excel表格,转为,如何将,wps,1.怎么...
-
电脑字幕手机怎么载入|电脑字幕手机怎么载入文
电脑字幕手机怎么载入|电脑字幕手机怎么载入文件,,电脑字幕手...
-
u盘看不到文件其他电脑可以看到|电脑里看不到u
u盘看不到文件其他电脑可以看到|电脑里看不到u盘,,1. 电脑里看...
-
电脑函数不正确|电脑出现函数不正确
电脑函数不正确|电脑出现函数不正确,,1. 电脑出现函数不正确故...
-
联想笔记本电脑主板颜色|联想笔记本颜色配置文
联想笔记本电脑主板颜色|联想笔记本颜色配置文件,,联想笔记本...
-
电脑文件或丢失开不了机|电脑文件或丢失开不了
电脑文件或丢失开不了机|电脑文件或丢失开不了机,还没有键盘...
-
复打印快捷键|复印文件快捷键
复打印快捷键|复印文件快捷键,,1. 复印文件快捷键电脑截屏全选...
-
共享文件夹设置|怎么设置共享文件夹
共享文件夹设置|怎么设置共享文件夹,,怎么设置共享文件夹第一...