使用robots引导SEO搜索引擎允许禁止访问网站目录或文件-robots文件
通常像后台管理登录页面、会员登录与注册页面等不想让搜索引擎收录/抓取,怎么办?那办法之一就是通过robots.txt文件来实现。
Robots也称做爬虫协议,写法是robots.txt(不用写成Robots.txt),一定要放在网站根目录,其他目录无效。搜索引擎爬虫访问/抓取网站首先访问的就是robots.txt文件,其次才是index.html/index.php、网站目录等。网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。很多人知其一不知其二,懂得一些简单写法用法。但有些人仍然有所忽略,那就是涉及安全隐私的问题。
以下是个人写法,仅供参考:
User-agent: * 搜索引擎的标识,*代表包括百度、谷歌等任意引擎。要具体指定的话这里不详述了。
Disallow: /a*/ 禁止以“a”适配开头的目录下的访问,例如:admin/index.html 是不能访问的。
Disallow: /C*/ 同上,这个大写的C,要注意区分大小。
Disallow: /js/ 禁止访问js目录的任何
Disallow: /*? 禁止包含 ? 的网址,如:www.haook.cn/abc?id=88或www.haook.cn/aa?cc=2 这样的形式。
Disallow: /*.webp$ 禁止访问以.webp结尾的所有图片
Sitemap: <http://www.haook.cn/sitemap.xml> 允许访问这个网站地图文件。
这里说要注意的就是要使用网站地图指令,用"<>"将网站地图的URL地址包裹,有些人说不用加,这你看着办吧。
用*适配符号以防止黑客或恶意攻击的行为,你认为不重要的就不要用*了,直接写上全名即可,如“/js/”。
部分像谷歌搜索引擎还支持网页内写上 <meta name="robots" content="noindex,nofollow" /> 来实现其功能。
注意:对于访问您网站的抓取工具来说robots.txt 命令仅仅只是指令,robots.txt 文件中的命令并不能强制抓取工具对您的网站进行相应的抓取操作。
相关内容
-
在wps中粘贴保留原格式化|wps中复制文件保留原
在wps中粘贴保留原格式化|wps中复制文件保留原有格式,格式化,...
-
什么是boot.ini文件错误ini的非法解决方案
什么是boot.ini文件错误ini的非法解决方案,,千奇百怪的电脑问...
-
鼠标不能拖动文件了
鼠标不能拖动文件了,鼠标,拖动,本文目录鼠标不能拖动文件了电...
-
Outlook的PST文件损坏的修复方法
Outlook的PST文件损坏的修复方法,文件, ...
-
电脑什么文件不能删除文件|电脑中哪些文件不能
电脑什么文件不能删除文件|电脑中哪些文件不能删除,,电脑中哪...
-
电脑上怎样打文件|电脑上怎样打文件符号
电脑上怎样打文件|电脑上怎样打文件符号,,电脑上怎样打文件符...
-
将wps转为EX|把WPS文件转为excel表格
将wps转为EX|把WPS文件转为excel表格,转为,如何将,wps,1.怎么...
-
网页抓取电脑信息|电脑网页捕获
网页抓取电脑信息|电脑网页捕获,,1. 电脑网页捕获可以使用抓包...
-
电脑字幕手机怎么载入|电脑字幕手机怎么载入文
电脑字幕手机怎么载入|电脑字幕手机怎么载入文件,,电脑字幕手...
-
u盘看不到文件其他电脑可以看到|电脑里看不到u
u盘看不到文件其他电脑可以看到|电脑里看不到u盘,,1. 电脑里看...
-
如何解决errtor加载操作系统的引导
如何解决errtor加载操作系统的引导,,电脑启动后,屏幕上出现了er...
-
你忘记了计算机的开放密码吗计算机引导代码修改
你忘记了计算机的开放密码吗计算机引导代码修改,,计算机的启动...
-
百度地图设置路线|百度地图设置路线偏好
百度地图设置路线|百度地图设置路线偏好,,百度地图设置路线当...
-
斑马打印机官方网站|斑马标签打印机官网
斑马打印机官方网站|斑马标签打印机官网,,斑马标签打印机官网...
-
联想笔记本电脑主板颜色|联想笔记本颜色配置文
联想笔记本电脑主板颜色|联想笔记本颜色配置文件,,联想笔记本...