2016网络营销学习第六天：robots.txt的用法及设置-robots文件

2016EME学习第六天：robots.txt的用法及设置

一.什么是robots文件

robots.txt：存放在空间根目录；限制搜索引擎对网站内容抓取的协议文件；如果根目录下没有该文件，表示网站所有网页都允许被抓取；

二.robots文件的格式和内容

1.robots是txt格式的文件，放置在网站的根目录

2.robots文件的写法

User-agent:蜘蛛名称(*代表所有蜘蛛)

Disallow:不允许被抓取的文件路径(不写域名，/表示根目录)

例1：

User-agent: *

Disallow:

表示网站所有内容都允许抓取；跟没有robots.txt是一样的

例2：

User-agent: Baiduspider

Disallow: /

表示网站所有内容不允许被百度抓取；

例3：

User-agent: *

Disallow: /?p=*

表示网站中满足 网址/?p=参数的URL都不被抓取，例如网址/?p=1；网址/?p=2；网址/?p=3；

三.robots在SEO中的作用

1.死链接提交，如果网站中出现了死链接，是对我们网站的SEO有较大影响的，这时候可以利用robots文件，禁止抓取这些死链接，然后提交到百度站长的死链提交工具，从而解决这个问题。

2.robots.txt放网站xml地图：Sitemap:url/sitemap.xml，告诉蜘蛛我们的网站地图在哪里，提升搜索引擎的抓取效率

3.禁止搜索引擎抓取我们不想被抓取的文件

如果对你有一点点帮助，请百度钟震讲网络营销或者长沙网络营销师.!大恩不言谢，本人真诚建站

原文地址http://www.sheiyouqian.com/eme/1188.html