眼界有多宽,世界就有多大!
天津SEO研究中心-老李自媒体博客

robots.txt文件的标准书写以及注意事项

seo工作者应该都知道网站能不能被搜索引擎索引到,除了看有没有向搜索引擎入口提交、有否与其他站点交换链接等之外,还得看根目录底下的robots.txt文件有没有禁止搜索引擎的收录,这里摘录一些关于robots.txt文件的写法备忘。

90fba69cb3aa13c824e217

老李了解到,对于没有配置robots.txt的网站,spider将会被重定向至404错误页面,这里需要特别注意。

相关研究表明,如果网站采用了自定义的404错误页面,那么spider将会把其视作robots.txt——虽然其并非一个纯粹的文本文件,这将给spider索引网站带来很大的困扰,影响搜索引擎对网站页面的收录。

Robots.txt可以制止不必要的搜索引擎占用服务器的宝贵带宽,如e-mail retrievers,这类搜索引擎对大多数网站是没有意义的;再如image strippers,对于大大多数非图形类网站来说它也没有太大意义,但却耗用大量带宽。

什么是robots.txt文件

搜索引擎通过一种爬虫spider程序(又称搜索蜘蛛、robot、搜索机器人等),自动搜集互联网上的网页并获取相关信息。

鉴于网络安全与隐私的考虑,搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt,网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录,或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果该文件不存在,那么爬虫就沿着链接抓取,如果存在,爬虫就会按照该文件中的内容来确定访问的范围。

robots.txt文件的作用

1、屏蔽网站内的死链接。

2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。

3、阻止搜索引擎索引网站隐私性的内容。

因此建立robots.txt文件是很有必要的,网站中重复的内容、页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是我们经常听到的“降低权重”,这样网站的排名就不好了。

robots.txt文件需要注意的最大问题是:必须放置在一个站点的根目录下,而且文件名必须全部小写。

robots.txt文件的基本语法只有两条,第一条是:User-agent,即搜索引擎蜘蛛的名称;第二条是:Disallow,即要拦截的部分。

robots.txt文件的格式

User-agent: 定义搜索引擎的类型
Disallow: 定义禁止搜索引擎收录的地址
Allow: 定义允许搜索引擎收录的地址

我们常用的搜索引擎类型有:

google蜘蛛:googlebot
百度蜘蛛:baiduspider
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
msn蜘蛛:msnbot
altavista蜘蛛:scooter
lycos蜘蛛:lycos_spider_(t-rex)
alltheweb蜘蛛:fast-webcrawler
inktomi蜘蛛: slurp

robots.txt文件的写法

User-agent: *    这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/   这里定义是禁止爬寻require目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC 这里定义是禁止爬寻ABC整个目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件
User-agent: *   这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow: /cgi-bin/  这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以”.htm”为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片

撰写基本的robots.txt文件所需要知道的一些语法和作用。

(1),允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档,命名为robots.txt。

User-agent:*Disallow:或者User-agent:*Allow:/

(2),禁止所有搜索引擎访问网站的所有部分。

User-agent:*Disallow:/

(3),禁止百度索引你的网站。

User-agent:BaiduspiderDisallow:/

(4),禁止Google索引你的网站。

User-agent:GooglebotDisallow:/

(5),禁止除百度以外的一切搜索引擎索引你的网站。

User-agent:BaiduspiderDisallow:User-agent:*Disallow:/

(6),禁止除Google以外的一切搜索引擎索引你的网站。

User-agent:GooglebotDisallow:User-agent:*Disallow:/

(7),禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。

User-agent:*Disallow:/admin/Allow:/images/

(8),禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。

User-agent:*Disallow:/admin/*.php$Allow:/admin/*.asp$

(9),禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,如:index.php?id=8)。

User-agent:*Disallow:/*?*

robots.txt文件用法举例

例1. 禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

实例分析:淘宝网的 Robots.txt文件

User-agent: Baiduspider
Disallow: /

很显然淘宝不允许百度的机器人访问其网站下其所有的目录。

例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)

User-agent: *
Disallow:

例3. 禁止某个搜索引擎的访问

User-agent: BadBot
Disallow: /

例4. 允许某个搜索引擎的访问

User-agent: baiduspider
Disallow: User-agent: *Disallow: /

例5.一个简单例子

在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。

需要注意的是对每一个目录必须分开声明,而不要写成 “Disallow: /cgi-bin/ /tmp/”。

User-agent:后的*具有特殊的含义,代表“any robot”,所以在该文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”这样的记录出现。

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

Robot特殊参数:

允许 Googlebot:
如果您要拦截除 Googlebot 以外的所有漫游器访问您的网页,可以使用下列语法:

User-agent:
Disallow:/
User-agent:Googlebot
Disallow:

Googlebot 跟随指向它自己的行,而不是指向所有漫游器的行。

“Allow”扩展名:

Googlebot 可识别称为“Allow”的 robots.txt 标准扩展名。其他搜索引擎的漫游器可能无法识别此扩展名,因此请使用您感兴趣的其他搜索引擎进行查找。“Allow”行的作用原理完全与“Disallow”行一样。只需列出您要允许的目录或页面即可。

您也可以同时使用“Disallow”和“Allow”。例如,要拦截子目录中某个页面之外的其他所有页面,可以使用下列条目:

User-Agent:Googlebot
Disallow:/folder1/
Allow:/folder1/myfile.html

这些条目将拦截 folder1 目录内除 myfile.html 之外的所有页面。

如果您要拦截 Googlebot 并允许 Google 的另一个漫游器(如 Googlebot-Mobile),可使用”Allow”规则允许该漫游器的访问。例如:

User-agent:Googlebot
Disallow:/
User-agent:Googlebot-Mobile
Allow:

使用 * 号匹配字符序列:

您可使用星号 (*) 来匹配字符序列。例如,要拦截对所有以 private 开头的子目录的访问,可使用下列条目:

User-Agent:Googlebot
Disallow:/private*/

要拦截对所有包含问号 (?) 的网址的访问,可使用下列条目:

User-agent:*
Disallow:/*?*

使用 $ 匹配网址的结束字符

您可使用 $ 字符指定与网址的结束字符进行匹配。例如,要拦截以 .asp 结尾的网址,可使用下列条目:

User-Agent:Googlebot
Disallow:/*.asp$

您可将此模式匹配与 Allow 指令配合使用。例如,如果 ? 表示一个会话 ID,您可排除所有包含该 ID 的网址,确保 Googlebot 不会抓取重复的网页。但是,以 ? 结尾的网址可能是您要包含的网页版本。在此情况下,可对 robots.txt 文件进行如下设置:

User-agent:*
Allow:/*?$
Disallow:/*?
Disallow:/ *?

一行将拦截包含 ? 的网址(具体而言,它将拦截所有以您的域名开头、后接任意字符串,然后是问号 (?),而后又是任意字符串的网址)。

Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址(具体而言,它将允许包含所有以您的域名开头、后接任意字符串,然后是问号 (?),问号之后没有任何字符的网址)。

老李观点

robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。

如果设置不对,将导致搜索引擎不在抓取文件,所以操作需谨慎!


 

以上资料由天津老李SEO整理

想要学习更多SEO相关基础知识的小伙伴可以加老李QQ:31940112

weixin

转载请注明天津SEO老李博客:天津SEO老李 » robots.txt文件的标准书写以及注意事项

分享到:更多 ()
云左科技

评论 4

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. #-49

    讲解的很全面的!感谢分享!!

    慕容肖乐4年前 (2015-01-31)回复
  2. #-48

    还有这么多用法。。。

    梦想网络4年前 (2015-02-02)回复

天津SEO老李博客 专注分享SEO基础知识!

关于老李