搜索引擎三巨头打的不亦乐乎,但偶尔也合作一下。去年Google,雅虎,微软就合作,共同遵守统一的Sitemaps标准。前两天三巨头又同时宣布,共同遵守的robots.txt文件标准。Google,雅虎,微软各自在自己的官方博客上发了一篇帖子,公布三家都支持的robots.txt文件及Meta标签的标准,以及一些各自特有的标准。下面做一个总结。
三家都支持的robots文件记录包括:
Disallow – 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件:
User-agent: *
Disallow: /
Allow – 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用,可以告诉蜘蛛某个目录下,大部分都不抓取,只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件,而只抓取其中cd下的文件:
User-agent: *
Disallow: /ab/
Allow: /ab/cd
$通配符 – 匹配URL结尾的字符。如下面代码将允许蜘蛛访问以.htm为后缀的URL:
User-agent: *
Allow: .htm$
*通配符 – 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件:
User-agent: *
Disallow: /*.htm
Sitemaps位置 – 告诉蜘蛛你的网站地图在哪里,格式为:
Sitemap: <sitemap_location>
三家都支持的Meta标签包括:
NOINDEX – 告诉蜘蛛不要索引某个网页。
NOFOLLOW – 告诉蜘蛛不要跟踪网页上的链接。
NOSNIPPET – 告诉蜘蛛不要在搜索结果中显示说明文字。
NOARCHIVE – 告诉蜘蛛不要显示快照。
NOODP – 告诉蜘蛛不要使用开放目录中的标题和说明。
上面这些记录或标签,现在三家都共同支持。其中通配符好像以前雅虎微软并不支持。百度现在也支持Disallow,Allow及两种通配符。Meta标签我没有找到百度是否支持的官方说明。
只有Google支持的Meta标签有:
UNAVAILABLE_AFTER – 告诉蜘蛛网页什么时候过期。在这个日期之后,不应该再出现在搜索结果中。
NOIMAGEINDEX – 告诉蜘蛛不要索引页面上的图片。
NOTRANSLATE – 告诉蜘蛛不要翻译页面内容。
雅虎还支持Meta标签:
Crawl-Delay – 允许蜘蛛延时抓取的频率。
NOYDIR – 和NOODP标签相似,但是指雅虎目录,而不是开放目录。
Robots-nocontent – 告诉蜘蛛被标注的部分html不是网页内容的一部分,或者换个角度,告诉蜘蛛哪些部分是页面的主要内容(想被检索的内容)。
MSN还支持Meta标签:
Crawl-Delay
另外提醒大家注意的是,robots.txt文件可以不存在,返回404错误,意味着允许蜘蛛抓取所有内容。但抓取robots.txt文件时却发生超时之类的错误,可能导致搜索引擎不收录网站,因为蜘蛛不知道robots.txt文件是否存在或者里面有什么内容,这与确认文件不存在是不一样的。
分享到:
相关推荐
搜索引擎机器人文件,上传到你网站的根目录,并改文件名为robots.txt即可..让你的网站更好的优化
易优cms robots文件生成器插件.zip
屏蔽一切搜索引擎的robots代码。建站之前最号设在根目录下面。
robots文件.docx
禁止搜索引擎/蜘蛛抓取的规则文件 robots.txt模板 参照你们写就可以了,很简单的。这里的规则针对所有的搜索引擎,如果只针对百度 把User-agent: * 修改为 User-agent: baidu 即可,以此类推。
用来生成robots.txt文件的Vuepress插件
1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档,命名为robots.txt放在网站的根目录下即可。 robots.txt写法如下: User-agent: * Disallow: 或者 User-agent: * Allow: / 2如果我们...
robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。 当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录...
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果...
NULL 博文链接:https://onestopweb.iteye.com/blog/2242748
易优robots文件生成器插件.zip
robots.txt可以告诉搜索引擎您的网站哪些页面可以被收录,哪些页面不可以被收录,如果您不想让搜索引擎收录您网站的某些内容,请用robots.txt文件指定搜索引擎在您网站上的抓取范围。 此工具本人找了很久,源码...
主要为大家介绍了帝国CMS中robots.txt文件用法,详细分析了robots协议的原理与使用技巧,并实例讲述了帝国CMS中robots.txt文件的使用方法,需要的朋友可以参考下
mobile robots mobile robots mobile robots mobile robots
Laravel开发-robots robots.txt生成器
在国内,网站管理者似乎对robots.txt并没有引起多大重视,应一些朋友之请求,今天想通过这篇文章来简单谈一下robots.txt的写作...
robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。 robots.txt基本介绍 robots.txt是一个纯文本文件,在这个文件中网站管理者可以...
robots写法,怎么写robots写法
机器人该软件包以Go编程语言为Robots Exclusion Protocol提供了robots.txt解析器。 该实现遵循。 该代码简单明了。 此程序包公开的结构仅包含基本数据类型,因此可以使用Go的encoding程序包之一轻松对其进行编码和...
经典的LEGO书籍《Creating Cool MINDSTORMS NXT Robots》