fisker's blog

关于robots.txt，似乎被很多朋友忽悠的很神秘了。
记得曾经有一位朋友，她非要我帮她写一个，我问她，
你要拒绝哪个搜索引擎呢？
不拒绝，收的越多越好。

你有哪些目录或者页面不允许访问呢？
好像没有。

那你放个空的robots.txt吧。

她就是不干，我怎么说她都不信，最后没办法帮她写了行

应付
其实这个文件和空文件是没有区别的。

如果你没有什么特别的要求，其实就应该放一个空文件。

几种特别的需求写法。
0，基本语法：
# Robots.txt file from http://www.x2y2.com
User-agent: *
Disallow:

"#"后面文字为说明信息;
User-agent:后面为搜索机器人的名称，后面如果是*，则泛指所有的搜索机器人;
Disallow:后面为不允许访问的文件目录。


1，允许所有的robot访问
留空或者


2，禁止所有搜索引擎访问网站的所有目录


3，禁止所有搜索引擎访问网站的部分目录


4，禁止特定的搜索引擎


5，只允许特定的搜索引擎


最后关于google的robots.txt
http://www.google.com/robots.txt
其中使用了Allow语法，但实际上并没有这个语法。
既然Google自己使用了，我想google的bots应该支持吧，但这句完全是多次一举，个人认为。
我想也许加了Allow以后爬虫会主动去爬吧。

我自己的robots.txt
http://www.x2y2.com/robots.txt


写完以后我在Google的文档中找到了关于Allow的说明
http://www.google.com/support/webmasters/bin/answer.py?answer=40364&query=allow&topic=&type=