robots协议如何设置网络爬虫来爬网站

杭州SEO • 2019年4月21日 am8:08 • 网站搭建 • 阅读 217 • •

设置robots.txt的方法：

可以设置robots.txt来禁止网络爬虫来爬网站。

首先，你先建一个空白文本文档（记事本），然后命名为：robots.txt；

User-agent: *
Disallow: /

User-agent: *
Disallow:
或者
User-agent: *
Allow: /
还可以建立一个空文件robots.txt或者不建立robots.txt。

User-agent: BaiduSpider
Disallow:/

User-agent: BaiduSpider
Disallow:
User-agent: *
Disallow: /
这里需要注意，如果你还需要允许谷歌bot，那么也是在“User-agent: *”前面加上，而不是在“User-agent: *”后面。

User-agent: *
Disallow: /AAA.net/
Disallow: /admin/
Disallow: .jpg$
Disallow: .rar$

这样写之后，所有搜索引擎都不会访问这2个目录。需要注意的是对每一个目录必须分开说明，而不要写出“Disallow:/AAA.net/ /admin/”。