每个人都有自己的隐私，每个网站也都有隐私；人可将隐私藏在心底，网站可以用robots进行屏蔽，让别人发现不了，让蜘蛛无法抓取，小蔡简单浅析下Robots协议语法及在SEO中的妙用，对新手更好理解及把握！
什么是Robots协议？
Robots协议（也称为爬虫协议、机器人协议等）是约束所有蜘蛛的一种协议。搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
Robots.txt作用
1、屏蔽网站内的死链接。
2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。
3、阻止搜索引擎索引网站隐私性的内容。（例如用户账户信息等）
Robots.txt放在哪？
robots.txt 文件应该放置在网站根目录下（/robots.txt）。举例来说，当spider访问一个网站（比如https://www.chdseo.com）时，首先会检查该网站中是否存在robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件内容的规则，来确定它访问权限的范围。
Robots写法
Robots一般由三个段和两个符号组成，看个人需求写规则。最好是按照从上往下的顺序编写（由实践证明这顺序影响不大）。
三个字段（记得“:”后面加空格）
User-agent: 用户代理
Disallow: 不允许
Allow: 允许 （/ 代表根目录，如 Allow: / 允许所有）
两个符号
星号 * 代表所有0-9 A-Z #
通配符 $ 以某某个后缀
具体用法：
例1. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
例2. 允许所有的robot访问
(或者也可以建一个空文件 "/robots.txt")
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
例3. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm$
例4.禁止Baiduspider抓取网站上所有图片；仅允许抓取网页，禁止抓取任何图片。
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
例5.仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
例6.允许访问特定目录中的部分url（根据自己需求定义）
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
例7.不允许asp后缀
User-agent: *
Disallow: /*.asp
