robots.txt是搜索引擎收录网站的一个全球化的标准协议文件，我们可以通过robots.txt对搜索引擎的蜘蛛进行约束，允许它访问那些目录，不允许它访问那些目录文件等等。
Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。
如果你想搜索引擎收录你网站全部内容，你可以不写这个文件。如你网站不存在robots.txt，搜索引起会默认你允许索引网站全部内容。
如果你网站有相应的文件或者目录不想被搜索引擎索引，那么就建议创建robots.txt文件，并进行相关约束，具体robots.txt的使用方法请看下面介绍。
User-agent: *
Disallow:
User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /目录名/ 禁止访问某个目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
例1. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)
User-agent: *
Allow: /
例3. 禁止某个搜索引擎的访问
User-agent: BadBot
Disallow: /
例4. 允许某个搜索引擎的访问
User-agent: Baiduspider
allow:/
例5.禁止搜索引擎访问3个目录
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。
需要注意的是对每一个目录必须分开声明，而不要写成 “Disallow: /cgi-bin/ /tmp/”。
User-agent:后的*具有特殊的含义，代表“any robot”，所以在该文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”这样的记录
出现。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
青岛星网robots地址请点击：http://www.qdxw.net/robots.txt
User-agent: *
Disallow:/public/down.asp
Disallow:/search.asp
青岛星网禁止所有搜索引起访问 /public/目录下的down.asp文件，禁止所有搜索引起访问跟目录下的search.asp文件。
robots.txt文件名必须是全小写
有多项设置的时候，必须分开写，一行一个设置
最好下载一份语法大全，对照着写，不然很容易出错，可能造成严峻的问题
最后如果你网站设置了robots.txt，可以登录百度站长工具，Robots文件检查，会自动检查你网站Robots文件，并给与正确错误提示哦。
在线QQ：
