1、不任何搜索引擎收录任务目录和文件：
（这样用法一般在建站初期，很多文件在进行修改阶段。）
2、让所有目录和文件都可以让所有搜索引擎收录：
（这样写虽然很简单，但是对搜索引擎可是很不友好的）
3、不想让某个搜索引擎的访问你的网站，这样也不会被那个搜索引擎收录啦
（针对某个搜索引擎，用法可以根据你自己的实际情况设置）
4、
只允许某个搜索引擎的访问你的网站，同时要设置其他搜索引擎不允许访问才行
（针对某个搜索引擎，用法可以根据你自己的实际情况设置）
5、设置网站的某个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。
（平时使用的最多，一般设置参数文件夹，管理文件夹等）
需要注意的是对每一个目录必须分开声明，而不要写成：“Disallow: /cgi-bin/ /tmp/”。
