一、什么是robots.txt

robots.txt是搜索引擎蜘蛛在访问网站时接触的第一个文件，也是标志着网站针对搜索引擎进行优化的开始。robots.txt是一个协议，目前绝大部分搜索引擎都支持该协议。robots.txt在SEO的过程中起到了引导搜索引擎蜘蛛抓取重要内容，避免蜘蛛将有限的资源浪费在无关的文件如CSS/JS/程序上。

二、百度官方建议

仅当网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。这个建议从搜索引擎的角度来讲是没错的，搜索引擎希望去抓取和分析大量的网站及内容，以便他们能够改进算法。但从我们SEO的角度来说，有一些文件的确是不希望搜索引擎去抓取的。

三、robots的格式说明

User-agent:**星号所有的搜索引擎来收录，包话百度、google等。
Disallow:(表示网站所有文件，都可以让蜘蛛爬取、收录)
Disallow: /admin/ （不允许抓取admin目录下的文件）

四、ZBLOG2.X的robots.txt优化

写好zblog2.x的robots.txt文件对网站至关重要，可以通过写robots.txt来屏蔽不需要抓取的页面，从而提高收录质量。

User-agent:*(允许所有搜索引擎来收录)
Disallow:/zb_system/login.asp（登陆后台）
Disallow:/zb_system/admin（管理员登陆目录）
Disallow:/zb_system/FUNCTION （函数）
Disallow:/zb_system/css（css目录）
Disallow:/zb_users/DATA（数据库）
Disallow:/zb_users/PLUGIN（插件目录）
Disallow:/zb_users/LANGUAGE（语言文件）
Disallow:/zb_users/THEME（模板目录）
Disallow:/search.asp（站内搜索）
Disallow:/*?* （禁止带有？的动态地址，按需要进行屏蔽）
Disallow:/view.asp?（不需要抓取）

Sitemap:http://www.你的域名i.com/sitemap.xml  (这里并不是屏蔽，而是告诉搜索引擎，这里有网站地图地址）

五、注意事项

robots.tst 命名都应是小写，大写会会造成搜索引擎无法找到该文件，从而将网站视为没有robots.txt处理。按照协议标准，robots.txt内所有行的首字母应该大写。错误写法会造成搜索引擎无法识别，从而忽略该条协议。

正确写法：
User-agent:*
Disallow:

创建上传robots.txt到FTP目根录，后通过域名/ robots.txt能正常访问。