对于新站而言，robots.txt还是一个比较重要的部分，它可以屏蔽与限制部分蜘蛛的抓取，由于新站上线，蜘蛛的抓取频率相对较低，为了尽量让其抓取有效资源，你可能需要屏蔽部分不那么重要的内容。
Z-blog博客robots.txt文件写法怎么写呢
我们搭建好一个网站，搜索引擎爬取我们页面的工具叫做搜索引擎机器人，也就是所谓的“蜘蛛”，蜘蛛在爬取网站页面之前，会先去访问网站根目录下面的一个文件，这个文件其实就是给“蜘蛛”的规则，也就是robots.txt，如果没有这个文件，蜘蛛会认为你的网站同意抓取全部网页。
这样就会为日后的运营，埋下隐患，比如：
1，新站无栏目无内容，被收录，影响站点质量评定；
2，产生大量重复页面，动态链接被抓取。
robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单，但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。今天红尘资源网就讲解一下，Z-blog博客程序中如何设置robots.txt文件
robots.txt文件是一个纯文本文件，如果网站根目录有这个文件，那么就可以告诉蜘蛛哪些页面可以爬取(收录)，哪些页面不能爬取。
例如：建立一个名为robots.txt的文本文件，然后输入内容User-agent: //*星号说明允许所有搜索引擎收录
Disallow: index.php? //表示不允许收录以index.php?前缀的链接，比如index.php?=1
Disallow: /zb_system/ //表示不允许收录根目录下的zb_system目录，包括目录下的文件，比如zb_system/232.html
具体关于robots.txt文件的相关设置，你可以参考百度官方文档，百度搜索资源平台->网站支持->数据监控->robots
那么针对于ZBlogPHP网站的robots.txt该怎么写呢？
写robots.txt规则之前，要先了解zblog 所包含的文件，文件夹以及它们的作用是什么。以下图片所展示的内容，为全新的ZBlogPHP博客安装包，所包含的文件夹以及文件。
feed.php : RSS Feed 入口文件
index.php : 前端页面入口文件
search.php : 搜索入口文件
zb_install 文件夹：zblog 初始化安装文件夹，安装完毕会自动删除，或手动删除
zb_system 文件夹：为 zblog 框架的主要文件，需要屏蔽搜索蜘蛛去它以及它所包含的内容抓取
zb_users 文件夹：为 zblog 为用户文件夹，里面包含了主题文件夹，插件文件夹，以及附件存放文件夹。
avatar ：用户头像文件夹
cache ：缓存文件夹
data ：数据文件夹（屏蔽蜘蛛）
emotion ：表情文件夹
language ：语言包文件夹（屏蔽蜘蛛）
logs ：目志文件夹,里面文件是记录错误的（屏蔽蜘蛛）
plugin ：插件文件夹
theme ：主题文件夹
upload ：附件文件夹（图片或其它类型文件）
robots.txt安装与效验
robots.txt 文件应该放在网站根目录下，并且该文件是可以通过互联网进行访问的，否则是没有什么作用的。
安装方法
1、本地新建‘文本文档’并命名为 'robots.txt' 把上面的内容复制，保存即可
2、把 'robots.txt'文件上传到服务器的网站根目录即可
rotots.txt文件效验
可以通过百度搜索资源平台进行效验
其中网址nuolanyl.com换成你自己的域名，写好后把文件存放或上传到网站根目录即可，sitemap.xml可以通过插件生成，应用中心有专门的插件。
