在说帝国CMS-Robots.txt文件使用前先给大家解释下robots.tx是干什么的。robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪

2013-09-05站长站长日志1275