关于robots.txt文件的设置方式,其实我们只要了解一些简单的就可以了,例如dedecms,【北京APP开发:15611115563】,【北京优化外包公司:15611115563】,也就是织梦cms小编就是这样设置的。【User-agent: *】这个是设置搜索引擎蜘蛛全部开放,然后【Disallow: /dede】这个是禁止蜘蛛爬取文章根目录的得的文件夹。
dedecms的robots文件设置一般的方式
一般情况下复制下面的内容放到robots.txt文件中就可以了,robots文件就在网站程序所在的根目录文件夹中。
User-agent: *
Disallow: /dede
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
Disallow:/*?
以上就是织梦cms的robots文件设置方法,【seo北京:15611115563】,如果您有网站建设,或者网站优化方面的需求,可以找我们长沙SEO来帮您!
(责任编辑:admin)