一般网站查看robots.txt文件的方法是主页后面加robots.txt就可以，比如淘宝网的就是http://www.taobao.com/robots.txt。请注意，仅当你的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果你希望搜索引擎收录网站上所有内容，就不要建立robots.txt文件。
(责任编辑：北京网站建设,北京网站制作公司)
更多>>
