标签：robots

2018-06-04熊猫阅读(168)评论(0)赞(0)

robots.txt文件是一个存放在网站根目录里面的文本文件，该文件是用来正确引导搜索引擎抓取和收录页面的，用来告诉搜索引擎哪些页面可以收录而哪些不可以，所以正确编写robots.txt文件很重要。 文件头部规则： robots.txt文件...