欢迎光临
我们一直在努力

WordPress网站怎样正确设置robots.txt

robots.txt文件是一个存放在网站根目录里面的文本文件,该文件是用来正确引导搜索引擎抓取和收录页面的,用来告诉搜索引擎哪些页面可以收录而哪些不可以,所以正确编写robots.txt文件很重要。

文件头部规则:

robots.txt文件的开头为User-agent:开头,用来指定搜索引擎蜘蛛,如果要针对百度搜索蜘蛛,可以输入

User-agent:Baiduspider

如果要对全体搜索引擎起作用,则输入

User-agent: *

Disallow规则:

Disallow: /abc 表示禁止访问收录abc.php、abc.html和abc文件夹下的所有文件。

Disallow: /abc/ 表示仅禁止访问abc文件夹下的所有文件,但是不限制abc.php、abc.html文件。

Allow规则:

Allow规则同Disallow。

Sitemap规则:

Sitemap用来告诉搜索引擎网站地图的位置

Sitemap: http://你的域名/sitemap.xml

其中sitemap.xml是你的网站的网站地图文件。

为了避免收录WordPress系统文件:

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

为了避免收录重复的内容:

Disallow: /feed

Disallow: /articles/*/feed

为了正确引导搜索引擎找到网址地图(如果有的话)

Sitemap: http://你的域名/sitemap.xml

其中sitemap.xml是你的网站的网站地图文件。

总结全部的robots.txt全文如下:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /feed

Disallow: /articles/*/feed

Sitemap: http://你的域名/sitemap.xml

现在,robots.txt做好了,然后就是将此文件上传至服务器。

在浏览器中输入

http://你的域名/robots.txt

如果能正常访问,则ok。

赞(0) 打赏
未经允许不得转载:天天微站 » WordPress网站怎样正确设置robots.txt

评论 抢沙发

评论前必须登录!

 

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏