显/隐菜单

如何编写WordPress博客的robots.txt

博客或者网站一般都会有robots.txt,设置适当的robots.txt一定程度上利于SEO,毕竟你的WordPress总会有那么一些页面不希望让爬虫抓取,比如博客的登录页面wp-admin或者wp-login等等。


什么是robot.txt?

这里引用百度百科的说明:

搜索引擎通过robot(又称spider),自动访问互联网上的网站并获取网页信息。在网站根目录创建一个纯文本文件robots.txt,在这个文件中编写一些命令告诉robot 不要抓取和访问的这些部分,防止这些内容不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。更详细说明

使用robots.txt阻止爬虫抓取博客没必要被收录的内容是相当有必要的,毕竟这些内容仅需网站管理员知道即可,搜索引擎收录了相反不利于博客内容的真实反映。通过“Disallow”命令限制spider访问博客的部分页面,这也是SEO工作的一部分。

优秀博客的robots.txt举例

如果你不知道如何编写你博客的robots.txt,你可以参考一些优秀的博客,再结合自己的实际情况编写即可。

Labnol.org

Sitemap: http://www.labnol.org/sitemap.xml

User-Agent: *
Disallow: /wp/wp-admin/
Disallow: /wp/wp-includes/
Disallow: /wp/wp-content/
Disallow: /wp/wp-
Disallow: /go/
Disallow: /translate.php

Dailyblogtips.com

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /feed/
Disallow: /trackback/
Disallow: /cgi-bin/

williamlong.info(月光博客) 注:月光用的是z-blog

User-agent: *

Disallow: /ads/
Disallow: /function/
Disallow: /FCKeditor/
Disallow: /CACHE/
Disallow: /SCRIPT/
Disallow: /ADMIN/
Disallow: /google/ADMIN/
Disallow: /google/CACHE/
Disallow: /google/function/
Disallow: /blog/function/
Disallow: /info/function/
Disallow: /anni/function/
Disallow: /wap.asp
Disallow: /cmd.asp
Disallow: /google/wap.asp
Disallow: /google/cmd.asp
Disallow: /blog/wap.asp
Disallow: /blog/cmd.asp
Disallow: /info/wap.asp
Disallow: /info/cmd.asp
Disallow: /anni/wap.asp
Disallow: /anni/cmd.asp

Sitemap: http://www.williamlong.info/sitemap.xml

appinn.com(小众软件)

User-agent: *
Disallow: /*/feed
Disallow: /*/trackback
Disallow: /page/
Disallow: /down/
Disallow: /wap/
Disallow: /out/
Disallow: /gc/

Sitemap: http://www.appinn.com/sitemap.xml

你会发现大部分的robots.txt中会包含Sitemap.xml,目的是为了搜索引擎更好的抓取博客内容。你可以通过安装All in One SEO Pack插件生成博客的Sitemap.xml。在10 个必备的WordPress插件20个优秀WordPress SEO插件都有较详细的介绍。

如何编辑robots.txt文件:

一般情况下,robots.txt文件包含三个部分,分别是User-agent: *、Disallow:和Sitemap:。一般地,robots.txt存放在https://www.rkdot.com/robots.txt,你可以手动编写robots.txt上传至网站根目录即可。

去打赏

您的支持将鼓励我们继续创作!

[微信] 扫描二维码打赏

[支付宝] 扫描二维码打赏

正在跳转到PayPal...

文章评论(44)

Comments are closed.

  • 灵感来源 2012.10.25 16:10

    路过……….

  • 超爱小兔子 2012.10.14 23:10

    不错,拿来用啦,谢谢

  • 无名 2012.09.12 09:09

    根据自己的情况,写适合自己的robots

  • 郑州SEO 2012.08.26 10:08

    嗯,很不错,我也去试试设置一下

  • 未解之谜 2012.08.22 15:08

    不错,不知道链接怎么写

  • taob 2012.06.25 10:06

    看看哈

  • zhang 2011.12.31 22:12

    Disallow: /wp/wp-content/ 都后什么啊,如果没有静态化的化,都是php生成的,是吗,不存在wp-content下边把。。

  • zhang 2011.12.31 22:12

    月光的想知道,问月光啊,他不会不告诉把??

  • 一秒钟改变 2011.06.22 12:06

    好东西~~直接Ctrl+C和Ctrl+V

  • 莫小道 2011.04.30 13:04

    来学习了。

  • 杰瑞日志 2011.03.25 21:03

    很好,拜读了

  • zhangba 2011.03.20 17:03

    这玩意好像效果不大,不过还是试试再说吧!

  • grab your free forex ea 2011.01.26 00:01

    非常好东西。.

  • 上海网络营销 2011.01.11 09:01

    不错。支持下!

  • sardine 2010.10.28 21:10

    嘿嘿,回去也加一个

  • 淡定的小火柴 2010.10.10 19:10

    嗯。好文章!

  • Mr·K 2010.09.01 23:09

    To 怪獸蛋蛋:文中亦有特别注明。

  • 怪獸蛋蛋 2010.09.01 22:09

    糾正一點:月光的貌似使用Wordpress而是不是Z-blog了。

  • zrqx008 2010.08.19 17:08

    开始写好了,换空间后一直忘上传了

  • Leyond 2010.08.03 19:08

    我用的都是基本最简单的

  • junofeeng 2010.08.03 15:08

    学习了。原来robot.txt还有这么多讲究 啊

  • 七七 2010.08.03 14:08

    嗯,挺实在的

  • 软件盒子 2010.08.03 11:08

    我没用到这个

  • 大树 2010.08.02 23:08

    哈,好几天不更新了啊

    • Mr·K 2010.08.03 14:08

      To 大树:病倒了啊。

  • 大树 2010.08.01 17:08

    robots.txt有时候也会暴露一些后台页面,这个还是要注意的

  • TTkea 2010.08.01 13:08

    不错,又学习了一遍,这个还是很重要的,直接关系到收录和安全问题呀,呵呵~

  • 风羽 2010.07.31 22:07

    学习了,原先都不了解这个呢。

  • 灰太狼 2010.07.31 17:07

    先收藏….然后慢慢学习。HOHO。感谢分享。

  • 7cbt 2010.07.31 12:07

    我不大会写 我就不明白我那个该咋写 很头疼

    • Mr·K 2010.08.01 23:08

      To 7cbt:那就照样抄一个吧!

  • 亮软星球 2010.07.31 12:07

    好好学习一下,第一次听说这个!

  • Danfi 2010.07.31 00:07

    以前添加过也懒得改了

  • zzzhu 2010.07.30 21:07

    我一直都没有搞这个

  • 毕业生 2010.07.30 19:07

    学习了
    这个主题好漂亮

  • 集趣 2010.07.30 19:07

    这些东西是根据自己需要来写 就可以了

    • Mr·K 2010.07.30 19:07

      To 集趣:的确是根据自己的需要写就可,这里只是示范罢了。

  • LOO2K 2010.07.30 18:07

    williamlong.info 的不是 Z-blog 么?

    • Mr·K 2010.07.30 19:07

      To LOO2K:哦,对哦,忽略这件事,不过无所谓,网站,博客都需要robots.txt

  • 中国风 2010.07.30 18:07

    你的网站上加上浏览,计数器,相信会有更多人关注的。就象卢松松的那样醒目 。

    • Mr·K 2010.07.30 18:07

      To 中国风:他的站建立时间比较长,我的站还是初级发展阶段。

  • 笑得海潮 2010.07.30 16:07

    这个不错,收藏了

  • 枫雪 2010.07.30 16:07

    先收藏….不知道能够给emlog用不

  • 小羿 2010.07.30 15:07

    学习了。。。。

返回页顶