MediaWiki百度收录的问题

出自James Qi

所在位置：首页 > 日志 > MediaWiki百度收录的问题

--James Qi 2008年9月27日 (日) 16:48 (CST)

　　用MediaWiki做网站有几年时间了，一直都关注着搜索引擎对这些网站的收录。可以看出Google对MediaWiki平台做的网站收录很正常，而百度就不理想，特别是在收录的初始阶段。

　　我们的Wiki网站以前曾经有收录错了内容、收录错到其它网站的情况，而且很长时间没有纠正过来。

　　另外百度对UTF-8编码的支持不好，搜索页面中网址都是乱码，而Google、Yahoo都可以看到正常的汉字。

　　百度对MediaWiki收录的页面让人莫名其妙，例如收录了好多“链出更新”的无用页面，还有内容很少的“QC”、“QC talk”等页面，这个问题很长时间了，今天干脆编辑了robots.txt文件，把这些网址屏蔽起来，顺便把用户页面、用户对话页也屏蔽起来：

User-agent: *
Disallow: /Special:Recentchangeslinked/*
Disallow: /User:*
Disallow: /User_talk:*
Disallow: /QC:*
Disallow: /QC_talk:*

　　还在LocalSettings.php中也设置了屏蔽这几个Namespace：

$wgNamespaceRobotPolicies = array(
 NS_USER => 'noindex' ,
 NS_USER_TALK => 'noindex' ,
 NS_QC => 'noindex' ,
 NS_QC_TALK => 'noindex' ,
 NS_DATA => 'noindex' ,
 NS_DATA_TALK => 'noindex' ,
 NS_TASK => 'noindex' ,
 NS_TASK_TALK => 'noindex' ,
 NS_TALK => 'nofollow' );

　　还有更重要的，目前百度对人工搜索这个网站的收录更新极慢，一周之内的新收录页面没有，而谷歌是每天都新收录好多，这可能是我们网站在不同的搜索引擎中权重不同，似乎没有捷径好走，只有等百度自己逐步去“觉悟”吧，这个域名被百度重新收录也是7月份左右的事情，希望还过两个月应该会更新快起来。