WordPress博客如何记录搜索引擎蜘蛛爬行痕迹[插件+代码]

WordPress博客记录搜索引擎蜘蛛爬行痕迹插件

1、搜索引擎蜘蛛爬行记录器Spider Tracker插件可以记录百度、谷歌、雅虎、必应、搜狗、搜搜6种搜索引擎的蜘蛛爬行痕迹,并生成统计图表,可以清晰的看到,近6日的各种搜索引擎的蜘蛛数量,以及当日的哪些时间,蜘蛛来过站里,又抓取了哪些网址。

2、wp-log-robots 插件大小仅3KB,wp-log-robots是一个记录搜索引擎蜘蛛爬虫活动记录的WordPress插件,插件主文件只有一个 wp-log-robots.php 。关键它的统计数据不用添加到数据库中,而是以文本文件记录下来的。比如你的博客地址是:http://www.lajiz.cn,那么机器人日志文件的存放位置是:http://www.lajiz.cn/robots_log.txt 。我们只要把这个地址添加到搜藏夹,就可以方便的查看各个搜索引擎的抓取情况。

在博客后台插件-安装插件-搜索“wp-log-robots”-点击现在安装,然后再插件页面启用该插件,不需要设置,就会开始记录搜索引擎机器人的爬行记录。(提示:插件刚启动的时候robots_log.txt 文件还没有建立,是个404页面,要等有搜索引擎来过之后,才会建立这个文件。)

WordPress博客记录搜索引擎蜘蛛爬行痕迹代码

1.首先,在wordpress主题根目录建立一个robots.php文件,写入以下内容:

<?php
function get_naps_bot()
{
$useragent = strtolower($_SERVER[\'HTTP_USER_AGENT\']);
if (strpos($useragent, \’googlebot\’) !== false){
return \’Googlebot\’;
}
if (strpos($useragent, \’msnbot\’) !== false){
return \’MSNbot\’;
}
if (strpos($useragent, \’slurp\’) !== false){
return \’Yahoobot\’;
}
if (strpos($useragent, \’baiduspider\’) !== false){
return \’Baiduspider\’;
}
if (strpos($useragent, \’sohu-search\’) !== false){
return \’Sohubot\’;
}
if (strpos($useragent, \’lycos\’) !== false){
return \’Lycos\’;
}
if (strpos($useragent, \’robozilla\’) !== false){
return \’Robozilla\’;
}
return false;
}
function nowtime(){
$date=gmdate(\”Y-n-j H:i:s\”,time()+8*3600);
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER[\'HTTP_USER_AGENT\']);
$url=$_SERVER[\'HTTP_REFERER\'];
$file=\”robotslogs.txt\”;
$time=nowtime();
$data=fopen($file,\”a\”);
fwrite($data,\”Time:$time robot:$searchbot URL:$tlc_thispage\\n\”);
fclose($data);
}
?>

将其上传于你的主题目录内。

2.在Footer.php或header.php的适当位置添加以下代码调用robots.php。

<?php include(\’robots.php\’) ?>

程序原理:通过对蜘蛛标识符(如Baiduspider、Googlebot)的判断,记录蜘蛛爬行时间,并生成日志文件robotslogs.txt于根目录。

程序缺点:无法记录蜘蛛爬行的页面,功能较为简单。

本文由垃圾站编辑整理,转载请注明原文地址:http://www.lajiz.cn/1886.html

本文固定链接: http://www.lajiz.cn/1886.html | 垃圾站

该文章由 sdujane 于2013年07月17日发表在 WP教程 分类下, 访客可以发表评论,并在保留原文地址及作者的情况下引用到你的网站或博客!
原创文章,转载请注明: WordPress博客如何记录搜索引擎蜘蛛爬行痕迹[插件+代码] | 垃圾站
关键字: ,

WordPress博客如何记录搜索引擎蜘蛛爬行痕迹[插件+代码]:目前有6 条留言

  1. 地板
    bbis:

    输出图形界面吗?

    2013-07-20 下午 12:12 [回复]
    • 第一个插件差不多满足你的要求,你可以试试!

      2013-07-20 下午 1:30 [回复]
  2. @搜妹纸 说:好久没来了,支持技术贴

    2013-07-19 下午 5:42 [回复]
    • 最近忙了,留言回复的吃了,还是灰常感谢啦……

      2013-07-19 下午 7:49 [回复]
  3. 沙发
    牛逼思维:

    耗资源么。。

    2013-07-17 下午 5:15 [回复]

发表评论

快捷键:Ctrl+Enter