搜索引擎spider整理

正文概述

百度

百度的spider的user agent都会包含 Baiduspider 字符串。

相关资料：http://www.baidu.com/search/spider.htm

google

google的spider的user agent都会包含 Googlebot 字符串。

相关资料：http://www.google.com/bot.html

soso

soso的spider的user agent都会包含 Sosospider 字符串

相关资料：http://help.soso.com/webspider.htm

sogou

sogou的spider的user agent都会包含 Sogou web spider 字符串

相关资料：http://www.sogou.com/docs/help/webmasters.htm#07

其他的也都差不多。。。可以自行查看下网站的access log。

如何通过php程序控制 spider 的行为？

通过 $_SERVER["HTTP_USER_AGENT"] 获取来访者的 user agent，然后判断是否含有相应的搜索引擎spider的特定字符串，再采取后续动作就可以了。

<?php
$user_agent = $_SERVER["HTTP_USER_AGENT"];

if ( eregi("Googlebot",$user_agent) )
{
// is google’s spider access, you can do something for it~
}
?>

波比源码 – 精品源码模版分享 | www.bobi11.com
1. 本站所有资源来源于用户上传和网络，如有侵权请邮件联系站长！
2. 分享目的仅供大家学习和交流，您必须在下载后24小时内删除！
3. 不得使用于非法商业用途，不得违反国家法律。否则后果自负！
4. 本站提供的源码、模板、插件等等其他资源，都不包含技术服务请大家谅解！
5. 如有链接无法下载、失效或广告，请联系管理员处理！
6. 本站资源售价只是赞助，收取费用仅维持本站的日常运营所需！
7. 本站源码并不保证全部能正常使用，仅供有技术基础的人学习研究，请谨慎下载
8. 如遇到加密压缩包，请使用WINRAR解压,如遇到无法解压的请联系管理员！

波比源码 » 搜索引擎spider整理

分享到：