主流搜索引擎 spider 蜘蛛 User-Agent 标识集
侧边栏壁纸
  • 累计撰写 170 篇文章
  • 累计收到 176 条评论

主流搜索引擎 spider 蜘蛛 User-Agent 标识集

若海
2012-04-20 / 0 评论 / 43,375 阅读 / 正在检测是否收录...
Adsbot-Google Adsbot-Google
AlexaBot Alexa
AOLBot sqworm
BaiduBot Baiduspider
GoogleBot googlebot http://www.googlebot.com/bot.html
Googlebot-Image Googlebot-Image
Googlebot-Mobile Googlebot-Mobile
IasksBot iaskspider
LycosBot lycos
Mediapartners-Google Mediapartners-Google
MSN Bot msnbot http://search.msn.com/msnbot.htm
RobozillaBot robozilla
SohuBot sohu-search
SosoBot Sosospider
SougouBot Sogou web spider http://www.sogou.com/docs/help/webmasters.htm#07
Yahoo Slurp slurp http://help.yahoo.com/l/us/yahoo/search/webcrawler/index.html
Yahoo-AdCrawler AdCrawler
YoudaoBot YodaoBot http://www.yodao.com/help/webmaster/spider
0

评论 (0)

取消