seo蜘蛛精，2019最新搜索引擎蜘蛛大全记录？-营销圈

seo蜘蛛精，2019最新搜索引擎蜘蛛大全记录？

用户投稿 • 2022年4月27日 am3:57 • 网络资讯 • 阅读 388

作为一个合格的SEO人员，分析搜索引擎蜘蛛的行为轨迹是非常重要的，是一门非常重要的SEO技巧。

SEO必须掌握的常识

不过很多新加入SEO的朋友，往往对各个搜索引擎的蜘蛛并不清楚，了解各大搜索引擎蜘蛛爬虫，对我们进行网站SEO优化起到很大作用；

而且，各大seo搜索引擎的蜘蛛会不断地访问抓取我们站点的内容，也会消耗一定的站点流量。

所以有时候就需要屏蔽某些蜘蛛访问我们的站点，文章尾部会讲解决办法。

下面是收集了各大搜索引擎的蜘蛛爬虫UA，以便你需要时查阅。

1.百度蜘蛛：BaiduSpider

常见的Baiduspider和Baiduspider-image（抓取图片）

百度公司还有其它几个蜘蛛：Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）、Baiduspider-mobile（抓取wap），都不常见

百度蜘蛛爬虫UA：

PC端：Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动端：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

图片：“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”

谷歌蜘蛛是GoogleBot

2.谷歌蜘蛛：Googlebot

有人说谷歌蜘蛛是GoogleBot，官方谷歌蜘蛛最新名称为Googlebot，还发现了Googlebot-Mobile，看名字是应该是抓取wap内容的

谷歌蜘蛛爬虫UA：“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

图片：“Googlebot-Image/1.0”

3.360蜘蛛：360Spider

它是一个十分“勤奋抓爬”的蜘蛛

360蜘蛛爬虫UA：Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);

4.搜狗蜘蛛：Sogou News Spider

搜狗公司还有其它几个蜘蛛：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider，冬镜在日志中只发现了常见的Sogou News Spider。（参考大神百度的robots文件，搜狗蜘蛛名称可以用Sogou概括，但有没有用就不知道了.）

搜狗蜘蛛爬虫UA：“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”

5.必应蜘蛛：bingbot

必应蜘蛛爬虫UA：“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”

6.SOSO蜘蛛：Sosospider

腾讯已玩死，交给搜狗公司了

soso蜘蛛爬虫UA：“Sosospider+(+http://help.soso.com/webspider.htm)”

seo蜘蛛精，2019最新搜索引擎蜘蛛大全记录？

soso蜘蛛爬虫

7.雅虎蜘蛛：Yahoo! Slurp China（雅虎中国）或Yahoo! Slurp（雅虎英文）

雅虎蜘蛛爬虫UA：

雅虎中国：“Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)”

雅虎英文：“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)”

8.MSN蜘蛛：msnbot，msnbot-media

好像只见到msnbot-media在狂爬……

MSN蜘蛛爬虫UA：

*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

其它还有一搜蜘蛛：

YisouSpider、Alexa蜘蛛：ia_archiver、宜搜蜘蛛：EasouSpider、即刻蜘蛛：JikeSpider，以及还有YandexBot、AhrefsBot和ezooms.bot等这些蜘蛛，据说这几个国外的蜘蛛都不咋好

如何屏蔽搜索引擎蜘蛛

其实常用的搜索引擎就那么几个，只要在robots.txt文件里把常用的搜索引擎蜘蛛放进来就行，其它的可以统统屏蔽。

好了，今天关于蜘蛛的事情就介绍这里，更多关于SEO工具，可以关注我的博客更新。

好了，这篇文章的内容营销圈就和大家分享到这里，如果大家对网络推广引流和网络创业项目感兴趣，可以添加微信：Sum8338 备注：营销圈引流学习，我拉你进直播课程学习群，每周135晚上都是有实战的推广引流技术和网络创业项目课程分享，当然是免费学！

seo蜘蛛精，2019最新搜索引擎蜘蛛大全记录？

相关推荐