Home > 製品情報 > Spidermatic™ > ロボットレポート

検索エンジンロボット月例報告書

今月より検索エンジンのロボット巡回をメールで通達してくれるSpidermatic™のロボットレポートを月例報告書としてみなさまに公開します!
Spidermatic™は2004年2月12日より無料サービスとして開始しました。過去数年から現在までの蓄積データを元に各検索エンジンのロボット最新動向を毎月定期的に報告していきます。また併せてロボットに関することを、客観性を持った分析結果に基づく情報を皆様に公開していきます。

クローラー巡回頻度トップ15

[2006.11.01-2006.11.30 調べ]

2006年11月のクローラ巡回頻度は、Yahoo!に関連するものが約75%と全体の3/4を占めていることがグラフからは読み取れる。ついでMSN、3位はGoogleである。
国内の検索エンジン利用率はYahoo!Japan優位は変わらないが、世界的にはGoogleがNo.1のシェアであることを考えると、クローラーの巡回頻度が4番目というのは意外な結果であると言える。

Robot Top 15表

順位 クローラー 足跡 Robot IP
1 Yahoo! Slurp Mozilla/5.0 (compatible; Yahoo! Slurp;
http://help.yahoo.com/help/us/ysearch/slurp)
72.30.177.7
2 msnbot/1.0 msnbot/1.0 (+http://search.msn.com/msnbot.htm) 207.46.98.87
3 YahooFeedSeeker/2.0 YahooFeedSeeker/2.0
(compatible; Mozilla 4.0; MSIE 5.5;
http://publisher.yahoo.com/rssguide)
216.109.121.71
4 Googlebot/2.1 Mozilla/5.0 (compatible; Googlebot/2.1;
+http://www.google.com/bot.html)
66.249.66.115
5 YahooFeedSeeker
Testing/2.0
YahooFeedSeeker Testing/2.0
(compatible; Mozilla 4.0; MSIE 5.5; http://publisher.yahoo.com/rssguide)
66.94.237.182
6 msnbot-media/1.0 msnbot-media/1.0
(+http://search.msn.com/msnbot.htm)
65.55.212.121
7 Gigabot/2.0 Gigabot/2.0
(http://www.gigablast.com/spider.html)
66.154.103.96
8 Yahoo! Slurp China Mozilla/5.0
(compatible; Yahoo! Slurp China;
http://misc.yahoo.com.cn/help.html)
202.160.178.91
9 EDI/1.6.6;
Edacious & Intelligent
Web Robot; Daum
Communications Corp.,
Korea
Mozilla/4.0
(compatible; MSIE is not me;
EDI/1.6.6; Edacious &
Intelligent Web Robot;
Daum Communications Corp., Korea)
211.115.109.118
10 Ask Jeeves/Teoma; Mozilla/2.0
(compatible; Ask Jeeves/Teoma;
+http://about.ask.com/en/docs/
about/webmasters.shtml)
65.214.44.163
11 ia_archiver-
web.archive.org
ia_archiver-web.archive.org 208.70.24.194
12 Mediapartners-
Google/2.1
Mediapartners-Google/2.1 66.249.66.74
13 ZyBorg/1.0 Mozilla/4.0 compatible ZyBorg/1.0
(wn-14.zyborg@looksmart.net;
http://www.WISEnutbot.com)
64.242.88.60
14 ia_archiver ia_archiver 64.208.172.174
15 Baiduspider+ Baiduspider+
(+http://www.baidu.com/search/
spider.htm)
202.108.11.115

クローラー巡回頻度トップ15(モバイル)

[2006.11.01-2006.11.30 調べ]

モバイルにおけるクローラー巡回頻度は、SoftBankがトップ、2位がYahoo!3位がMooter、4位以降10位までは拮抗している状況である。
MNP(番号ポータビリティ /MNP:Mobile Number Portability )の導入のタイミングで「Yahoo!KEITAI」というもモバイル市場への新たな検索エンジンの展開を始めたSoftBankがトップを走る。
モバイル市場における検索エンジンのシェア争いは、今後ますます激しさを増していくことが推測できる。クローラー巡回頻度もこのシェア争いに連動する形で順位変動することが予想される。

Mobile Robot Top 15表

順位 クローラー 足跡 Robot IP
1 Softbank Robo Crawler 6.4.5 Robo Crawler 6.4.5
(robocrawler@bb.softbank.co.jp)
216.255.229.233
2 YahooSeeker/
M1A1-R2D2
Nokia6682/2.0 (3.01.1)
SymbianOS/8.0 Series60/2.6 Profile/MIDP-2.0
configuration/CLDC-1.1 UP.Link/6.3.0.0.0
(compatible;YahooSeeker/M1A1-R2D2;
http://help.yahoo.com/help/us/ysearch/
crawling/crawling-01.html)
69.147.79.136
3 MooterKK DoCoMo/2.0 F900i/1.0 (MooterKK;
http://lucene.apache.org/nutch/bot.html;
engineer@mooter.co.jp)
124.39.68.242
4 CA.MOBILE crawler DoCoMo/2.0 N900i(c100;TB;W24H12)
(CA.MOBILE crawler;http://seaftyy.jp/q?i=bot)
219.101.204.186
5 CA.MOBILE crawler KDDI-SN31 UP.Browser/6.2.0.7.3.129 (GUI) MMP/2.0
(CA.MOBILE crawler;http://seaftyy.jp/q?i=bot)
219.101.204.186
6 CA.MOBILE crawler Mozilla/3.0(DDIPOCKET;KYOCERA/AH-
K3001V/1.7.2.70.000000/0.1/C100)
Opera 7.0 (CA.MOBILE
219.101.204.186
7 CA.MOBILE crawler Vodafone/1.0/V905SH/SHJ002 Browser/
VF-NetFront/3.3 Profile/MIDP-2.0 Configuration/
CLDC-1.1
(CA.MOBILE crawler;http://seaftyy.jp/q?i=bot)
219.101.204.186
8 Googlebot-Mobile/2.1 DoCoMo/1.0/N505i/c20/TB/W20H10
(compatible; Googlebot-Mobile/2.1;
+http://www.google.com/bot.html)
66.249.72.144
9 YahooSeeker/
MA-R2D2;mobile-
search-customer-
care AT yahoo-inc
dot com
Nokia6682/2.0 (3.01.1)
SymbianOS/8.0 Series60/2.6 Profile/MIDP-2.0
configuration/CLDC-1.1 UP.Link/6.3.0.0.0
(compatible; Windowns CE; Blazer/4.0; PalmSource;
MOT-V300; SEC-SGHE315; YahooSeeker/MA-
R2D2;mobile-search-customer-care AT yahoo-inc dot com)
209.191.82.254
10 Googlebot-Mobile/2.1 Nokia6820/2.0 (4.83) Profile/MIDP-1.0
Configuration/CLDC-1.0
(compatible; Googlebot-Mobile/2.1;
+http://www.google.com/bot.html)
66.249.65.7
11 YahooSeeker J-Phone/5.0/J-SH03
(compatible; Mozilla 4.0; MSIE 5.5; YahooSeeker)
66.94.229.149
12 YahooSeeker DoCoMo/1.0/SO502i
(compatible; Mozilla 4.0; MSIE 5.5; YahooSeeker)
66.94.233.81
13 YahooSeeker KDDI-CA23 UP.Browser/6.2.0.5
(compatible; KDDI-TS24 UP. Browser/6.0.8.2 (GUI)
MMP/1.1; YahooSeeker)
66.94.229.146
14 FAST WAP Proxy/1.0 nokia6610I/1.0 (4.10) Profile/MIDP-1.0
Configuration/CLDC-1.0 (FAST WAP Proxy/1.0)
66.151.181.4
15 YahooSeeker/
MA-R2D2;mobile-
search-customer-care
AT yahoo-inc dot com
Nokia6682/2.0 (3.01.1)
SymbianOS/8.0 Series60/2.6 Profile/MIDP-2.0
configuration/CLDC-1.1 UP.Link/6.3.0.0.0
(compatible; Windows CE; Blazer/4.0;
PalmSource; MOT-V300; SEC-SGHE315;
YahooSeeker/MA-R2D2;
mobile-search-customer-care AT yahoo-inc dot com)
66.94.233.83

Robot Close Up!!

~今月のロボット紹介~

毎月1つの検索エンジンのロボットを紹介しています。今月のロボットはGoogleです。

【Google】

企業名: グーグル株式会社(東京都渋谷区)・Google, Inc.(米)
URL: http://www.google.co.jp/
ロボット名・取得データ: Googlebot/2.1・通常のGooglebot( 「グーグルボット」と読む)
Googlebot-Image/1.0 ・イメージ検索用の画像を収集するGooglebot
Mediapartners-Google/2.1 ・AdSense用のGooglebot
compatible; Googlebot/2.1・調査中
詳細: ●検索エンジンのGoogleでは以下のコンテンツを用意している。
Google でのサイトのクロール方法
各種ガイドライン
クロール エラーの解析
●ウェブマスターツールに登録するとGooglebotが登録したサイトへのアクセス最終日や頻度、クロールされたページ数などの診断情報がチェックできる。
ウェブマスターツール

Spidermatic™

Spidermatic™ のオフィシャルサイトで登録すると、無料でスパイダーの巡回をメールでお知らせしてくれます!
http://www.spidermatic.com/