Tweet

律義なクローラ

apache のアクセスログを見ていると

xxx.yyy.zzz.www - - [11/Apr/2007:12:11:54 +0900] 
"GET /~imai/linux/arm_gcc_badknowhow/arm_gcc_badknowhow.html HTTP/1.1" 200 3232 
"http://hogehoge.yi.org/~fumi/?date=200607"
"Mozilla/5.0 (compatible; BecomeJPBot/2.3; MSIE 6.0 compatible;
+http://www.become.co.jp/site_owners.html)"

なんてアクセスを発見.

user agent を見ると明らかにクローラである.書いてある URL もちゃんと実在し,クローラについての説明がある.

で,よく見ると,このクローラ

律義に referrer (リンク元)を送ってきてくれている

のである. 一方,google などの大手検索サイトのクローラでは referrer はいつも "-". 空っぽである. まぁ,事情はわからんでもないのだけど.

というわけで,このクローラ,

あなたのページがこんなサイトで話題になってますよ

と教えてくれてるようで,ちょっと得した気分.

(追記)で,このクローラの名前でアクセスログを検索すると…… ちょっとアクセス間隔が短めかなぁ. 最短で 20 秒ぐらいである. もうちょっと待ってもバチは当たらんと思うのだけど.


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2007-05-17 (木) 02:20:24 (4171d)