日記/2007-05-17/律義なクローラの変更点

追加された行はこの色です。
削除された行はこの色です。
日記/2007-05-17/律義なクローラへ行く。
日記/2007-05-17/律義なクローラの差分を削除

* 律義なクローラ [#nf90ba7d]
apache のアクセスログを見ていると
 xxx.yyy.zzz.www - - [11/Apr/2007:12:11:54 +0900] 
 "GET /~imai/linux/arm_gcc_badknowhow/arm_gcc_badknowhow.html HTTP/1.1" 200 3232 
 "http://hogehoge.yi.org/~fumi/?date=200607"
 "Mozilla/5.0 (compatible; BecomeJPBot/2.3; MSIE 6.0 compatible;
 +http://www.become.co.jp/site_owners.html)"

なんてアクセスを発見．

user agent を見ると明らかにクローラである．[http://www.become.co.jp/site_owners.html 書いてある URL] もちゃんと実在し，クローラについての説明がある．

で，よく見ると，このクローラ
> 律義に referrer （リンク元）を送ってきてくれている

のである．
一方，google などの大手検索サイトのクローラでは referrer はいつも "-"．
空っぽである．
まぁ，事情はわからんでもないのだけど．

というわけで，このクローラ，
> あなたのページがこんなサイトで話題になってますよ

と教えてくれてるようで，ちょっと得した気分．

（追記）で，このクローラの名前でアクセスログを検索すると……
ちょっとアクセス間隔が短めかなぁ．
最短で 20 秒ぐらいである．
もうちょっと待ってもバチは当たらんと思うのだけど．

日記/2007-05-17/律義なクローラ の変更点

日記/2007-05-17/律義なクローラの変更点