日記/2007-05-17/律義なクローラ
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
] [
リンク元
]
開始行:
* 律義なクローラ [#nf90ba7d]
apache のアクセスログを見ていると
xxx.yyy.zzz.www - - [11/Apr/2007:12:11:54 +0900]
"GET /~imai/linux/arm_gcc_badknowhow/arm_gcc_badknowhow....
"http://hogehoge.yi.org/~fumi/?date=200607"
"Mozilla/5.0 (compatible; BecomeJPBot/2.3; MSIE 6.0 comp...
+http://www.become.co.jp/site_owners.html)"
なんてアクセスを発見.
user agent を見ると明らかにクローラである.[http://www.be...
で,よく見ると,このクローラ
> 律義に referrer (リンク元)を送ってきてくれている
のである.
一方,google などの大手検索サイトのクローラでは referrer ...
空っぽである.
まぁ,事情はわからんでもないのだけど.
というわけで,このクローラ,
> あなたのページがこんなサイトで話題になってますよ
と教えてくれてるようで,ちょっと得した気分.
(追記)で,このクローラの名前でアクセスログを検索すると……
ちょっとアクセス間隔が短めかなぁ.
最短で 20 秒ぐらいである.
もうちょっと待ってもバチは当たらんと思うのだけど.
終了行:
* 律義なクローラ [#nf90ba7d]
apache のアクセスログを見ていると
xxx.yyy.zzz.www - - [11/Apr/2007:12:11:54 +0900]
"GET /~imai/linux/arm_gcc_badknowhow/arm_gcc_badknowhow....
"http://hogehoge.yi.org/~fumi/?date=200607"
"Mozilla/5.0 (compatible; BecomeJPBot/2.3; MSIE 6.0 comp...
+http://www.become.co.jp/site_owners.html)"
なんてアクセスを発見.
user agent を見ると明らかにクローラである.[http://www.be...
で,よく見ると,このクローラ
> 律義に referrer (リンク元)を送ってきてくれている
のである.
一方,google などの大手検索サイトのクローラでは referrer ...
空っぽである.
まぁ,事情はわからんでもないのだけど.
というわけで,このクローラ,
> あなたのページがこんなサイトで話題になってますよ
と教えてくれてるようで,ちょっと得した気分.
(追記)で,このクローラの名前でアクセスログを検索すると……
ちょっとアクセス間隔が短めかなぁ.
最短で 20 秒ぐらいである.
もうちょっと待ってもバチは当たらんと思うのだけど.
ページ名:
-->