一昔前にはワームが飛び交っていたのでそれを分離する設定が重宝した。
今は新規のロボットエンジンがスパムのごとくアクセスログを埋めてくれるのでロボットはロボットで別のログにまとめる必要に迫られる。
でhttpd.confに以下のようにCustomLogの設定を入れる
#主要なロボットと（迷惑な）新規ロボットをひとまとめに別ログにする
SetEnvIf User-Agent "(Googlebot)|(Slurp)|(Baiduspider)|(msnbot)|(Yeti)|(psbot)|(Ask Jeeves)|(Twiceler-0.9)" robots nolog
CustomLog logs/robot_log combined env=robots
CustomLog logs/access_log combined env=!nolog
終わったらapache再起動するべし。
新しいロボットがきたら
|(ロボットのUserAgent名)
組み合わせを増やしていけばいい。
正直いって現状ロボットアクセスが通常の2倍ぐらいありますです。うーむもっとがんばらねば！