fluentd(td-agent) Aapcheアクセスログのフィルタリング

Apacheログの取り込みで全部取り込むと膨大になる場合、Filterを使うと絞り込みができる。

たとえば特定のhttpステータスを除外したり、大量アクセスするクローラーを除外したい場合などは以下のように設定ファイルを記載する。

CentOS系であればデフォルトログファイルの場所は/var/log/httpd/access_logである。

# Apache log
<source>
  type tail
  format apache
  path /var/log/httpd/blog_access_log
  tag apache.access
  pos_file /tmp/fluentd-apache.pos
</source>
<filter apache.access>
  type grep
  # HTTP statusコードで除外
  exclude1 code (200|301|302|304)
  # User-Agent文字列で除外
  exclude2 agent (Mozilla|Safari)
</filter>
<match apache.access>
  type file
  path /var/tmp/apache.log
</match>