ログ収集について（kibana、elasticsearch、logstash、Fluentd、Apache Flume、Splunk）

Kibanaというツールがきっかけでちょいとメモ。

これまでもElasticSearchというのが流行ってたりとか
Splunkっていうツールを小耳にはさんだりとかで
「ログ収集・分析」みたいな分野は気になっていた。

この組合せ、流行ってるみたいね。

ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
http://www.slideshare.net/y-ken/elasticsearch-kibnana-fluentd-management-tips

fluentd + elasticsearch + Kibanaでログのヴィジュアル化
http://open-groove.net/elasticsearch/fluentd-kibana/

fluentdとElasticsearchとkibanaの組み合わせがとても気に入ったのでメモ
http://inokara.hateblo.jp/entry/2013/09/07/122149

Fluentd+Elasticsearch+Kibana構成で便利な、logstash形式インデックスの粒度をカスタマイズする方法（※１）
http://y-ken.hatenablog.com/entry/fluentd-elasticsearch-kibana-index-partitioning

fluentd + Elasticsearch + Kibanaで始めるログ解析 (アクセス制御編)
http://blog.excale.net/index.php/archives/2291

という役割分担。

Ruby製のログ収集（というかログぶん投げ）ツール。
プラグインが豊富にあってRDBやNoSQL、HDFS、ElasticSearchにログをぶん投げることができる。
似たのにApache Flumeってのがある。

柔軟なログ収集を可能にする「fluentd」入門
http://knowledge.sakura.ad.jp/tech/1336/

RESTのインターフェースがあってJSON形式でドキュメントを登録・検索・削除できる。
Apache Solrが似てるかな？

ElasticSearchに溜まったログをいい感じに見れるUI。
もともとはlogstashというツールが集めたログを見るツールだったらしい。
現在はlogstashもkibanaもelasticsearch.orgのツール。

という機能を提供する。
Splunkとそっくり。

logstashでなくてFluentdを使うメリットはインデックスの粒度を変更できるところみたい。（※１）

ぺーぺーSEのブログ