Download - Fluentd and MySQL
Fluentd and MySQLMySQL Casual Talks Vol.3 (2012/04/19)
LT@tagomoris
NHN Japan Corp.
12年4月20日金曜日
What's Fluentd ?
• Log collector daemon we all loves.
• Message (key-value pairs) without schema
12年4月20日金曜日
Storage systems with Fluentd
• HDFS of Hadoop
• Amazon S3
• MongoDB
• Online aggregation and graphs
12年4月20日金曜日
RDBMS with Fluentd?
• Schema is fine!
• Schema-less fluentd message is not suitable for RDBMS....
$ gem search -r fluent-plugin-mysql
*** REMOTE GEMS ***
$
12年4月20日金曜日
If it doesn't exists,I'll write it.
無いのなら 作ってしまえプラグイン
12年4月20日金曜日
fluent-plugin-mysql
• Fluentd buffered output plugin
• https://github.com/tagomoris/fluent-plugin-mysql
• Released just before this LT!
• Now, we can do 'gem install fluent-plugin-mysql'
12年4月20日金曜日
Schema ?
12年4月20日金曜日
We have mysql_json !
• "mysql_json - a MySQL UDF for parsing JSON"
• http://blog.kazuhooku.com/2011/09/mysqljson-mysql-udf-for-parsing-json.html
• https://github.com/kazuho/mysql_json
12年4月20日金曜日
Simple configuration
<source> type forward</source>
<match test.*> type mysql host localhost database applogs username root sql INSERT INTO tbl SET jsondata=? format json flush_interval 1s</match>
12年4月20日金曜日
Coooooooool!!!!
mysql> select * from tbl where json_get(jsondata, 'pospos') like 'moge%';+----+----------------------------------------------+| id | jsondata |+----+----------------------------------------------+| 2 | {"hoge":1,"pospos":"mogemogemogemogemogege"} |+----+----------------------------------------------+1 row in set (0.00 sec)
12年4月20日金曜日
Thanks !(See you next in Fluentd Casual Talks!)
12年4月20日金曜日
Schema....
• fluent-plugin-mysql also supports schema-full insert.
• like below:
<match test.*> type mysql host localhost database applogs username root key_names status,path,rhost,agent,referer table tbl columns status,path,rhost,agent,referer flush_interval 1s</match>
12年4月20日金曜日