色彩时光 | 记录程序员世界的点点滴滴

flume-ng是个日志收集系统,这个日志收集系统由一个或多个agent（代理）构成，每个agent由三部分构成：Source、Channel、Sink。
source为水源，是aent获取数据的入口；
channel为管道，是数据（由resource获得）流动的通道，主要作用是用来传输和存储数据；
sink为水槽，用来接收channel传入的数据并将数据输出到指定地方。
其中Source、Channel、Sink模块官方提供了几种可行的配置，可以像搭建积木一样根据需求自行搭配达到自己需要的效果，当然也能自定义开发。

flume-ng windows环境中日志采集遇到的2个问题：
1、启动命令采用的shell脚步启动，需改成bat形势。
2、Exec Source抓取日志文件，需运行UnxUtils的tail命令。

相关参考资料：
flume-ng windows环境部署运行：http://ju.outofmemory.cn/entry/112295
IBM flume介绍：
http://www.ibm.com/developerworks/cn/data/library/bd-1404flumerevolution/index.html
flume简介和配置：
http://my.oschina.net/leejun2005/blog/288136
Flume-NG-Kafka-Sink:
https://github.com/thilinamb/flume-ng-kafka-sink
flume官方资料:
http://flume.apache.org