在flume中提供了Spooling Directory Source对文件夹中的文件扫描进行监控并作为传输源。根据doc里说的此方法比exec source的tail更加的可靠。在使用过程中遇到了读取文件流编码异常的问题:
[code]
Uncaught exception in SpoolDi
继续阅读 →
flume抓取日志存取到hadoop,分为客户端与服务端,两端之间通过arvo进行连接。客户端抓取日志并将数据发送到服务端,服务端接受到数据后通过hadoop进行保存。
客户端配置:
[code]
###################################################
继续阅读 →
flume-ng是个日志收集系统,这个日志收集系统由一个或多个agent(代理)构成,每个agent由三部分构成:Source、Channel、Sink。
继续阅读 →
major.minor version 51.0 在运行的时候遇到此错误。网上查找得出由于编译环境与引用包jar编译所用jdk不同所致。查看jar:META-INF/MANIFEST.MF中编译信息 build-jdk为1.7.0_60,MyEclipe编译环境为1.6,重新设定MyEclipe编译
继续阅读 →
ActiveMQ是一种开源的,实现了JMS1.1规范的,面向消息(MOM)的中间件,为应用程序提供高效的、可扩展的、稳定的和安全的企业级消息通信。
继续阅读 →
jms即Java消息服务 是Java平台上有关面向消息中间件(MOM)的技术规范,它便于消息系统中的Java应用程序进行消息交换,并且通过提供标准的产生、发送、接收消息的接口简化企业应用的开发。
特性:
消息传递持久性支持,生存周期设置为零,这则消息将永远不会过期。
实现消息的优先级路线,0是最低的优先级而9则是最高。
JMS定义了五种不同的消息正文格式,以及调用的消息类型,允许你发送并接收以一些不同形式的数据,提供现有消息格式的一些级别的兼容性。
- StreamMessage -- Java原始值的数据流
- MapMessage--一套名称-值对
- TextMessage--一个字符串对象
- ObjectMessage--一个序列化的 Java对象
- BytesMessage--一个未解释字节的数据流
jms流程图
继续阅读 →