色彩时光 | 记录程序员世界的点点滴滴

flume spooldir to file_roll实现

在flume中提供了Spooling Directory Source对文件夹中的文件扫描进行监控并作为传输源。根据doc里说的此方法比exec source的tail更加的可靠。在使用过程中遇到了读取文件流编码异常的问题: [code] Uncaught exception in SpoolDi
继续阅读 →

flume抓取日志存取到hadoop demo

flume抓取日志存取到hadoop,分为客户端与服务端,两端之间通过arvo进行连接。客户端抓取日志并将数据发送到服务端,服务端接受到数据后通过hadoop进行保存。 客户端配置: [code] ###################################################
继续阅读 →

flume-ng学习总结1

flume-ng是个日志收集系统,这个日志收集系统由一个或多个agent(代理)构成,每个agent由三部分构成:Source、Channel、Sink。
继续阅读 →

major.minor version 51.0

major.minor version 51.0 在运行的时候遇到此错误。网上查找得出由于编译环境与引用包jar编译所用jdk不同所致。查看jar:META-INF/MANIFEST.MF中编译信息 build-jdk为1.7.0_60,MyEclipe编译环境为1.6,重新设定MyEclipe编译
继续阅读 →

ActiveMQ 消息处理服务

ActiveMQ是一种开源的,实现了JMS1.1规范的,面向消息(MOM)的中间件,为应用程序提供高效的、可扩展的、稳定的和安全的企业级消息通信。
继续阅读 →

jms即Java消息服务

jms即Java消息服务 是Java平台上有关面向消息中间件(MOM)的技术规范,它便于消息系统中的Java应用程序进行消息交换,并且通过提供标准的产生、发送、接收消息的接口简化企业应用的开发。 特性:
    消息传递持久性支持,生存周期设置为零,这则消息将永远不会过期。
    实现消息的优先级路线,0是最低的优先级而9则是最高。
    JMS定义了五种不同的消息正文格式,以及调用的消息类型,允许你发送并接收以一些不同形式的数据,提供现有消息格式的一些级别的兼容性。
  1. StreamMessage -- Java原始值的数据流
  2. MapMessage--一套名称-值对
  3. TextMessage--一个字符串对象
  4. ObjectMessage--一个序列化的 Java对象
  5. BytesMessage--一个未解释字节的数据流
jms流程图 jms.jpg
继续阅读 →

分类

热门标签

友情链接