使用Log4j将程序日志实时写入Kafka
2017-09-04 14:26
330 查看
很多应用程序使用Log4j记录日志,如何使用Kafka实时的收集与存储这些Log4j产生的日志呢?一种方案是使用其他组件(比如Flume,或者自己开发程序)实时监控这些日志文件,然后发送至Kafka。而另外一种比较便捷的方案是使用Kafka自带的Log4jAppender,在Log4j配置文件进行相应的配置,即可完成Log4j产生的日志实时发送至Kafka中。
注意:Kafka appender的配置参数,和Kafka版本有关。
log4j.rootLogger=INFO,console log4j.logger.kafka=info,KAFKA ## appender KAFKA log4j.appender.KAFKA=kafka.producer.KafkaLog4jAppender log4j.appender.KAFKA.topic=lxw1234 log4j.appender.KAFKA.brokerList=brokerNode1:9091,brokerNode2:9092 log4j.appender.KAFKA.compressionType=none log4j.appender.KAFKA.syncSend=true log4j.appender.KAFKA.layout=org.apache.log4j.PatternLayout log4j.appender.KAFKA.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L %% - %m%n ## appender console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d (%t) [%p - %l] %m%n
注意:Kafka appender的配置参数,和Kafka版本有关。
相关文章推荐
- 使用Log4j将程序日志实时写入Kafka
- 使用Log4j将程序日志实时写入Kafka(转)
- 使用Log4j将程序日志实时写入Kafka
- 使用Log4j将程序日志实时写入Kafka
- 使用Log4j将日志实时写入Flume
- 将Log4j日志实时写入Kafka
- MongDB 使用 Log4j配置文件将日志写入MongDB数据库
- java web使用log4j无法写入到日志文件
- java实时监听日志写入kafka
- java实时监听日志写入kafka(多目录)
- 使用Flume+Kafka+SparkStreaming进行实时日志分析
- 使用log4j将日志写入数据库并发送邮件
- Flume读取日志数据并写入到Kafka,ConsoleConsumer进行实时消费
- 使用log4j将日志信息写入数据库中
- Self Host 使用 Exceptionless 实时监控程序运行日志服务
- java实时监听日志写入kafka(转)
- 使用LOG4J记录程序日志的一个例子
- java实时监听日志写入kafka(转)
- 使用Log4j进行日志控制,在访问程序时总是出现警告消息
- [置顶] 使用Flume+Kafka+SparkStreaming进行实时日志分析