利用log4j+mongodb实现分布式系统中日志统一管理
2014-03-27 23:06
661 查看
背景
在分布式系统当中,我们有各种各样的WebService,这些服务可能分别部署在不同的服务器上,并且有各自的日志输出。为了方便对这些日志进行统一管理和分析。我们可以将日志统一输出到指定的数据库系统中,而再由日志分析系统去管理。而这个储存日志的数据库目前最适合的还是mongodb,一是因为它轻便、简单,与log4j整合方便,对系统的侵入性低。二是因为它与大型的关系型数据库相比有不少优势,比如查询快速、储存结构(json)利于扩展、免费等。
log4j与mongodb整合
1、首先安装mongodb数据库,具体安装方法请百度;
2、在你的应用程序中引用以下类库:
Mongo Java driver jar包 下载
Log4J jar包 注意版本,一定要1.2.16及以上。下载
log4mongo-java jar包 下载
3、在你的web项目中创建log4j.properties文件。
4、配置log4j.properties文件,使之整合mongodb:
[/code]
5、配置应用的日志输出格式:
[/code]
6、在应用程序中使用日志:
[/code]
7、通过Mongodb客户端系统,查看日志情况:
日志成功写入mongdb数据库,可以看到在数据库中日志的结构相当清晰。
使用日志系统管理mongodb的日志
可以开发一个日志系统连接mongodb数据库,进行日志数据的管理和分析。你也可以使用mongodb目前有的一些Web客户端来管理,下面介绍两个mongodb常用的Web客户端:
mongovision:使用extjs作为前端,体验较好,但需要java7。
rock_mongo:基于php的MongoDB管理工具。
mongodb的部署方式
在我们数据量不是太大的情况下,并且日志数据的重要性不是太强的时候,我们可以快速搭建出最简单的mongodb单实例模式,来储存日志数据。这种方式最简单最快速。
当我们考虑到安全、灾备等因素时,我们一般可以考虑主-从模式搭建mongodb服务器。
采用主-从模式后主节点挂掉了后从节点可以接替主机继续服务。这种模式比单节点的高可用性要好很多。
如果有一天数据越来越多,你发现mongodb处理它们越来越吃力,你就得想办法怎么让它减压。一般的做法是,部署多个从节点,来分担主节点压力。在这里我们可以想到Mysql的读写方案,同样也适合Mongodb。
你可以让主节点用于写入,而从节点用于读操作(根据你的应用读和写操作的比例来分配)。这样读写分离,主从分担数据库操作压力。
关于mongodb各种模式的具体部署配置方法,在这不再介绍有兴趣可以查下资料。此外在面对海量数据时,还有很多针对性较强的集群方案,希望有经验的朋友介绍一下。
在分布式系统当中,我们有各种各样的WebService,这些服务可能分别部署在不同的服务器上,并且有各自的日志输出。为了方便对这些日志进行统一管理和分析。我们可以将日志统一输出到指定的数据库系统中,而再由日志分析系统去管理。而这个储存日志的数据库目前最适合的还是mongodb,一是因为它轻便、简单,与log4j整合方便,对系统的侵入性低。二是因为它与大型的关系型数据库相比有不少优势,比如查询快速、储存结构(json)利于扩展、免费等。
log4j与mongodb整合
1、首先安装mongodb数据库,具体安装方法请百度;
2、在你的应用程序中引用以下类库:
Mongo Java driver jar包 下载
Log4J jar包 注意版本,一定要1.2.16及以上。下载
log4mongo-java jar包 下载
3、在你的web项目中创建log4j.properties文件。
4、配置log4j.properties文件,使之整合mongodb:
log4j.rootLogger=INFO,stdout,MongoDB
[code]
log4j.appender.MongoDB=org.log4mongo.MongoDbAppender
log4j.appender.MongoDB.databaseName=logs
log4j.appender.MongoDB.collectionName=log
log4j.appender.MongoDB.hostname=ubuntu
log4j.appender.MongoDB.port=27017
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %5p %c{1}:%L - %m%n
[/code]
5、配置应用的日志输出格式:
log4j.logger.com.cnblogs.leefreeman.servlet=INFO,action
[code]log4j.appender.action.Threshold = INFO
log4j.appender.action=org.apache.log4j.DailyRollingFileAppender
log4j.appender.action.encoding=utf8
log4j.appender.action.File=/opt/logs/action.log
log4j.appender.action.DatePattern = '_'yyyy-MM-dd'.log'
log4j.appender.action.layout=org.apache.log4j.PatternLayout
log4j.appender.action.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %5p %c{1}:%L - %m%n
[/code]
6、在应用程序中使用日志:
public class IndexServlet extends HttpServlet {
[code] private static Logger logger = Logger.getLogger(IndexServlet.class);
private static final long serialVersionUID = -5244922269946905057L;
@Override
protected void doGet(HttpServletRequest req, HttpServletResponse resp)
throws ServletException, IOException {
logger.info("hello log4j+mongodb");
PrintWriter out = resp.getWriter();
out.print("hello world");
out.flush();
out.close();
}
}
[/code]
7、通过Mongodb客户端系统,查看日志情况:
日志成功写入mongdb数据库,可以看到在数据库中日志的结构相当清晰。
使用日志系统管理mongodb的日志
可以开发一个日志系统连接mongodb数据库,进行日志数据的管理和分析。你也可以使用mongodb目前有的一些Web客户端来管理,下面介绍两个mongodb常用的Web客户端:
mongovision:使用extjs作为前端,体验较好,但需要java7。
rock_mongo:基于php的MongoDB管理工具。
mongodb的部署方式
在我们数据量不是太大的情况下,并且日志数据的重要性不是太强的时候,我们可以快速搭建出最简单的mongodb单实例模式,来储存日志数据。这种方式最简单最快速。
当我们考虑到安全、灾备等因素时,我们一般可以考虑主-从模式搭建mongodb服务器。
采用主-从模式后主节点挂掉了后从节点可以接替主机继续服务。这种模式比单节点的高可用性要好很多。
如果有一天数据越来越多,你发现mongodb处理它们越来越吃力,你就得想办法怎么让它减压。一般的做法是,部署多个从节点,来分担主节点压力。在这里我们可以想到Mysql的读写方案,同样也适合Mongodb。
你可以让主节点用于写入,而从节点用于读操作(根据你的应用读和写操作的比例来分配)。这样读写分离,主从分担数据库操作压力。
关于mongodb各种模式的具体部署配置方法,在这不再介绍有兴趣可以查下资料。此外在面对海量数据时,还有很多针对性较强的集群方案,希望有经验的朋友介绍一下。
相关文章推荐
- 利用log4j+mongodb实现分布式系统中日志统一管理
- 利用log4j+mongodb实现分布式系统中日志统一管理
- 玩转mongodb(九):通过log4jmongo来实现分布式系统的日志统一管理
- 利用fluentd构建分布式日志管理系统
- 利用ZooKeeper服务实现分布式系统的Leader选举
- 利用RBAC模型实现一个通用的权限管理系统
- 利用Laravel事件系统如何实现登录日志的记录详解
- java中利用IO流实现简单的图书管理系统(利用数组和IO实现)
- 基于log4j实现统一日志管理
- Spring Cloud分布式微服务系统中利用redssion实现分布式锁
- ELK(elasticsearch+logstash+kibana)实现Java分布式系统日志分析架构
- 5月17日云栖精选夜读:分布式大数据系统巧实现_全局数据调度管理不再难
- Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统
- 使用 PAM 集成 OpenLDAP 实现 Linux 统一管理系统用户
- C语言利用结构体数组实现学生成绩管理系统
- 基于Struts2 的日志管理系统的Java实现
- 改造apache的开源日志项目来实现 分布式日志收集系统
- wang-----利用Kafka, Cloudera Search以及Hue实现实时日志分析系统【extention】
- 通用权限管理系统组件 (GPM - General Permissions Manager) 中实现多子系统的集中统一管理,可以集成部署也支持独立部署