Spring Boot 多线程开发之异步日志

背景

最近在进行大量数据的清洗和转换工作，因为涉及的数据量和表的个数较多，采用线程池的方式来进行多线程跑批处理。每个表和每个数据的清洗是不同的线程，一旦发生异常，需要快速排查某个现场的执行异常，采用传统的文本来进行排查或者通过日志解析后来排查，排查效率是非常低下的。如果可以通过数据的日志来排查呢？是否更加简单快捷？

工具选型

通过考虑，log4j2和logback都能够支持异步输出到DB的。笔者选用的是logback，主要是因为spring boot admin支持对logback进行日志级别的动态控制。

配置步骤

Mave依赖

1、spring boot

1、spring boot admin 依赖

<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>1.4.2.RELEASE</version>
</parent>

<properties>
<java.version>1.7</java.version>
<boot.admin.version>1.4.2</boot.admin.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency
<dependency>
<groupId>de.codecentric</groupId>
<artifactId>spring-boot-admin-server</artifactId>
<version>${boot.admin.version}</version>
</dependency>
<dependency>
<groupId>de.codecentric</groupId>
<artifactId>spring-boot-admin-server-ui</artifactId>
<version>${boot.admin.version}</version>
</dependency>
<dependency>
<groupId>de.codecentric</groupId>
<artifactId>spring-boot-admin-starter-client</artifactId>
<version>${boot.admin.version}</version>
</dependency>
<dependencies>

2、logback数据库操作依赖

<dependency>
<groupId>com.mchange</groupId>
<artifactId>c3p0</artifactId>
<version>0.9.5</version>
</dependency>
<dependency>
<groupId>com.oracle</groupId>
<artifactId>ojdbc6</artifactId>
<version>11.2.0</version>
</dependency>

配置

1、application.yml

logging:
level:
tk.mybatis: DEBUG
path: /log
server:
port: 8080
spring:
application:
name: ace-admin
boot:
admin:
url: http://localhost:${server.port}[/code] 
2、logback.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<appender name="oracle" class="ch.qos.logback.classic.db.DBAppender">
<connectionSource class="ch.qos.logback.core.db.DataSourceConnectionSource">
<dataSource class="com.mchange.v2.c3p0.ComboPooledDataSource">
<driverClass>oracle.jdbc.driver.OracleDriver</driverClass>
<jdbcUrl>jdbc:oracle:thin:@//localhost:1521/xxx</jdbcUrl>
<user>xxxx</user>
<password>xxxx</password>
</dataSource>
</connectionSource>
</appender>
<!-- 针对性配置需要输出到数据库的包目录和日志初始级别 -->
<logger name="com.github.wxiaoqi.security" level="debug">
<appender-ref ref="oracle" />
</logger>
<include resource="org/springframework/boot/logging/logback/base.xml"/>
<jmxConfigurator/>
</configuration>


数据库准备
logback数据库脚本下载

验证
spring boot admin验证
访问地址：http://localhost:8080/



logback db输出日志验证
根据日志输出的需要，配置（logback.xml）需要往数据库输出的日志的包路径和级别。

<logger name="com.github.wxiaoqi.security" level="debug">
<appender-ref ref="oracle" />
</logger>