1、配置文件logback-spring.xml

SpringBoot 工程自带 logback 和 slf4j 的依赖，所以重点放在编写配置文件上，需要引入什么依赖，日志依赖冲突统统都不需要我们管了。
logback 框架会默认加载 classpath 下命名为 logback-spring 或 logback 的配置文件。
将所有日志都存储在一个文件中文件大小也随着应用的运行越来越大并且不好排查问题，正确的做法应该是将error 日志和其他日志分开，并且不同级别的日志根据时间段进行记录存储。

  1. <?xml version="1.0" encoding="utf-8"?>
  2. <configuration>
  3.   <property resource="logback.properties"/>
  4.   <appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender">
  5.     <layout class="ch.qos.logback.classic.PatternLayout">
  6.       <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
  7.     </layout>
  8.   </appender>
  9.   <!--获取比info级别高(包括info级别)但除error级别的日志-->
  10.   <appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
  11.     <filter class="ch.qos.logback.classic.filter.LevelFilter">
  12.       <level>ERROR</level>
  13.       <onMatch>DENY</onMatch>
  14.       <onMismatch>ACCEPT</onMismatch>
  15.     </filter>
  16.     <encoder>
  17.       <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
  18.     </encoder>
  20.     <!--滚动策略-->
  21.     <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
  22.       <!--路径-->
  23.       <fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern>
  24.       <maxHistory>30</maxHistory>
  25.     </rollingPolicy>
  26.   </appender>
  27.   <appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
  28.     <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
  29.       <level>ERROR</level>
  30.     </filter>
  31.     <encoder>
  32.       <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
  33.     </encoder>
  34.     <!--滚动策略-->
  35.     <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
  36.       <!--路径-->
  37.       <fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern>
  38.       <maxHistory>30</maxHistory>
  39.     </rollingPolicy>
  40.   </appender>
  42.   <root level="info">
  43.     <appender-ref ref="CONSOLE-LOG" />
  44.     <appender-ref ref="INFO-LOG" />
  45.     <appender-ref ref="ERROR-LOG" />
  46.   </root>
  47. </configuration>

部分标签说明

  • 标签，必填标签，用来指定最基础的日志输出级别
  • 标签，添加 append
  • 标签，通过使用该标签指定日志的收集策略
  • name 属性指定 appender 命名
  • class 属性指定输出策略，通常有两种，控制台输出和文件输出，文件输出就是将日志进行一个持久化。ConsoleAppender 将日志输出到控制台
  • 标签，通过使用该标签指定过滤策略
  • 标签指定过滤的类型
  • 标签，使用该标签下的 标签指定日志输出格式
  • 标签指定收集策略，比如基于时间进行收集
  • 标签指定生成日志保存地址 通过这样配置已经实现了分类分天手机日志的目标了

image.gif

2、logback 高级特性异步输出日志

之前的日志配置方式是基于同步的，每次日志输出到文件都会进行一次磁盘 IO。采用异步写日志的方式而不让此
次写日志发生磁盘 IO，阻塞线程从而造成不必要的性能损耗。
异步输出日志需要添加一个基于异步写日志的 appender，并指向原先配置的 appender 即可。 

  1. <!-- 异步输出 -->
  2. <appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender">
  3.   <!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 -->
  4.   <discardingThreshold>0</discardingThreshold>
  5.   <!-- 更改默认的队列的深度,该值会影响性能.默认值为256 -->
  6.   <queueSize>256</queueSize>
  7.   <!-- 添加附加的appender,最多只能添加一个 -->
  8.   <appender-ref ref="INFO-LOG"/>
  9. </appender>
  10. <appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender">
  11.   <!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 -->
  12.   <discardingThreshold>0</discardingThreshold>
  13.   <!-- 更改默认的队列的深度,该值会影响性能.默认值为256 -->
  14.   <queueSize>256</queueSize>
  15.   <!-- 添加附加的appender,最多只能添加一个 -->
  16.   <appender-ref ref="ERROR-LOG"/>
  17. </appender>

3、异步输出日志性能测试

既然能提高性能的话，必须进行一次测试比对，同步和异步输出日志性能到底能提升多少倍？

服务器硬件
  • CPU 六核

  • 内存 8G

    测试工具

  • Apache Jmeter

同步输出日志

  • 线程数：100
  • Ramp-Up Loop (可以理解为启动线程所用时间) ：0 可以理解为100个线程同时启用
  • 测试结果

Logback - 配置文件 - 图2
image.gif
重点关注指标 Throughput(TPS) 吞吐量：系统在单位时间内处理请求的数量。
在同步输出日志中 TPS 为：44.2/sec。

异步输出日志
  • 线程数：100
  • Ramp-Up Loop ：0
  • 测试结果

image.gifLogback - 配置文件 - 图5
TPS 为：497.5/sec，性能提升了10多倍！！！

4、异步日志输出原理

从logback框架下的Logger.info方法开始追踪。一路的方法调用路径如下图所示：
image.gif
异步输出日志中最关键的就是配置文件中ch.qos.logback.classic包下AsyncAppenderBase类中的append方法，查看该方法的源码:
protected void append(E eventObject) { if(!this.isQueueBelowDiscardingThreshold() || !this.isDiscardable(eventObject)) { this.preprocess(eventObject); this.put(eventObject); } }
通过队列情况判断是否需要丢弃日志，不丢弃的话将它放到阻塞队列中，通过查看代码，这个阻塞队列为ArrayBlockingQueueu，默认大小为256，可以通过配置文件进行修改。
Logger.info(...)到append(...)就结束了，只做了将日志塞入到阻塞队列的事，然后继续执行Logger.info(...)下面的语句了。在AsyncAppenderBase类中定义了一个Worker线程，run方法中的关键部分代码如下:
E e = parent.blockingQueue.take();aai.appendLoopOnAppenders(e);
从阻塞队列中取出一个日志，并调用AppenderAttachableImpl类中的appendLoopOnAppenders方法维护一个Append列表。Worker线程中调用方法过程主要如下图：
image.gif
最主要的两个方法就是encode和write方法，前一个法方会根据配置文件中encode指定的方式转化为字节码，后一个方法将转化成的字节码写入到文件中去。
所以写文件是通过新起一个线程去完成的，主线程将日志扔到阻塞队列中，然后又去做其他事情了。