SpringBoot集成plumelog实现分布式日志管理

Plumelog是一个简单易用的java分布式日志组件。

官网：Plumelog

Gitee：点我进入

1. 无代码入侵的分布式日志系统，基于log4j、log4j2、logback搜集日志，设置链路ID，方便查询关联日志
2. 基于elasticsearch作为查询引擎
3. 高吞吐，查询效率高
4. 全程不占应用程序本地磁盘空间，免维护，对于项目透明，不影响项目本身运行
5. 无需修改老项目，引入直接使用，支持dubbo，支持springcloud

本片文章介绍如何在SpringBoot项目中使用Plumelog。

docker-compose编排Plumelog

编写docker-compose-plumelog编排文件。

docker-compose-plumelog.yml

version: "3"

# 网桥 -> 方便相互通讯
networks:
  plumelog:
    ipam:
      driver: default
      config:
        - subnet: "172.23.0.0/24"

services:
  plumelog:
    image: registry.cn-hangzhou.aliyuncs.com/zhengqing/plumelog:3.5.3
    container_name: plumelog
    restart: unless-stopped
    volumes:
      # 引用外部配置文件    ex: es,redis   (配置也可通过 -e 去修改)
      - ./plumelog/application.properties:/home/application.properties
    environment: # 设置环境变量,相当于docker run命令中的-e
      TZ: Asia/Shanghai
      LANG: en_US.UTF-8
      JAVA_OPTS: "-XX:+UseG1GC -Dspring.config.location=/home/application.properties,classpath:application.properties,"
      plumelog.queue.redis.redisHost: 172.23.0.33:6379
      plumelog.queue.redis.redisPassWord: 123456
      plumelog.queue.redis.redisDb: 10
      plumelog.es.esHosts: 172.23.0.22:9200
      plumelog.es.userName: elastic
      plumelog.es.passWord: 123456
      login.username: admin
      login.password: admin
    ports:
      - "8891:8891"
    depends_on:
      - elasticsearch
      - redis
    networks:
      plumelog:
        ipv4_address: 172.23.0.11

  elasticsearch:
    image: registry.cn-hangzhou.aliyuncs.com/zhengqing/elasticsearch:7.14.1      # 原镜像`elasticsearch:7.14.1`
    container_name: plumelog_elasticsearch         # 容器名为'elk_elasticsearch'
    restart: unless-stopped                   # 指定容器退出后的重启策略为始终重启，但是不考虑在Docker守护进程启动时就已经停止了的容器
    volumes:                                  # 数据卷挂载路径设置,将本机目录映射到容器目录
      - "./plumelog/elasticsearch/data:/usr/share/elasticsearch/data"
      - "./plumelog/elasticsearch/logs:/usr/share/elasticsearch/logs"
      - "./plumelog/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml"
    #      - "./plumelog/elasticsearch/config/jvm.options:/usr/share/elasticsearch/config/jvm.options"
    environment:                              # 设置环境变量,相当于docker run命令中的-e
      TZ: Asia/Shanghai
      LANG: en_US.UTF-8
      discovery.type: single-node
      ES_JAVA_OPTS: "-Xmx512m -Xms512m"
      ELASTIC_PASSWORD: "123456" # elastic账号密码
    ports:
      - "9200:9200"
      - "9300:9300"
    networks:
      plumelog:
        ipv4_address: 172.23.0.22

  redis:
    image: registry.cn-hangzhou.aliyuncs.com/zhengqing/redis:7.0.5                    # 镜像'redis:7.0.5'
    container_name: plumelog_redis                                                             # 容器名为'redis'
    restart: unless-stopped                                                                   # 指定容器退出后的重启策略为始终重启，但是不考虑在Docker守护进程启动时就已经停止了的容器
    command: redis-server /etc/redis/redis.conf --requirepass 123456 --appendonly no # 启动redis服务并添加密码为：123456,默认不开启redis-aof方式持久化配置
    #    command: redis-server --requirepass 123456 --appendonly yes # 启动redis服务并添加密码为：123456,并开启redis持久化配置
    environment:                        # 设置环境变量,相当于docker run命令中的-e
      TZ: Asia/Shanghai
      LANG: en_US.UTF-8
    volumes:                            # 数据卷挂载路径设置,将本机目录映射到容器目录
      - "./plumelog/redis/data:/data"
      - "./plumelog/redis/config/redis.conf:/etc/redis/redis.conf"  # `redis.conf`文件内容`http://download.redis.io/redis-stable/redis.conf`
    ports:                              # 映射端口
      - "6379:6379"
    networks:
      plumelog:
        ipv4_address: 172.23.0.33

在运行前，我一般会提前准备好挂载的配置文件。

以下路径文件的相对位置，以docker-compose-plumelog作为参考。

./plumelog/application.properties

spring.application.name=plumelog_server
spring.profiles.active=test-confidential
server.port=8891
spring.thymeleaf.mode=LEGACYHTML5
spring.mvc.view.prefix=classpath:/templates/
spring.mvc.view.suffix=.html
spring.mvc.static-path-pattern=/plumelog/**
spring.boot.admin.context-path=admin
management.health.elasticsearch.enabled=false

# 值为4种 redis,kafka,rest,restServer
# redis 表示用redis当队列
# kafka 表示用kafka当队列
# rest 表示从rest接口取日志
# restServer 表示作为rest接口服务器启动
# ui 表示单独作为ui启动
# lite 简易模式启动不需要配置redis等
plumelog.model=redis
#plumelog.lite.log.path=/Users/chenlongfei/lucene
# 如果使用kafka,启用下面配置
#plumelog.kafka.kafkaHosts=172.16.247.143:9092,172.16.247.60:9092,172.16.247.64:9092
#plumelog.kafka.kafkaGroupName=logConsumer

# 如果启用内置redis，使用下面配置，这边填上本机的ip，和需要启动的端口号,如果你只启用内置的redis,下面关于redis的配置可以不用配置全部注释掉
# plumelog.inside.redis.host=127.0.0.1:7979

# 队列redis地址，model配置redis集群模式，哨兵模式用逗号隔开，队列redis不支持集群模式
plumelog.queue.redis.redisHost=127.0.0.1:6379
# 如果使用redis有密码,启用下面配置
plumelog.queue.redis.redisPassWord=123456
plumelog.queue.redis.redisDb=10
# 哨兵模式需要配置的
#plumelog.queue.redis.sentinel.masterName=myMaster

# 管理端redis地址 ，集群用逗号隔开，不配置将和队列公用
#plumelog.redis.redisHost=127.0.0.1:6379
# 如果使用redis有密码,启用下面配置
#plumelog.redis.redisPassWord=123456
#plumelog.redis.redisDb=11
# 哨兵模式需要配置的
#plumelog.redis.sentinel.masterName=myMaster

# 如果使用rest,启用下面配置
#plumelog.rest.restUrl=http://127.0.0.1:8891/getlog
#plumelog.rest.restUserName=plumelog
#plumelog.rest.restPassWord=123456

# redis解压缩模式，开启后不消费非压缩的队列
#plumelog.redis.compressor=true

# elasticsearch相关配置，Hosts支持携带协议，如：http、https
plumelog.es.esHosts=127.0.0.1:9200
#plumelog.es.shards=5
#plumelog.es.replicas=0
#plumelog.es.refresh.interval=30s
# 日志索引建立方式day表示按天、hour表示按照小时
#plumelog.es.indexType.model=day
#plumelog.es.maxShards=100000
# ES设置密码,启用下面配置
plumelog.es.userName=elastic
plumelog.es.passWord=123456
# 是否信任自签证书
#plumelog.es.trustSelfSigned=true
# 是否hostname验证
#plumelog.es.hostnameVerification=false


# 单次拉取日志条数
plumelog.maxSendSize=100
# 拉取时间间隔，kafka不生效
plumelog.interval=100

# plumelog-ui的地址 如果不配置，报警信息里不可以点连接
plumelog.ui.url=http://demo.plumelog.com

# 管理密码，手动删除日志的时候需要输入的密码
admin.password=123456

# 日志保留天数,配置0或者不配置默认永久保留
admin.log.keepDays=30
# 链路保留天数,配置0或者不配置默认永久保留
admin.log.trace.keepDays=30
# 登录配置，配置后会有登录界面
login.username=admin
login.password=admin

./plumelog/elasticsearch/config/elasticsearch.yml

cluster.name: "docker-cluster"
network.host: 0.0.0.0
http.port: 9200
# 开启es跨域
http.cors.es.xpack.enabled: true
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization
# 开启安全控制
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true

./plumelog/redis/config/redis.conf

http://download.redis.io/redis-stable/redis.conf ，直接下载一份redis.conf文件，根据需要修改对应的配置信息即可 。

docker-compose编排启动各个组件

# 运行
docker-compose -f docker-compose.yml -p plumelog up -d

# 当前目录下所有文件赋予权限(读、写、执行)  -- 解决es启动报错问题，需要权限
chmod -R 777 ./plumelog/elasticsearch

启动完了以后，访问地址：ip地址:8891

• 账号：admin
• 密码：admin

SpringBoot整合Plumelog

Pom文件加入依赖

<!-- plumelog -->
<dependency>
    <groupId>com.plumelog</groupId>
    <artifactId>plumelog-logback</artifactId>
    <version>3.5.3</version>
</dependency>

服务配置文件

server:
  port: 9999

spring:
  profiles:
    active: dev

# 配置日志地址
logging:
  config: classpath:logback-spring.xml

plumelog:
  appName: springboot-plumelog
  # 需要和plumelog服务端的redis配置一致
  redisHost: 192.168.56.104:6379
  redisAuth: 123456
  redisDb: 10

日志配置文件

<?xml version="1.0" encoding="UTF-8"?>

<configuration scan="true">
    <include resource="org/springframework/boot/logging/logback/base.xml"/>

    <!-- ============================= ↓↓↓↓↓↓ 外部变量 ↓↓↓↓↓↓ ============================= -->

    <!-- 应用名称 -->
    <springProperty scope="context" name="APP_NAME" source="spring.application.name" defaultValue="demo"/>
    <!-- 日志文件保存位置 注：前面加/ 表示以盘符为绝对路径，不加则是以项目为相对路径 -->
    <springProperty scope="context" name="LOG_HOME" source="logging.log.home" defaultValue="logs"/>
    <!-- 日志文件保留天数 -->
    <springProperty scope="context" name="LOG_MAX_HISTORY_DAY" source="logging.log.max-history-day" defaultValue="30"/>

    <!-- ============================= ↓↓↓↓↓↓ 本地变量 ↓↓↓↓↓↓ ============================= -->

    <!-- 日志文件输出的文件名 -->
    <property name="LOG_FILE_NAME" value="logs/app.%d{yyyy-MM-dd}.log"/>

    <!-- ============================= ↓↓↓↓↓↓ 日志生成配置 ↓↓↓↓↓↓ ============================= -->

    <!-- 彩色日志 -->
    <!-- 彩色日志依赖的渲染类 -->
    <conversionRule conversionWord="clr"
                    converterClass="org.springframework.boot.logging.logback.ColorConverter"/>
    <conversionRule conversionWord="wex"
                    converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>
    <conversionRule conversionWord="wEx"
                    converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>
    <!-- 彩色日志格式 -->
    <property name="CONSOLE_LOG_PATTERN"
              value="${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>


    <!-- 1、设置日志控制台输出 -->
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <!--此日志appender是为开发使用，只配置最底级别，控制台输出的日志级别是大于或等于此级别的日志信息-->
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>DEBUG</level>
        </filter>
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <!-- 设置字符集 -->
            <charset>UTF-8</charset>
            <!-- 格式化输出：%d表示日期，%thread表示线程名，%-5level：级别从左显示5个字符宽度%msg：日志消息，%n是换行符 -->
            <pattern>${CONSOLE_LOG_PATTERN}</pattern>
        </encoder>
    </appender>


    <!-- 环境配置 -->
    <springProperty scope="context" name="plumelog.appName" source="plumelog.appName"/>
    <springProperty scope="context" name="plumelog.redisHost" source="plumelog.redisHost"/>
    <springProperty scope="context" name="plumelog.redisAuth" source="plumelog.redisAuth"/>
    <springProperty scope="context" name="plumelog.redisDb" source="plumelog.redisDb"/>
    <springProperty scope="context" name="plumelog.env" source="spring.profiles.active"/>
    <!-- 2、plumelog -->
    <appender name="plumelog" class="com.plumelog.logback.appender.RedisAppender">
        <appName>${plumelog.appName}</appName>
        <redisHost>${plumelog.redisHost}</redisHost>
        <redisAuth>${plumelog.redisAuth}</redisAuth>
        <redisDb>${plumelog.redisDb}</redisDb>
        <env>${plumelog.env}</env>
    </appender>

    <!-- 日志输出级别 -->
    <root level="DEBUG">
        <appender-ref ref="CONSOLE"/>
        <appender-ref ref="plumelog"/>
    </root>

    <!-- 减少部分日志 -->
    <!-- 业务日志 -->
    <logger name="com.zhengqing" level="DEBUG"/>

    <!-- other -->
    <logger name="org.springframework" level="WARN"/>
    <logger name="sun.rmi" level="WARN"/>
    <logger name="org.apache" level="WARN"/>
    <logger name="springfox" level="WARN"/>
    <logger name="sun.net" level="WARN"/>

</configuration>

启动项目记录日志

编写测试控制器打印日志

package com.itjing.plumelog.controller;

import lombok.extern.slf4j.Slf4j;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

/**
 * @Description: 测试控制器
 * @Author: 公众号：程序员阿晶
 * @CreateTime: 2023-02-24 15:41
 */
@RestController
@RequestMapping("/test")
@Slf4j
public class TestController {

    @GetMapping("/printLog/{message}")
    public String printLog(@PathVariable("message") String message) {
        log.info(message);
        return message;
    }
}

访问此接口，然后在plumelog系统页面中可以看到对应的日志信息。

疑问

Redis在里面充当什么角色

消息队列的角色