title: “雷池技术架构”

雷池技术架构

查看雷池的服务架构图。最上面虚线框住的是数据流，也就是访问业务服务器的流量数据的流动情况。中间框起来的部分是雷池的各个服务。

framework

各个容器和服务说明：

名称 定义 详情
safeline-mgt-api 管理容器 接收管理后台行为，向其他服务或容器推送消息
safeline-detector 检测容器 执行检测的容器，从 Tengine 进入的流量会转发到该节点检测
safeline-mario 日志容器 记录与统计恶意行为的节点
safeline-tengine 网关 转发网关，有简单的过滤功能
safeline-postgres 关系型数据库 存储攻击日志、保护站点、黑白名单配置的数据库
safeline-redis 缓存数据库 -

对于后台管理人员，可以直接通信的节点为管理服务 safeline-mgt-api，该节点负责：

  • 向 Tengine 网关推送自定义配置并利用 NGINX 命令进行 reload 热更新
  • 自定义检测规则（黑白名单等）并向检测引擎 safeline-detector 推送
  • 直接读取 postgres 数据库，向后台管理人员返回日志、统计、当前配置等

各个配置文件说明

.env 文件

用于设置 compose.yaml 要引用的环境变量

  1. echo "SAFELINE_DIR=$(pwd)" >> .env  # 设置当前路径为雷池社区版的根路径
  2. echo "IMAGE_TAG=latest" >> .env  # 设置镜像的 tag
  3. echo "MGT_PORT=9443" >> .env  # 管理容器服务使用的端口
  4. echo "POSTGRES_PASSWORD=$(LC_ALL=C tr -dc A-Za-z0-9 </dev/urandom | head -c 32)" >> .env  # /dev/urandom是一个很长的随机数文本，tr -dc 命令用于删除非字母、非数字的字符，用于生成随机的 postgres 密码
  5. echo "SUBNET_PREFIX=172.22.222" >> .env  # 定义 docker 虚拟网卡的子网前缀

compose.yml 文件

用于启动多个容器

  1. # 基于3.10 版本进行说明，最新配置文件可能存在部分变动
  2. networks:
  3.   safeline-ce:
  4.     name: safeline-ce # 定义该子网名称
  5.     driver: bridge # 该子网为网桥模式
  6.     ipam:
  7.       driver: default
  8.       config:
  9.         - gateway: ${SUBNET_PREFIX:?SUBNET_PREFIX required}.1 # 定义网关为 SUBNET_PREFIX.1，若按上文设置，此处为 172.22.222.1
  10.           subnet: ${SUBNET_PREFIX}.0/24
  11.     driver_opts:
  12.       com.docker.network.bridge.name: safeline-ce
  13. services:
  14.   postgres:
  15.     container_name: safeline-postgres
  16.     restart: always # 容器启动失败或崩溃时自动重启
  17.     image: postgres:15.2
  18.     volumes: # 开启的映射文件夹
  19.       - ${SAFELINE_DIR}/resources/postgres/data:/var/lib/postgresql/data
  20.       - /etc/localtime:/etc/localtime:ro
  21.     environment:
  22.       - POSTGRES_USER=safeline-ce
  23.       - POSTGRES_PASSWORD=${POSTGRES_PASSWORD:?postgres password required}
  24.     networks: # 使用上文的 safeline-ce 网络，IP 为 172.22.222.2
  25.       safeline-ce:
  26.         ipv4_address: ${SUBNET_PREFIX}.2
  27.     cap_drop:
  28.       - net_raw
  29.     command: [postgres, -c, max_connections=200] # 设置 postgres 的最大连接数
  30.   management:
  31.     container_name: safeline-mgt-api
  32.     restart: always
  33.     image: chaitin/safeline-mgt-api:${IMAGE_TAG:?image tag required}
  34.     volumes:
  35.       - ${SAFELINE_DIR?safeline dir required}/resources/management:/resources/management
  36.       - ${SAFELINE_DIR}/resources/nginx:/resources/nginx
  37.       - ${SAFELINE_DIR}/logs:/logs
  38.       - /etc/localtime:/etc/localtime:ro
  39.     ports:
  40.       - ${MGT_PORT:-9443}:1443
  41.     environment:
  42.       - MANAGEMENT_RESOURCES_DIR=/resources/management
  43.       - NGINX_RESOURCES_DIR=/resources/nginx
  44.       - DATABASE_URL=postgres://safeline-ce:${POSTGRES_PASSWORD}@127.0.0.1/safeline-ce
  45.       - MANAGEMENT_LOGS_DIR=/logs/management
  46.     networks:
  47.       safeline-ce: # 使用上文的 safeline-ce 网络，IP 为 172.22.222.4
  48.         ipv4_address: ${SUBNET_PREFIX}.4
  49.     cap_drop:
  50.       - net_raw
  51.   detector:
  52.     container_name: safeline-detector
  53.     restart: always
  54.     image: chaitin/safeline-detector:${IMAGE_TAG}
  55.     volumes:
  56.       - ${SAFELINE_DIR}/resources/detector:/resources/detector
  57.       - ${SAFELINE_DIR}/logs/detector:/logs/detector
  58.       - /etc/localtime:/etc/localtime:ro
  59.     environment:
  60.       - LOG_DIR=/logs/detector
  61.     networks:
  62.       safeline-ce: # 使用上文的 safeline-ce 网络，IP 为 172.22.222.5
  63.         ipv4_address: ${SUBNET_PREFIX}.5
  64.     cap_drop:
  65.       - net_raw
  66.   mario:
  67.     container_name: safeline-mario
  68.     restart: always
  69.     image: chaitin/safeline-mario:${IMAGE_TAG}
  70.     volumes:
  71.       - ${SAFELINE_DIR}/resources/mario:/resources/mario
  72.       - ${SAFELINE_DIR}/logs/mario:/logs/mario
  73.       - /etc/localtime:/etc/localtime:ro
  74.     environment:
  75.       - LOG_DIR=/logs/mario
  76.       - GOGC=100
  77.       - DATABASE_URL=postgres://safeline-ce:${POSTGRES_PASSWORD}@safeline-postgres/safeline-ce
  78.     networks:
  79.       safeline-ce: # 使用上文的 safeline-ce 网络，IP 为172.22.222.6
  80.         ipv4_address: ${SUBNET_PREFIX}.6
  81.     cap_drop:
  82.       - net_raw
  83.   tengine:
  84.     container_name: safeline-tengine
  85.     restart: always
  86.     image: chaitin/safeline-tengine:${IMAGE_TAG}
  87.     volumes:
  88.       - ${SAFELINE_DIR}/resources/nginx:/etc/nginx
  89.       - ${SAFELINE_DIR}/resources/management:/resources/management
  90.       - ${SAFELINE_DIR}/resources/detector:/resources/detector
  91.       - ${SAFELINE_DIR}/logs/nginx:/var/log/nginx
  92.       - /etc/localtime:/etc/localtime:ro
  93.       - ${SAFELINE_DIR}/resources/cache:/usr/local/nginx/cache
  94.       - /etc/resolv.conf:/etc/resolv.conf
  95.     environment:
  96.       - MGT_ADDR=${SUBNET_PREFIX}.4:9002 # 配置 mgt-api 的 grpc 服务器地址，用于与 mgt-api 容器通信
  97.     ulimits:
  98.       nofile: 131072
  99.     network_mode: host # Tengine 直接使用宿主机网络

各个服务的运行日志

  2. docker ps  # 查看各容器状态
  3. docker logs -f <comtainer_name>  # 输出容器 std 日志
  5. # 一些服务运行中的持久化也会存储在磁盘上，目录结构如下
  7. root@user:/path/to/safeline-ce/logs# tree
  8. .
  9. ├── detector
  10. │   └── snserver.log    #检测容器的输出日志
  11. ├── management
  12. │   ├── nginx.log     # Tengine 容器中 NGINX 日志输出
  13. │   └── webserver.log    # safeline-mgt-api 容器的日志输出
  14. ├── mario
  15. │   └── mario.log    # 流量日志输出
  16. └── nginx
  17.     ├── error.log  # NGINX 的错误日志
  18.     └── tcd.log  # tcd 是 Tengine 用于与 safeline-mgt-api 通信的网络代理进程，该文件存储了两者的通信日志