Doris SQL日志审计部署，以及sql收集输出kafka，后续血缘分析

最新推荐文章于 2025-07-10 14:38:33 发布

黄瓜炖啤酒鸭

最新推荐文章于 2025-07-10 14:38:33 发布

阅读量2.3k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/qq_31866793/article/details/120669677

本文介绍了如何部署Doris的审计日志插件，将FE的日志`fe.audit.log`通过filebeat输出到kafka，并利用flink解析日志进行血缘分析。主要步骤包括安装审计日志插件、配置filebeat和flink、将日志写入kafka以及后续的血缘分析流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1，介绍

Doris 的审计日志插件是一个可选插件。用户可以在运行时安装或卸载这个插件，该插件可以将 FE 的审计日志定期的导入到指定 Doris 集群中，以方便用户通过 SQL 对审计日志进行查看和分析，这里的数据其实是Doris FE log目录下的 fe.audit.log 文件中的数据。

我们要做的是安装这个插件，然后我们可以通过doris sql去对应的表查询sql语句，也可以通过doris 目录下的fe.audit.log文件将日志接出之后写入外部操作。
通过filebeat数据接出到kafka，通过flink程序消费解析日志然后分析出血缘关系，这是我们最终的目的。

2，安装Doris 的审计日志插件

1）参考官网方式，编译得到 auditloader.zip 文件
审计日志插件 | Apache Doris

2）修改 fe conf下的配置文件，添加参数，启用plugin框架
plugin_enable = true

3）auditloader.zip文件上传到fe，解压到/plugins目录
在fe/plugins 目录下插件一个文件夹，然后auditloader.zip解压进这个文件夹，比如我这里创建文件夹auditdemo ，解压之后的效果：

4） plugin.conf 配置文件修改

plugin.conf 配置信息：

# 批量的最大大小，默认为 50MB
max_batch_size=52428800

# 批量加载的最大间隔，默认为 60 秒
max_batch_interval_sec=60

# 加载审计的 Doris FE 主机，默认为 127.0.0.1:8030。
# 这应该是Stream load 的主机端口
frontend_host_port=127.0.0.1:8030

# 审计表的数据库
database=doris_audit_db__

# 审计表名，保存审计数据
table=doris_audit_tbl__

# 用来连接doris的用户. 此用户必须对审计表具有 LOAD_PRIV 权限.