Apache Doris 入门教程29：文件管理器

最新推荐文章于 2025-07-29 19:26:06 发布

sunjian286

最新推荐文章于 2025-07-29 19:26:06 发布

阅读量290

点赞数

CC 4.0 BY-SA版权

文章标签： apache 数据库大数据 mysql 数据仓库数据分析

本文链接：https://blog.csdn.net/sunjian286/article/details/132308343

本文介绍了Doris中的文件管理器，包括文件的概念、权限、创建、查看和删除操作，以及BDBJE和SmallFileMgr在文件管理中的角色。还讨论了实现细节、使用限制和相关配置选项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文件管理器

Doris 中的一些功能需要使用一些用户自定义的文件。比如用于访问外部数据源的公钥、密钥文件、证书文件等等。文件管理器提供这样一个功能，能够让用户预先上传这些文件并保存在 Doris 系统中，然后可以在其他命令中引用或访问。

名词解释

BDBJE：Oracle Berkeley DB Java Edition。FE 中用于持久化元数据的分布式嵌入式数据库。
SmallFileMgr：文件管理器。负责创建并维护用户的文件。

基本概念

文件是指用户创建并保存在 Doris 中的文件。

一个文件由 数据库名称（database）、分类（catalog） 和 文件名（file_name） 共同定位。同时每个文件也有一个全局唯一的 id（file_id），作为系统内的标识。

文件的创建和删除只能由拥有 admin 权限的用户进行操作。一个文件隶属于一个数据库。对某一数据库拥有访问权限（查询、导入、修改等等）的用户都可以使用该数据库下创建的文件。

具体操作

文件管理主要有三个命令：CREATE FILE，SHOW FILE 和 DROP FILE，分别为创建、查看和删除文件。这三个命令的具体语法可以通过连接到 Doris 后，执行 HELP cmd; 的方式查看帮助。

CREATE FILE

该语句用于创建并上传一个文件到 Doris 集群，具体操作可查看 CREATE FILE 。

Examples:

1. 创建文件 ca.pem ，分类为 kafka

    CREATE FILE "ca.pem"
    PROPERTIES
    (
        "url" = "https://test.bj.bcebos.com/kafka-key/ca.pem",
        "catalog" = "kafka"
    );

2. 创建文件 client.key，分类为 my_catalog

    CREATE FILE "client.key"
    IN my_database
    PROPERTIES
    (
        "url" = "https://test.bj.bcebos.com/kafka-key/client.key",
        "catalog" = "my_catalog",
        "md5" = "b5bb901bf10f99205b39a46ac3557dd9"
    );

SHOW FILE

该语句可以查看已经创建成功的文件，具体操作可查看 SHOW FILE。

Examples:

1. 查看数据库 my_database 中已上传的文件

    SHOW FILE FROM my_database;

DROP FILE

该语句可以查看可以删除一个已经创建的文件，具体操作可查看 DROP FILE。

Examples:

1. 删除文件 ca.pem

    DROP FILE "ca.pem" properties("catalog" = "kafka");

实现细节

创建和删除文件

当用户执行 CREATE FILE 命令后，FE 会从给定的 URL 下载文件。并将文件的内容以 Base64 编码的形式直接保存在 FE 的内存中。同时会将文件内容以及文件相关的元信息持久化在 BDBJE 中。所有被创建的文件，其元信息和文件内容都会常驻于 FE 的内存中。如果 FE 宕机重启，也会从 BDBJE 中加载元信息和文件内容到内存中。当文件被删除时，会直接从 FE 内存中删除相关信息，同时也从 BDBJE 中删除持久化的信息。

文件的使用

如果是 FE 端需要使用创建的文件，则 SmallFileMgr 会直接将 FE 内存中的数据保存为本地文件，存储在指定的目录中，并返回本地的文件路径供使用。

如果是 BE 端需要使用创建的文件，BE 会通过 FE 的 http 接口 /api/get_small_file 将文件内容下载到 BE 上指定的目录中，供使用。同时，BE 也会在内存中记录当前已经下载过的文件的信息。当 BE 请求一个文件时，会先查看本地文件是否存在并校验。如果校验通过，则直接返回本地文件路径。如果校验失败，则会删除本地文件，重新从 FE 下载。当 BE 重启时，会预先加载本地的文件到内存中。