SpringBoot+RustFS实现高效文件存储解决方案

原创于 2025-09-07 19:15:00 发布 · 695 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#spring boot #后端 #java #RustFS #云原生 #对象存储

RustFS存储开发札记专栏收录该内容

30 篇文章

订阅专栏

『Java分布式系统开发：从理论到实践』征文活动 10w+人浏览 136人参与

开发者与开源爱好者的强强联合，打造云原生存储新体验

作为一名长期关注开源技术的开发者，我一直在寻找既能满足高性能需求，又具备良好开源协议的存储解决方案。最近发现的 RustFS，一个基于 Rust 语言开发的高性能分布式对象存储软件，给了我不小的惊喜。它不仅完全兼容 AWS S3 协议，采用 Apache 2.0 许可证，还在开源不到一个月的时间里就收获了 8k+ star，这无疑证明了其技术价值和社区认可度。

本文将手把手教你如何通过 SpringBoot 快速集成 RustFS，构建高性能、高可用的文件存储系统。

5.1 使用x-file-storage抽象层

5.2 性能优化建议

六、总结

一、RustFS：为什么值得关注？

在选择存储方案时，我们通常会考虑以下几个因素：性能、成本、易用性和开源协议。RustFS 在这几方面都表现不俗：

高性能：基于 Rust 语言构建，具有较高的性能和响应速度
分布式架构：可扩展且容错的设计，适用于大规模部署
AWS S3 兼容性：可使用 AWS S3 SDK 来管理它，现有项目无需重构
开源友好：采用 Apache 2.0 许可证，鼓励社区贡献和透明度
管理便捷：具有可视化管理控制台，方便管理

二、环境准备与RustFS部署

2.1 Docker部署RustFS

使用 Docker 部署 RustFS 非常简单，只需几条命令：

# 拉取RustFS镜像
docker pull rustfs/rustfs

# 运行RustFS容器
docker run -p 9000:9000 --name rustfs \
  -e RUSTFS_ACCESS_KEY=rustfsadmin \
  -e RUSTFS_SECRET_KEY=rustfsadmin \
  -v /mydata/rustfs/data:/data \
  -v /etc/localtime:/etc/localtime \
  -d rustfs/rustfs

运行成功后，即可访问 RustFS 的管理控制台，默认地址为 http://服务器IP:9000，默认账号密码为 rustfsadmin/rustfsadmin。

2.2 SpringBoot项目配置

在开始编码前，我们需要在 SpringBoot 项目中添加必要的依赖和配置。

在 pom.xml中添加 AWS S3 SDK 依赖：

<!--AWS S3 Java SDK相关依赖-->
<dependency>
    <groupId>software.amazon.awssdk</groupId>
    <artifactId>s3</artifactId>
    <version>2.20.59</version>
</dependency>

在 application.yml中添加 RustFS 连接配置：

rustfs:
  endpoint: http://192.168.3.101:9000
  bucketName: simple
  accessKey: rustfsadmin
  secretKey: rustfsadmin

三、核心代码实现

3.1 配置S3客户端

创建一个配置类来初始化 S3 客户端：

/**
 * RustFS配置类
 */
@Configuration
public class RustFSConfig {
    @Value("${rustfs.endpoint}")
    private String ENDPOINT;
    @Value("${rustfs.accessKey}")
    private String ACCESS_KEY;
    @Value("${rustfs.secretKey}")
    private String SECRET_KEY;
    
    @Bean
    public S3Client s3Client(){
        // 初始化 S3 客户端
        return S3Client.builder()
                .endpointOverride(URI.create(ENDPOINT)) // RustFS 地址
                .region(Region.US_EAST_1) // 可写死，RustFS 不校验 region
                .credentialsProvider(StaticCredentialsProvider.create(
                    AwsBasicCredentials.create(ACCESS_KEY, SECRET_KEY)))
                .forcePathStyle(true) // 关键配置！RustFS 需启用 Path-Style
                .build();
    }
}

3.2 实现文件上传下载功能

创建控制器类处理文件上传和下载：

/**
 * RustFS对象存储管理Controller
 */
@Slf4j
@Controller
@Tag(name = "RustFSController", description = "RustFS对象存储管理")
@RequestMapping("/rustfs")
public class RustFSController {
    @Autowired
    private S3Client s3Client;
    @Value("${rustfs.bucketName}")
    private String BUCKET_NAME;
    @Value("${rustfs.endpoint}")
    private String ENDPOINT;

    /**
     * 文件上传
     */
    @Operation(summary = "文件上传")
    @RequestMapping(value = "/upload", method = RequestMethod.POST, 
                    consumes = MediaType.MULTIPART_FORM_DATA_VALUE)
    @ResponseBody
    public CommonResult upload(@RequestPart("file") MultipartFile file) {
        // 判断Bucket是否存在
        if(!bucketExists(BUCKET_NAME)){
            // 创建Bucket
            s3Client.createBucket(CreateBucketRequest.builder()
                    .bucket(BUCKET_NAME)
                    .build());
            log.info("Bucket created: {}",BUCKET_NAME);
            
            // 添加Bucket的访问策略
            String policy = JSONUtil.toJsonStr(createBucketPolicyConfigDto(BUCKET_NAME));
            PutBucketPolicyRequest policyReq = PutBucketPolicyRequest.builder()
                    .bucket(BUCKET_NAME)
                    .policy(policy)
                    .build();
            s3Client.putBucketPolicy(policyReq);
        }
        
        // 上传文件
        try {
            s3Client.putObject(PutObjectRequest.builder()
                    .bucket(BUCKET_NAME)
                    .key(file.getOriginalFilename())
                    .contentType(file.getContentType())
                    .build(), 
                    RequestBody.fromInputStream(file.getInputStream(),file.getSize()));
                    
            RustFSUploadResult uploadResult = new RustFSUploadResult();
            uploadResult.setName(file.getOriginalFilename());
            uploadResult.setUrl(ENDPOINT + "/" + BUCKET_NAME + "/" + file.getOriginalFilename());
            return CommonResult.success(uploadResult);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return CommonResult.failed();
    }

    /**
     * 文件删除
     */
    @Operation(summary = "文件删除")
    @RequestMapping(value = "/delete", method = RequestMethod.POST)
    @ResponseBody
    public CommonResult delete(@RequestParam("objectName") String objectName) {
        // 删除对象
        s3Client.deleteObject(DeleteObjectRequest.builder()
                .bucket(BUCKET_NAME)
                .key(objectName)
                .build());
        return CommonResult.success(null);
    }

    /**
     * 判断Bucket是否存在
     */
    private boolean bucketExists(String bucketName) {
        try {
            s3Client.headBucket(request -> request.bucket(bucketName));
            return true;
        } catch (NoSuchBucketException exception) {
            return false;
        }
    }

    /**
     * 创建存储桶的访问策略，设置为只读权限
     */
    private BucketPolicyConfigDto createBucketPolicyConfigDto(String bucketName) {
        BucketPolicyConfigDto.Statement statement = BucketPolicyConfigDto.Statement.builder()
                .Effect("Allow")
                .Principal(BucketPolicyConfigDto.Principal.builder().AWS(new String[]{"*"}).build())
                .Action(new String[]{"s3:GetObject"})
                .Resource(new String[]{"arn:aws:s3:::"+bucketName+"/*"})
                .build();
        return BucketPolicyConfigDto.builder()
                .Version("2012-10-17")
                .Statement(CollUtil.toList(statement))
                .build();
    }
}

上述代码中添加 Bucket 的访问策略的逻辑，主要是通过实体类 BucketPolicyConfigDto生成了策略对应的 JSON 配置，生成配置如下：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": [
          "*"
        ]
      },
      "Action": [
        "s3:GetObject"
      ],
      "Resource": [
        "arn:aws:s3:::simple/*"
      ]
    }
  ]
}

四、功能测试与验证

完成代码编写后，我们可以通过 Swagger 接口进行测试。

如果项目中集成了 Swagger，可以直接通过接口文档进行测试，访问地址：http://localhost:8088/swagger-ui.html。

文件上传测试：选择文件后调用文件上传接口，上传成功后可以通过返回的 url 进行访问。由于我们设置的访问策略为公开只读策略，可以正常访问。
文件删除测试：调用文件删除接口，传入对应的 objectName 即可将文件删除。

五、进阶功能与优化建议

5.1 使用x-file-storage抽象层

为了进一步提高代码的可维护性和可移植性，建议使用 x-file-storage这样的通用文件存储解决方案。它能一行代码将实现文件存储，对于不同的存储平台，用法基本一致，可以轻松切换到不同的存储平台。

在 pom.xml中添加依赖：

<dependency>
    <groupId>org.dromara.x-file-storage</groupId>
    <artifactId>x-file-storage-spring</artifactId>
    <version>${x-file-storage.version}</version>
</dependency>

配置示例：

dromara:
  x-file-storage:
    default-platform: amazon-s3-v2-1
    amazon-s3-v2:  # Amazon S3 V2
      - platform: amazon-s3-v2-1  # 存储平台标识
        enable-storage: true  # 启用存储
        access-key: rustfsadmin
        secret-key: rustfsadmin
        region: ap-east-1  # 必填
        end-point: http://192.168.3.101:9000  # 必填
        bucket-name: simple  # 桶名称
        domain: http://192.168.3.101:9000/  # 访问域名