Spring Boot 3 整合 RustFS 实现分布式文件存储

原创 于 2025-09-11 19:15:00 发布 · 591 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分布式 #RustFS #java #后端 #spring boot

『Java分布式系统开发：从理论到实践』征文活动 10w+人浏览 204人参与

本文将手把手带你实现 Spring Boot 3 与新一代分布式存储系统 RustFS 的整合，构建高性能、可扩展的文件存储服务。

本文将详细介绍如何使用 Spring Boot 3 集成 RustFS 分布式文件存储系统。RustFS 是一款基于 Rust 语言开发的高性能分布式对象存储软件，完全兼容 AWS S3 协议，采用 Apache 2.0 开源协议，在性能、可靠性和易用性方面都有出色表现。

目录

一、环境准备与 RustFS 部署

1.1 Docker 部署 RustFS

1.2 二进制部署方式

二、Spring Boot 3 项目配置

2.1 添加 Maven 依赖

2.2 配置 application.yml

三、核心代码实现

3.1 RustFS 配置类

3.2 文件服务类

3.3 控制器类

四、高级功能实现

4.1 分片上传支持

4.2 文件服务增强

五、测试与验证

5.1 单元测试

5.2 API 测试

六、生产环境部署建议

6.1 安全配置

6.2 性能优化

七、常见问题与解决方案

总结

一、环境准备与 RustFS 部署

1.1 Docker 部署 RustFS

最简单的方式是使用 Docker 一键部署 RustFS：

# docker-compose.yml
version: '3.8'
services:
  rustfs:
    image: rustfs/rustfs:latest
    container_name: rustfs
    ports:
      - "9000:9000"  # API端口
      - "9001:9001"  # 控制台端口
    volumes:
      - ./data:/data
    environment:
      - RUSTFS_ACCESS_KEY=admin
      - RUSTFS_SECRET_KEY=admin123
    restart: unless-stopped

运行以下命令启动服务：

docker-compose up -d

服务启动后，访问 http://localhost:9001使用 admin/admin123 登录管理控制台。

1.2 二进制部署方式

如果需要直接部署在服务器上，可以使用二进制方式：

# 下载并安装
curl -O https://rustfs.com/install_rustfs.sh && bash install_rustfs.sh

# 创建数据目录
mkdir -p /data/rustfs
chmod 755 /data/rustfs

# 启动服务
./rustfs /data/rustfs \
  --address 0.0.0.0:9000 \
  --console-enable \
  --console-address 0.0.0.0:9001

二、Spring Boot 3 项目配置

2.1 添加 Maven 依赖

在 pom.xml中添加必要的依赖：

<dependencies>
    <!-- Spring Boot Web -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>

    <!-- AWS S3 SDK -->
    <dependency>
        <groupId>software.amazon.awssdk</groupId>
        <artifactId>s3</artifactId>
        <version>2.20.59</version>
    </dependency>

    <!-- 工具库 -->
    <dependency>
        <groupId>org.apache.commons</groupId>
        <artifactId>commons-lang3</artifactId>
    </dependency>
</dependencies>

2.2 配置 application.yml

在 application.yml中配置 RustFS 连接信息：

rustfs:
  endpoint: http://localhost:9000
  access-key: admin
  secret-key: admin123
  bucket-name: my-bucket

spring:
  servlet:
    multipart:
      max-file-size: 10MB
      max-request-size: 100MB

三、核心代码实现

3.1 RustFS 配置类

创建配置类初始化 S3 客户端：

@Configuration
@ConfigurationProperties(prefix = "rustfs")
public class RustFSConfig {
    private String endpoint;
    private String accessKey;
    private String secretKey;
    private String bucketName;

    @Bean
    public S3Client s3Client() {
        return S3Client.builder()
                .endpointOverride(URI.create(endpoint))
                .region(Region.US_EAST_1)
                .credentialsProvider(StaticCredentialsProvider.create(
                    AwsBasicCredentials.create(accessKey, secretKey)))
                .forcePathStyle(true)  // 关键配置！RustFS 需启用 Path-Style
                .build();
    }

    // getters and setters
}

3.2 文件服务类

实现文件上传、下载、删除等核心功能：

@Service
@Slf4j
public class FileStorageService {
    @Autowired
    private S3Client s3Client;
    
    @Value("${rustfs.bucket-name}")
    private String bucketName;

    /**
     * 上传文件
     */
    public String uploadFile(MultipartFile file) {
        try {
            // 检查存储桶是否存在，不存在则创建
            if (!bucketExists(bucketName)) {
                createBucket(bucketName);
            }

            String fileName = generateFileName(file.getOriginalFilename());
            
            s3Client.putObject(
                PutObjectRequest.builder()
                    .bucket(bucketName)
                    .key(fileName)
                    .contentType(file.getContentType())
                    .build(),
                RequestBody.fromInputStream(
                    file.getInputStream(), 
                    file.getSize()
                )
            );
            
            return fileName;
        } catch (Exception e) {
            log.error("文件上传失败", e);
            throw new RuntimeException("文件上传失败: " + e.getMessage());
        }
    }

    /**
     * 下载文件
     */
    public byte[] downloadFile(String fileName) {
        try {
            ResponseInputStream<GetObjectResponse> response = 
                s3Client.getObject(
                    GetObjectRequest.builder()
                        .bucket(bucketName)
                        .key(fileName)
                        .build()
                );
            
            return response.readAllBytes();
        } catch (Exception e) {
            log.error("文件下载失败", e);
            throw new RuntimeException("文件下载失败: " + e.getMessage());
        }
    }

    /**
     * 删除文件
     */
    public void deleteFile(String fileName) {
        try {
            s3Client.deleteObject(
                DeleteObjectRequest.builder()
                    .bucket(bucketName)
                    .key(fileName)
                    .build()
            );
        } catch (Exception e) {
            log.error("文件删除失败", e);
            throw new RuntimeException("文件删除失败: " + e.getMessage());
        }
    }

    /**
     * 检查存储桶是否存在
     */
    private boolean bucketExists(String bucketName) {
        try {
            s3Client.headBucket(
                HeadBucketRequest.builder()
                    .bucket(bucketName)
                    .build()
            );
            return true;
        } catch (NoSuchBucketException e) {
            return false;
        }
    }

    /**
     * 创建存储桶
     */
    private void createBucket(String bucketName) {
        s3Client.createBucket(
            CreateBucketRequest.builder()
                .bucket(bucketName)
                .build()
        );
        
        // 设置存储桶策略为公开可读
        setBucketPolicy(bucketName);
    }

    /**
     * 设置存储桶策略
     */
    private void setBucketPolicy(String bucketName) {
        String policy = """
            {
                "Version": "2012-10-17",
                "Statement": [
                    {
                        "Effect": "Allow",
                        "Principal": {"AWS": ["*"]},
                        "Action": ["s3:GetObject"],
                        "Resource": ["arn:aws:s3:::%s/*"]
                    }
                ]
            }
            """.formatted(bucketName);

        s3Client.putBucketPolicy(
            PutBucketPolicyRequest.builder()
                .bucket(bucketName)
                .policy(policy)
                .build()
        );
    }

    /**
     * 生成唯一文件名
     */
    private String generateFileName(String originalFileName) {
        String extension = "";
        if (originalFileName != null && originalFileName.contains(".")) {
            extension = originalFileName.substring(originalFileName.lastIndexOf("."));
        }
        return UUID.randomUUID() + extension;
    }
}

3.3 控制器类

创建 RESTful API 接口：

@RestController
@RequestMapping("/api/files")
@Tag(name = "文件管理", description = "文件上传下载管理")
public class FileController {
    @Autowired
    private FileStorageService fileStorageService;

    @PostMapping("/upload")
    @Operation(summary = "上传文件")
    public ResponseEntity<Map<String, String>> uploadFile(
            @RequestParam("file") MultipartFile file) {
        try {
            String fileName = fileStorageService.uploadFile(file);
            return ResponseEntity.ok(Map.of(
                "fileName", fileName,
                "message", "文件上传成功"
            ));
        } catch (Exception e) {
            return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR)
                    .body(Map.of("error", e.getMessage()));
        }
    }

    @GetMapping("/download/{fileName}")
    @Operation(summary = "下载文件")
    public ResponseEntity<byte[]> downloadFile(@PathVariable String fileName) {
        try {
            byte[] fileContent = fileStorageService.downloadFile(fileName);
            
            return ResponseEntity.ok()
                    .header(HttpHeaders.CONTENT_DISPOSITION, 
                            "attachment; filename=\"" + fileName + "\"")
                    .contentType(MediaType.APPLICATION_OCTET_STREAM)
                    .body(fileContent);
        } catch (Exception e) {
            return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR).build();
        }
    }

    @DeleteMapping("/{fileName}")
    @Operation(summary = "删除文件")
    public ResponseEntity<Map<String, String>> deleteFile(@PathVariable String fileName) {
        try {
            fileStorageService.deleteFile(fileName);
            return ResponseEntity.ok(Map.of("message", "文件删除成功"));
        } catch (Exception e) {
            return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR)
                    .body(Map.of("error", e.getMessage()));
        }
    }

    @GetMapping("/list")
    @Operation(summary = "文件列表")
    public ResponseEntity<List<Map<String, String>>> listFiles() {
        try {
            ListObjectsResponse response = fileStorageService.listObjects();
            List<Map<String, String>> files = response.contents().stream()
                    .map(object -> Map.of(
                        "name", object.key(),
                        "size", String.valueOf(object.size()),
                        "lastModified", object.lastModified().toString()
                    ))
                    .collect(Collectors.toList());
            
            return ResponseEntity.ok(files);
        } catch (Exception e) {
            return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR).build();
        }
    }
}

四、高级功能实现

4.1 分片上传支持

对于大文件，实现分片上传功能：

@Service
public class MultipartUploadService {
    @Autowired
    private S3Client s3Client;
    
    @Value("${rustfs.bucket-name}")
    private String bucketName;

    /**
     * 初始化分片上传
     */
    public String initiateMultipartUpload(String fileName) {
        CreateMultipartUploadResponse response = s3Client.createMultipartUpload(
            CreateMultipartUploadRequest.builder()
                .bucket(bucketName)
                .key(fileName)
                .build()
        );
        return response.uploadId();
    }

    /**
     * 上传分片
     */
    public CompletedPart uploadPart(String fileName, String uploadId, 
                                  int partNumber, InputStream inputStream, long size) {
        UploadPartResponse response = s3Client.uploadPart(
            UploadPartRequest.builder()
                .bucket(bucketName)
                .key(fileName)
                .uploadId(uploadId)
                .partNumber(partNumber)
                .build(),
            RequestBody.fromInputStream(inputStream, size)
        );

        return CompletedPart.builder()
                .partNumber(partNumber)
                .eTag(response.eTag())
                .build();
    }

    /**
     * 完成分片上传
     */
    public void completeMultipartUpload(String fileName, String uploadId, 
                                      List<CompletedPart> completedParts) {
        s3Client.completeMultipartUpload(
            CompleteMultipartUploadRequest.builder()
                .bucket(bucketName)
                .key(fileName)
                .uploadId(uploadId)
                .multipartUpload(CompletedMultipartUpload.builder()
                    .parts(completedParts)
                    .build())
                .build()
        );
    }
}

4.2 文件服务增强

在 FileStorageService 中添加列表功能：

public ListObjectsResponse listObjects() {
    return s3Client.listObjects(
        ListObjectsRequest.builder()
            .bucket(bucketName)
            .build()
    );
}

/**
 * 生成预签名URL（用于临时访问）
 */
public String generatePresignedUrl(String fileName, Duration expiration) {
    return s3Client.utilities().getPresignedUrl(
        GetPresignedUrlRequest.builder()
            .getObjectRequest(
                GetObjectRequest.builder()
                    .bucket(bucketName)
                    .key(fileName)
                    .build()
            )
            .signatureDuration(expiration)
            .build()
    ).toString();
}

五、测试与验证

5.1 单元测试

创建单元测试类验证功能：

@SpringBootTest
@ActiveProfiles("test")
public class FileStorageServiceTest {
    @Autowired
    private FileStorageService fileStorageService;

    @Test
    public void testUploadAndDownload() {
        // 创建测试文件
        String testContent = "Hello, RustFS!";
        MultipartFile mockFile = new MockMultipartFile(
            "test.txt", "test.txt", "text/plain", testContent.getBytes()
        );

        // 上传文件
        String fileName = fileStorageService.uploadFile(mockFile);
        assertNotNull(fileName);

        // 下载文件
        byte[] content = fileStorageService.downloadFile(fileName);
        assertEquals(testContent, new String(content));

        // 清理
        fileStorageService.deleteFile(fileName);
    }
}

5.2 API 测试

使用 curl 命令测试 API：

# 上传文件
curl -X POST -F "file=@/path/to/test.jpg" http://localhost:8080/api/files/upload

# 下载文件
curl -O http://localhost:8080/api/files/download/test.jpg

# 获取文件列表
curl http://localhost:8080/api/files/list

# 删除文件
curl -X DELETE http://localhost:8080/api/files/test.jpg

六、生产环境部署建议

6.1 安全配置

# 生产环境配置
rustfs:
  endpoint: https://rustfs.yourdomain.com
  access-key: ${RUSTFS_ACCESS_KEY}
  secret-key: ${RUSTFS_SECRET_KEY}
  bucket-name: ${RUSTFS_BUCKET}

# 启用HTTPS
server:
  ssl:
    key-store: classpath:keystore.p12
    key-store-password: changeit
    key-store-type: PKCS12

6.2 性能优化

@Configuration
public class S3ClientConfig {
    @Bean
    public S3Client s3Client() {
        return S3Client.builder()
                .endpointOverride(URI.create(endpoint))
                .region(Region.US_EAST_1)
                .credentialsProvider(StaticCredentialsProvider.create(
                    AwsBasicCredentials.create(accessKey, secretKey)))
                .httpClientBuilder(UrlConnectionHttpClient.builder()
                    .maxConnections(100)
                    .connectionTimeout(Duration.ofSeconds(10))
                    .socketTimeout(Duration.ofSeconds(30)))
                .overrideConfiguration(builder -> builder
                    .retryPolicy(RetryPolicy.builder()
                        .numRetries(3)
                        .build()))
                .forcePathStyle(true)
                .build();
    }
}

七、常见问题与解决方案

  1. ​连接超时问题​

    # 调整超时配置
aws:
  s3:
    connection-timeout: 5000
    socket-timeout: 30000

  2. ​内存溢出处理​

    // 使用流式处理大文件
public void uploadLargeFile(String fileName, InputStream inputStream, long size) {
    s3Client.putObject(
        PutObjectRequest.builder()
            .bucket(bucketName)
            .key(fileName)
            .build(),
        RequestBody.fromInputStream(inputStream, size)
    );
}

  3. ​跨域访问配置​

    @Configuration
public class CorsConfig implements WebMvcConfigurer {
    @Override
    public void addCorsMappings(CorsRegistry registry) {
        registry.addMapping("/api/**")
                .allowedOrigins("*")
                .allowedMethods("GET", "POST", "DELETE")
                .maxAge(3600);
    }
}

总结

通过本文的详细介绍，我们成功实现了 Spring Boot 3 与 RustFS 的整合，构建了一个功能完整的分布式文件存储服务。关键优势包括：

  • ​高性能​：基于 RustFS 的高性能特性，支持大文件分片上传

  • ​易用性​：简单的 API 设计，快速上手

  • ​可扩展​：分布式架构支持水平扩展

  • ​成本效益​：相比传统云存储方案，成本降低显著

希望本文能帮助你在实际项目中成功集成 RustFS。如果有任何问题或建议，欢迎在评论区交流讨论！

以下是深入学习 RustFS 的推荐资源：RustFS

官方文档： RustFS 官方文档- 提供架构、安装指南和 API 参考。

GitHub 仓库： GitHub 仓库 - 获取源代码、提交问题或贡献代码。

社区支持： GitHub Discussions- 与开发者交流经验和解决方案。

评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值