FastDFS 分布式文件系统 安装及Spring Boot整合fastdfs-client

环境准备
使用的系统软件
名称 说明

编译环境

yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim -y

磁盘目录

mkdir -p data/fastdfs #创建数据存储目录
cd /usr/local/src #切换到安装目录准备下载安装包

安装libfastcommon

# 下载安装包
git clone git://github.com/happyfish100/libfastcommon.git --depth 1
cd libfastcommon/
./make.sh && ./make.sh install #编译安装

安装FastDFS

cd ../ #返回上一级目录
git clone git://github.com/happyfish100/fastdfs.git --depth 1
cd fastdfs/
./make.sh && ./make.sh install #编译安装
#配置文件准备
cp /usr/local/src/fastdfs/conf/http.conf /etc/fdfs/ #供nginx访问使用
cp /usr/local/src/fastdfs/conf/mime.types /etc/fdfs/ #供nginx访问使用

安装fastdfs-nginx-module

cd ../ #返回上一级目录
git clone git://github.com/happyfish100/fastdfs-nginx-module.git --depth 1
cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs

安装nginx
1、安装nginx所需环境　　
① gcc 安装

yum install gcc-c++

② PCRE pcre-devel 安装

yum install -y pcre pcre-devel

③OpenSSL 安装

yum install -y openssl openssl-devel

④ zlib 安装

yum install -y zlib zlib-devel

如果不安装上面那些环境下面执行编译安装的时候可能会失败，当然这和自己的环境有关系。

wget http://nginx.org/download/nginx-1.15.4.tar.gz #下载nginx压缩包
tar -zxvf nginx-1.15.4.tar.gz #解压
cd nginx-1.15.4/
#添加fastdfs-nginx-module模块
./configure --add-module=/usr/local/src/fastdfs-nginx-module/src/ 
make && make install #编译安装

单机部署
在hosts 文件中添加自定义域名。自己测试的话自己本机和虚拟机都要新加。
修改域名

vim /etc/hosts
192.168.xxx.xxx file.xxx.com

tracker配置

#我建议用ftp下载下来这些文件 本地修改
vim /etc/fdfs/tracker.conf
#需要修改的内容如下
port=22122  # tracker服务器端口（默认22122,一般不修改）
base_path=/data/fastdfs  # 存储日志和数据的根目录

#关闭防火墙 当然自己测试的时候可以这样写 如果要运用到生产 自己要暴露端口不能这样。
systemctl disable firewalld.service
#启动服务
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
chkconfig fdfs_trackerd on #自启动tracker服务

storage配置

vim /etc/fdfs/storage.conf
#需要修改的内容如下
port=23000  # storage服务端口（默认23000,一般不修改）
base_path=/data/fastdfs  # 数据和日志文件存储根目录
store_path0=/data/fastdfs  # 第一个存储目录
tracker_server=域名:22122  # tracker服务器IP和端口(用域名)
http.server_port=8888  # http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)

启动服务
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
chkconfig fdfs_storaged on #自启动storage服务

client测试

vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/data/fastdfs （所有的配置都一致）
tracker_server=域名:22122    #tracker服务器IP和端口(用域名)
#保存后测试,返回ID表示成功 如：group1/M00/00/00/xx.tar.gz
fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/nginx-1.15.4.tar.gz

配置nginx访问

vim /etc/fdfs/mod_fastdfs.conf
#需要修改的内容如下
tracker_server=域名:22122  #tracker服务器IP和端口
url_have_group_name=true
store_path0=/data/fastdfs
#配置nginx.config
vim /usr/local/nginx/conf/nginx.conf
#添加如下配置
server {
    listen       8888; ## 该端口为storage.conf中的http.server_port相同
    server_name  localhost;
    location ~/group[0-9]/ {
        ngx_fastdfs_module;
    }
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
    root   html;
    }
}
#测试下载，用外部浏览器访问刚才已传过的nginx安装包,引用返回的ID
       (域名)
http://域名:8888/group1/M00/00/00/wKgAQ1pysxmAaqhAAA76tz-dVgg.tar.gz
#弹出下载单机部署全部跑通

nginx

/usr/local/nginx/sbin/nginx #启动nginx
/usr/local/nginx/sbin/nginx -s reload #重启nginx
/usr/local/nginx/sbin/nginx -s stop #停止nginx

分布式部署

tracker配置

#我建议用ftp下载下来这些文件 本地修改
vim /etc/fdfs/tracker.conf
#需要修改的内容如下
port=22122  # tracker服务器端口（默认22122,一般不修改）
base_path=/data/fastdfs  # 存储日志和数据的根目录

storage配置

vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/data/fastdfs
tracker_server=域名1:22122  # 服务器1
tracker_server=域名2:22122  # 服务器2
tracker_server=域名3:22122  # 服务器3
#保存后测试,返回ID表示成功 如：group1/M00/00/00/xx.tar.gz
fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/nginx-1.15.4.tar.gz

client测试

vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/data/fastdfs
tracker_server=域名1:22122  # 服务器1
tracker_server=域名2:22122  # 服务器2
tracker_server=域名3:22122  # 服务器3
#保存后测试,返回ID表示成功 如：group1/M00/00/00/xx.tar.gz
fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/nginx-1.15.4.tar.gz

配置nginx访问

vim /etc/fdfs/mod_fastdfs.conf
#需要修改的内容如下
tracker_server=域名1:22122  # 服务器1
tracker_server=域名2:22122  # 服务器2
tracker_server=域名3:22122  # 服务器3
url_have_group_name=true
store_path0=/data/fastdfs
#配置nginx.config
vim /usr/local/nginx/conf/nginx.conf
#添加如下配置
server {
    listen       8888;    ## 该端口为storage.conf中的http.server_port相同
    server_name  localhost;
    location ~/group[0-9]/ {
        ngx_fastdfs_module;
    }
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
    root   html;
    }
}

防火墙

#不关闭防火墙的话无法使用
systemctl stop firewalld.service #关闭
systemctl restart firewalld.service #重启

nginx

/usr/local/nginx/sbin/nginx #启动nginx
/usr/local/nginx/sbin/nginx -s reload #重启nginx
/usr/local/nginx/sbin/nginx -s stop #停止nginx

检测集群

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
# 会显示会有几台服务器 有3台就会 显示 Storage 1-Storage 3的详细信息

配置文件

tracker_server #有几台服务器写几个
group_name #地址的名称的命名
bind_addr #服务器ip绑定
store_path_count #store_path(数字)有几个写几个
store_path(数字) #设置几个储存地址写几个 从0开始

可能遇到的问题

如果不是root 用户 你必须在除了cd的命令之外 全部加sudo
如果不是root 用户 编译和安装分开进行 先编译再安装
如果上传成功 但是nginx报错404 先检查mod_fastdfs.conf文件中的store_path0是否一致
如果nginx无法访问 先检查防火墙 和 mod_fastdfs.conf文件tracker_server是否一致
如果不是在/usr/local/src文件夹下安装 可能会编译出错
如果 unknown directive "ngx_fastdfs_module" in /usr/local/nginx/conf/nginx.conf:151，可能是nginx一直是启动的，必须要重启nginx才可以，`nginx -s reload`无效。

以上文档参考与官方文档：

https://github.com/happyfish100/fastdfs/wiki

下面是Spring Boot 整合 FastDFS_Client

导入依赖

<dependency>
      <groupId>com.github.tobato</groupId>
      <artifactId>fastdfs-client</artifactId>
      <version>1.27.2</version>
</dependency>

配置 application.yml文件

fdfs:
  so-timeout: 3000 #读取时间
  connect-timeout: 2000 #连接时间
  thumb-image: # 缩略图生成参数
    height: 150
    width: 150
  tracker-list:#这里面有一台宕机了 程序就会有问题目前我还没发现程序能不能自动规避宕机的机器。如果大家找到欢迎交流。
    - 192.168.200.150:22122
    - 192.168.200.151:22122
    - 192.168.200.152:22122
  pool:
    # 从池中借出的对象的最大数目 (-1 表示不限制)
    max-total: -1
    # 获取连接时的最大等待毫秒数(默认为5秒)
    max-wait-millis: 5000
    # 每个key最大连接数
    max-total-per-key: 50
    # 每个key对应的连接池最大空闲连接数
    max-idle-per-key: 10
    # 每个 key 对应的连接池最小空闲链接数
    min-idle-per-key: 5
    
upload:#可以写三个域名 其实写一个就行除非这台机器宕机了 当然有一台机器宕机了程序就会出问题
    base-url1: http://file.zts.com:8888/ 

启动类需要加载一个注解

@SpringBootApplication
@EnableTransactionManagement
@Import(FdfsClientConfig.class) # 需要添加这个注解
public class Application {
    public static void main(String[] args) {
        SpringApplication.run(Application.class);
    }
}

添加一个配置类 当我们上传的文件比较大时会报异常，添加这个配置类可以解决文件过大的异常信息。

@Configuration
public class FastDFSMultipartConfig {


    /**
     * 解决上传文件过大导致的异常信息
     * @return
     */
    @Bean
    public MultipartConfigElement initMultipartConfigElement() {
        MultipartConfigFactory multipartConfigFactory = new MultipartConfigFactory();
        multipartConfigFactory.setMaxRequestSize(DataSize.ofBytes(500 * 1048576L));
        multipartConfigFactory.setMaxFileSize(DataSize.ofBytes(500 * 1048576L));
        return multipartConfigFactory.createMultipartConfig();
    }
}

下面是我的实现类 当然 那些 SQL Controller 我就不写了。大家可以自己建一个表把上传的文件路径存到数据库中。
下面这些代码是我自己写的Demo 健壮性不是很好。希望大家不要较真。
这是我的一部分表结构 有助下面的代码理解

package com.zts.demo.service.impl;


import com.github.tobato.fastdfs.domain.fdfs.StorePath;
import com.github.tobato.fastdfs.domain.proto.storage.DownloadByteArray;
import com.github.tobato.fastdfs.service.FastFileStorageClient;
import com.zts.demo.exceptions.MyRuntimeException;
import com.zts.demo.mapperDb1.FastDFSMapper;
import com.zts.demo.pojo.FastFileDownloadDTO;
import com.zts.demo.service.FastDFSUploadService;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.StringUtils;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.http.HttpHeaders;
import org.springframework.http.HttpStatus;
import org.springframework.http.MediaType;
import org.springframework.http.ResponseEntity;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;

import javax.annotation.Resource;
import javax.servlet.ServletOutputStream;
import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.io.UnsupportedEncodingException;
import java.net.URLEncoder;

@Slf4j
@Service
public class FastDFSUploadServiceImpl implements FastDFSUploadService {
    @Resource
    private FastFileStorageClient fastFileStorageClient;

    @Value("${upload.base-url1}")
    private String baseUrl;
    
    @Resource
    private FastDFSMapper fastDFSMapper;

    private static final Integer LAST_VERSION = 1;

    @Override
    public String fileUpload(MultipartFile file) {
//        这一部分注释 是判断文件是否是图片 如果你需要是图片服务器可以加上此段代码。
//        try {
//            BufferedImage image = ImageIO.read(file.getInputStream());
//            if (image == null || image.getWidth() == 0 || image.getHeight() == 0) {
//                throw new RuntimeException("上传文件不是图片");
//            }
//        } catch (IOException e) {
//            log.error("校验文件内容失败....{}", e);
//            throw new RuntimeException("校验文件内容失败" + e.getMessage());
//        }
        try {
            // 获取文件 扩展名
            String extensionName = StringUtils.substringAfterLast(file.getOriginalFilename(),".");
            // 获取文件的名字
            StorePath fastName = fastFileStorageClient.uploadFile(file.getInputStream(), file.getSize(), extensionName, null);
            // 通过 yml 文件的baseUrl和数据库中的全文路径拼接出文件路径可以直接在浏览器中访问。
            String path = String.format(baseUrl + "%s", fastName.getFullPath());
            System.out.println("path = " + path);
            return path;
        } catch (IOException e) {
            log.error("文件上传失败....{}", e);
            throw new RuntimeException("文件上传失败" + e.getMessage());
        }
    }

    @Override
    public String deleteFile(String code) {
        if ("".equals(code.trim()) && code == null) {
            throw new RuntimeException("删除文件不存在");
        }
        FastFileDownloadDTO fileInfo = fastDFSMapper.selectFileInfo(code);
       // 删除文件的时候也是通过全文路径删除的
        fastFileStorageClient.deleteFile(fileInfo.getFullPath());
        return "成功";
    }


   // 这一部分是我自己的把上之后的文件信息落到表里面的代码。
    @Override
    public String InsertFileUploadInfo(String code, MultipartFile file) {
        String fullName = file.getOriginalFilename();
        String fileName = StringUtils.substringBeforeLast(fullName, ".").replaceAll(" ","_");
        String lastName = StringUtils.substringAfterLast(fullName, ".");
        int i = -1;
        try {
            StorePath fastPath = fastFileStorageClient.uploadFile(file.getInputStream(), file.getSize(), lastName, null);
            if (fastPath == null) {
                return "上传失败!";
            }
            Integer updateRow = fastDFSMapper.updateByCode(code);
            System.out.println("updateRow = " + updateRow);
            i = fastDFSMapper.insertFileInfo(code, fileName, fastPath.getFullPath(), fastPath.getGroup(), fastPath.getPath(), LAST_VERSION, lastName);

        } catch (IOException e) {
            e.printStackTrace();
           // 这里我没抛异常 懒得写了
        }

        return (i > 0 ? "添加成功" : "上传失败");
    }

// 这里我用的 Spring MVC 整合好的 文件下载
    @Override
    public ResponseEntity<byte[]> downloadFileMvc(String code) throws UnsupportedEncodingException {
       //自己的sql 先从库中 拿出来文件的信息.
        FastFileDownloadDTO downloadDTO = fastDFSMapper.selectFileInfo(code);
        byte[] bytes = fastFileStorageClient.downloadFile(downloadDTO.getGroupName(), downloadDTO.getVirtualPath(), new DownloadByteArray());

        HttpHeaders headers = new HttpHeaders();
        headers.setContentType(MediaType.APPLICATION_OCTET_STREAM);
        headers.setContentDispositionFormData("attachment", URLEncoder.encode(String.format(downloadDTO.getFileName() + "%s%s", ".", downloadDTO.getFileLastName()), "UTF-8"));

        return new ResponseEntity<byte[]>(bytes, headers, HttpStatus.CREATED);

    }
}

下面是我自己写的HTML 页面真的很篓，前端 太难了。
由于Controller 我没写 这个你们参考一下就行，前端好的朋友可以写漂亮点。

<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml" xmlns:th="http://www.thymeleaf.org"
      xmlns:sec="http://www.thymeleaf.org/thymeleaf-extras-springsecurity3">
<head>
    <meta charset="UTF-8"/>
    <title>FastDFS文件系统测试页面</title>
</head>
<body>
<h1 th:inlines="text">文件上传</h1>
<form action="/fastDFS/upload" method="post" enctype="multipart/form-data">
    <p>选择文件: <input type="file" name="multipartFile"/></p>
    <p><input type="submit" value="提交"/></p>
</form>

<h2>删除文件 请输入文件的代码</h2>
<form action="/fastDFS/delete" method="GET" enctype="multipart/form-data">
    <p>请输入删除文件的CODE: <input type="text" name="code" value="" ></p>
    <p><input type="submit" value="提交"/></p>
</form>

<h2 th:inlines="text">文件上传</h2>
<form action="/fastDFS/insertUpload" method="post" enctype="multipart/form-data">
    <p>请输入产品代码: <input type="text" name="productCode" value="" ></p>
    <p>选择文件: <input type="file" name="multipartFile"/></p>
    <p><input type="submit" value="提交"/></p>
</form>


<h2>下载文件</h2>
<form action="/fastDFS/mvcDownload" method="GET" enctype="multipart/form-data">
    <p>请输入下载文件的产品代码: <input type="text" name="code" value="" ></p>
    <p><input type="submit" value="提交"/></p>
</form>
</body>
</html>

好了文章到这里就结束了。如果有什么错误欢迎指出，或者有什么不明白的可以给我留言我会在我的能力范围内给你们回答。如果有好的方式 留下你的大名我去学习。