如何高效地实现文件上传、入库和下载

已于 2025-05-05 12:06:15 修改
阅读量831 收藏 9
点赞数 31
CC 4.0 BY-SA版权
分类专栏： java 文章标签： 服务器 数据库 网络 java python
于 2025-05-05 11:59:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zw13472484698/article/details/147711173

1. 问题背景

短信平台经常需要满足文件上传和下载的场景，如果是大文件上传，需要做到快速上传，如何客户网络不好，还要支持断点续传。客户发送完成后，需要对明细数据进行下载，要求下载时间不能过长，数据库负载不能太高。

2. 文件上传

2.1 设计思路

  文件上传的逻辑编写并不复杂，但是普通的文件上传方法有两个问题：

  • 大文件上传速度不快；
  • 不支持断点续传，如果客户电脑网络不好，中断后需要重新再来；
    解决方法是：分片上传。

2.2 什么是分片上传？

  分片上传就是将源文件切分为若干的分片小文件进行上传，等到所有分片上传完毕后，再将所有分片合并，得到最后的原始文件。

2.3 相关设计要点

  • 文件分配：能够将大文件按照指定的大小进行分割，生成多个文件片段。
  • 上传管理：支持并行上传文件片段，提高上传效率。
  • 服务器处理：服务器端接收文件片段，并在所有片段上传完成后将它们合并成原始文件。
  • 断点续传：如果上传过程中出现中断，能够从断点处继续上传未完成的文件片段。
  • 状态跟踪：记录每个文件片段的上传状态，以便在需要时进行查询和管理。
  • 错误处理：能够处理上传过程中出现的各种错误，如网络错误、文件损坏等，并提供相应的提示信息。

2.4 系统设计

  • 架构设计：采用客户端 - 服务器架构，客户端负责文件的分片和上传，服务器端负责接收文件片段并进行合并。
  • 模块划分：
    • 客户端模块：包含文件分片模块、上传管理模块、断点续传模块和状态跟踪模块。
    • 服务器端模块：包含文件接收模块、文件合并模块和错误处理模块。
  • 数据流程：
    • 客户端将文件分割成多个片段，并为每个片段生成唯一的标识。
    • 客户端按照一定的顺序或并行地将文件片段上传到服务器。
    • 服务器端接收文件片段，验证其完整性，并记录上传状态。
    • 当所有文件片段上传完成后，服务器端将它们合并成原始文件。

2.5 接口设计

  • 客户端接口：
    • splitFile(file, chunkSize)：将文件分割成指定大小的片段。
    • uploadChunk(chunk, chunkId)：上传一个文件片段。
    • resumeUpload(fileId)：从断点处继续上传文件。
    • getStatus(fileId)：获取文件的上传状态。
  • 服务端接口：
    • /init:创建分配上传任务，后面三个接口都要用到该ID。
    • /upload：接收文件片段的上传请求。
    • /merge：合并所有已上传的文件片段。
    • /status：查询文件的上传状态。

2.6 数据表设计

  • 分片上传任务表(t_shard_upload)

每个分片任务会在此表创建一条记录

create table if not exists t_shard_upload(
    id varchar(32) primary key,
    file_name varchar(256) not null comment '文件名称',
    part_num int not null comment '分片数量',
    md5 varchar(128) comment '文件md5值',
    file_full_path varchar(512) comment '文件完整路径'
) comment = '分片上传任务表';
  • 分片文件表(t_shard_upload_part)

  这个表和上面的表是1对多的关系，用于记录每个分片的信息，比如一个文件被切分成10个分配，就会有10条记录

create table if not exists  t_shard_upload_part(
    id varchar(32) primary key,
    shard_upload_id varchar(32) not null comment '分片任务id（t_shard_upload.id）',
    part_order int not null comment '第几个分片，从1开始',
    file_full_path varchar(512) comment '文件完整路径',UNIQUE KEY `uq_part_order` (`shard_upload_id`,`part_order`)
) comment = '分片文件表，每个分片文件对应一条记录';

2.7 异常情况处理

如出现网络故障，导致分配上传失败，此时需要走恢复逻辑，分两种情况

  • 情况1：客户端异常处理
    • 网络错误：在出现网络错误时，自动重试上传操作，并记录重试次数。
    • 文件损坏：在文件分片或上传过程中检测到文件损坏时，提示用户重新选择文件。
  • 情况2：服务器端异常处理
    • 文件片段接收错误：在接收文件片段时出现错误，记录错误信息，并通知客户端重新上传该片段。
    • 文件合并错误：在文件合并过程中出现错误，记录错误信息，并删除已上传的文件片段。

2.8 性能优化

  1. 并行上传：使用多线程或异步编程技术，实现文件片段的并行上传，提高上传效率。
  2. 缓存机制：在服务器端使用缓存机制，减少对数据库的频繁访问。
  3. 压缩传输：对文件片段进行压缩后再上传，减少网络传输的数据量。

2.9 代码示例

  • 前端代码示例
<!DOCTYPE html>
<html lang="en">

<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>文件分片上传</title>
</head>

<body>
    <input type="file" id="fileInput">
    <button id="uploadButton">上传</button>
    <div id="status"></div>
    <script>
        const fileInput = document.getElementById('fileInput');
        const uploadButton = document.getElementById('uploadButton');
        const statusDiv = document.getElementById('status');

        uploadButton.addEventListener('click', async () => {
            const file = fileInput.files[0];
            if (!file) {
                alert('请选择一个文件');
                return;
            }

            const chunkSize = 1024 * 1024; // 1MB
            const totalChunks = Math.ceil(file.size / chunkSize);
            const fileId = Date.now().toString();
            let uploadedChunks = [];

            // 获取已上传的分片
            try {
                const response = await fetch(`/status?fileId=${fileId}`);
                if (response.ok) {
                    const data = await response.json();
                    uploadedChunks = data.uploadedChunks;
                }
            } catch (error) {
                console.error('获取上传状态失败:', error);
            }

            for (let i = 0; i < totalChunks; i++) {
                if (uploadedChunks.includes(i)) {
                    continue;
                }
                const start = i * chunkSize;
                const end = Math.min(start + chunkSize, file.size);
                const chunk = file.slice(start, end);

                const formData = new FormData();
                formData.append('file', chunk);
                formData.append('filename', file.name);
                formData.append('chunkIndex', i);
                formData.append('totalChunks', totalChunks);
                formData.append('fileId', fileId);

                try {
                    const response = await fetch('/upload', {
                        method: 'POST',
                        body: formData
                    });

                    if (!response.ok) {
                        throw new Error('上传失败');
                    }
                    statusDiv.textContent = `已上传 ${i + 1}/${totalChunks} 个分片`;
                } catch (error) {
                    console.error('上传错误:', error);
                    return;
                }
            }

            // 合并文件
            try {
                const response = await fetch('/merge', {
                    method: 'POST',
                    headers: {
                        'Content-Type': 'application/json'
                    },
                    body: JSON.stringify({ fileId, filename: file.name })
                });

                if (response.ok) {
                    statusDiv.textContent = '文件上传完成';
                } else {
                    statusDiv.textContent = '文件合并失败';
                }
            } catch (error) {
                console.error('文件合并错误:', error);
                statusDiv.textContent = '文件合并错误';
            }
        });
    </script>
</body>

</html>
  • 后端代码示例
from flask import Flask, request, jsonify
import os
import sqlite3

app = Flask(__name__)
UPLOAD_FOLDER = 'uploads'
if not os.path.exists(UPLOAD_FOLDER):
    os.makedirs(UPLOAD_FOLDER)

# 初始化数据库
conn = sqlite3.connect('files.db')
c = conn.cursor()
c.execute('''CREATE TABLE IF NOT EXISTS files
             (id TEXT PRIMARY KEY, name TEXT, size INTEGER, status TEXT)''')
c.execute('''CREATE TABLE IF NOT EXISTS chunks
             (id INTEGER PRIMARY KEY AUTOINCREMENT, fileId TEXT, index INTEGER, size INTEGER, status TEXT)''')
conn.commit()
conn.close()


@app.route('/upload', methods=['POST'])
def upload_chunk():
    file = request.files['file']
    filename = request.form.get('filename')
    chunkIndex = int(request.form.get('chunkIndex'))
    totalChunks = int(request.form.get('totalChunks'))
    fileId = request.form.get('fileId')

    chunk_filename = os.path.join(UPLOAD_FOLDER, f'{fileId}.part{chunkIndex}')
    file.save(chunk_filename)

    # 更新数据库
    conn = sqlite3.connect('files.db')
    c = conn.cursor()
    c.execute("INSERT OR IGNORE INTO files (id, name, size, status) VALUES (?,?,?,?)",
              (fileId, filename, 0, 'in_progress'))
    c.execute("INSERT INTO chunks (fileId, index, size, status) VALUES (?,?,?,?)",
              (fileId, chunkIndex, file.content_length, 'uploaded'))
    conn.commit()
    conn.close()

    return 'Chunk uploaded successfully'


@app.route('/merge', methods=['POST'])
def merge_chunks():
    data = request.get_json()
    fileId = data.get('fileId')
    filename = data.get('filename')

    # 获取所有分片
    conn = sqlite3.connect('files.db')
    c = conn.cursor()
    c.execute("SELECT index FROM chunks WHERE fileId =? AND status = 'uploaded' ORDER BY index", (fileId,))
    chunks = c.fetchall()
    totalChunks = len(chunks)

    if len(chunks) > 0:
        with open(os.path.join(UPLOAD_FOLDER, filename), 'wb') as outfile:
            for i in range(totalChunks):
                chunk_filename = os.path.join(UPLOAD_FOLDER, f'{fileId}.part{i}')
                with open(chunk_filename, 'rb') as infile:
                    outfile.write(infile.read())
                os.remove(chunk_filename)

        # 更新文件状态
        c.execute("UPDATE files SET status = 'completed' WHERE id =?", (fileId,))
        conn.commit()
        conn.close()
        return 'File merged successfully'
    else:
        conn.close()
        return 'No chunks to merge', 400


@app.route('/status', methods=['GET'])
def get_status():
    fileId = request.args.get('fileId')
    conn = sqlite3.connect('files.db')
    c = conn.cursor()
    c.execute("SELECT index FROM chunks WHERE fileId =? AND status = 'uploaded'", (fileId,))
    chunks = c.fetchall()
    uploadedChunks = [chunk[0] for chunk in chunks]
    conn.close()
    return jsonify({'uploadedChunks': uploadedChunks})


if __name__ == '__main__':
    app.run(debug=True)

3. 数据入库

这里需要考虑提交数据入库，以及状态报告更新两大场景。

3.1 数据提交入库

  • 批量入库
  • 使用事务
START TRANSACTION;
-- 执行数据插入语句
INSERT INTO phone_numbers (number, user_name, region, remark)
VALUES
    (...,...,...,...);
-- 检查插入是否成功，若失败则回滚事务
IF @@ERROR <> 0 THEN
    ROLLBACK;
ELSE
    COMMIT;
END IF;

3.2 状态报告更新

一般短信提交后，80%以上的状态报告都会在10秒内返回，而MySql的Update操作又会比较消耗性能（涉及查询和写入操作），因此一般为了提升性能会将插入和更新的数据在内存中进行合并，再入库：

  • 入库的消息在内存中缓存10秒，如果状态报告回来了，则合并为插入数据入库；
  • 如果超过10秒没有回来，则也刷新入库；
    PS: 10秒是个经验值，也可根据实际情况进行调整。

一般建议短信的客户侧明细和通道侧明细分开存储，因为对于客户而言，只提交了一条短信，有可能短信平台通过各个通道发送了5条短信，两者的逻辑差别较大。

4. 数据下载

4.1 深度分页的问题

在数据导出场景中，传统使用 LIMIT 和 OFFSET 的分页方式，随着 OFFSET 值增大，查询性能会急剧下降。这是因为 MySQL 执行 LIMIT OFFSET, N 语句时，需要先定位到 OFFSET 偏移量对应的记录，再读取后续 N 条记录，当 OFFSET 很大时，会产生大量的扫描操作，导致查询效率极低，无法满足大量数据导出需求。

4.2 基于主键ID的分页方案

  • 核心原理：利用 MySQL 主键 ID 自增且唯一、有序的特性，在进行分页查询时，通过记录上一页最后一条数据的主键 ID，在查询下一页数据时，以该主键 ID 为条件，查询大于该 ID 的后续数据，从而避免大量偏移扫描，提高查询效率。

  • 实现步骤：

    • 首次查询：在数据导出开始时，构建包含条件查询的 SQL 语句，查询满足条件的第一批数据。
SELECT id, number, user_name, region, create_time, remark
FROM phone_numbers
WHERE <条件子句>
ORDER BY id
LIMIT 1000;

这里通过 ORDER BY id 确保数据按主键 ID 有序排列，LIMIT 1000 表示获取第一批 1000 条数据。

  • 后续分页查询：在获取到第一批数据后，记录最后一条数据的主键 ID（假设为 last_id）。在查询下一页数据时，构建如下 SQL 语句：
SELECT id, number, user_name, region, create_time, remark
FROM phone_numbers
WHERE <条件子句> AND id > last_id
ORDER BY id
LIMIT 1000;

通过 id > last_id 的条件，仅查询大于上一页最后主键 ID 的数据，再结合 LIMIT 1000 获取下一页 1000 条数据，以此类推，实现分页查询。

5. 性能优化

  1. 数据库配置优化
  • 调整 MySQL 的配置参数，如 innodb_buffer_pool_size（InnoDB 缓冲池大小），根据服务器内存大小合理设置，建议设置为服务器内存的 60% - 80%，以提高数据读取和写入性能。
  • 优化 max_allowed_packet 参数，确保能够处理较大的插入数据量，避免因数据量过大导致的数据包过大错误。
  1. 硬件资源优化
  • 确保服务器具备足够的内存、CPU 和磁盘 I/O 性能。优先选择固态硬盘（SSD）存储数据库文件，相比机械硬盘，SSD 能大幅提升数据读写速度。
  • 合理分配服务器资源，避免其他进程占用过多资源影响数据库性能。
  1. 索引优化
  • 定期分析索引使用情况，使用 EXPLAIN 语句分析查询语句的执行计划，检查索引是否被有效利用。
  • 对于不再使用或影响插入性能的索引，及时进行清理或调整，避免过多索引影响数据写入效率。
  1. 数据归档与分区
  • 随着数据量的不断增加，可考虑对历史数据进行归档处理，将长时间不使用的数据迁移到归档表中，减少主表数据量，提高查询和插入性能。
  • 根据业务需求，对 phone_numbers 表进行分区（如按时间分区，将不同时间段的数据存储在不同分区），提高数据查询和管理效率。
【实战场景】大文件解析入库的方案有哪些？
杰叔叔不是个好叔叔的博客
07-09 1212
需求分析明确数据源：了解大文件的来源、格式（如CSV、JSON、XML、二进制等）和大小。确定目标数据库：选择适合存储数据的数据库系统（如关系型数据库MySQL、PostgreSQL，或非关系型数据库MongoDB、Cassandra等）。性能要求：根据业务需求确定解析和入库的性能指标，如时间限制、吞吐量等。借鉴【干货篇】中的方案错误处理和日志记录异常捕获：在解析和入库过程中，实现异常捕获机制，以便在出现错误时能够及时处理并记录。
Java Web 大文件上传优化：从困境到高效
最新发布
山巅
03-15 1046
同时，服务端在处理上传时，若采用单线程模式，同一时间只能处理一个上传请求，进一步延长了整体上传时间。比如，在上传过程中网络突然中断，由于没有断点续传机制，用户不得不重新开始整个上传流程，这对于用户来说是非常糟糕的体验。综上所述，通过对 Java Web 大文件上传在客户端（Vue）和服务端（Java）的优化，我们成功克服了传统上传方式的诸多弊端，实现了高效、稳定的大文件上传功能，为用户带来了更好的体验。这样，即使某个分片上传失败，也只需重新上传该分片，大大提高了上传的稳定性。，可以实现更高效的文件读写。
文件上传下载如何实现
weixin_42593130的博客
02-15 867
文件上传和下载可以通过Web应用程序来实现。以下是一些常见的实现方式： 1.使用HTML表单元素实现文件上传：在HTML表单中使用元素，该元素允许用户选择本地文件并将其上传到Web服务器。Web服务器可以使用服务器端脚本(如PHP、Python等)处理上传的文件。 2.使用FTP协议实现文件上传和下载：使用FTP客户端(如FileZilla)将文件上传到FTP服务器，或者从FTP服务器下载文件。F...
javaweb如何实现文件上传?
潇洒不放纵的博客
02-17 2万+
要实现文件上传功能,我们需要依靠Apache组织的Commons-io.jar, Commons-fileupload.jar两个jar包来实现,(有许多版本,我给大家仅提供一个版本)或者去官网下载最新版本:http://commons.apache.org/; 链接:https://pan.baidu.com/s/1ImnYdtOavU0ETr7exf4JMg 提取码:npld 1.创建一个fi...
文件上传与下载的功能实现
宏微的博客
12-26 1万+
1、文件上传 1.1、文件上传原理 1.2、文件上传核心api 1.3、文件上传代码实现 2、文件下载案例实现
如何实现文件上传功能
weixin_44538353的博客
06-17 1万+
开发工具与关键技术： VS MVC基础 作者：卢雅婷 撰写时间：2019/06/17 其实文件上传是我们平常与互联网交流的方式，发一篇文件要上传，同时我们从网上获取的文章、文件等等资源都是别人上传至网上的，所以说上传这个功能很常用哪它又是如何实现的呢？这就是我今天的分享内容上传文件功能的实现。（下面的代码来源于老师） 上传文件我们都知道点击上传按钮，再选择要上传的文件之类资料，确定即可上传，哪在这...
C#实现CSV文件上传下载及批量入库操作
CSV（Comma-Separated Values，逗号分隔值）格式是一种非常普遍的数据交换格式，它以纯文本形式存储表格数据，通常使用逗号来...通过综合运用这些知识点，可以高效且安全地在C#应用程序中处理CSV文件的上传与下载需求。
实现多文件上传到数据库可下载
01-29
在IT领域，实现多文件上传、下载以及删除功能是一项常见的需求...以上就是实现多文件上传到数据库并能下载和删除的核心知识点。在实际应用中，还需要考虑性能优化、用户体验、错误处理等方面，以提供稳定、高效的服务。
joomla手动实现后台上传和缩略图入库扩展实现方法分享
09-28
在本文中，我们将探讨如何在Joomla中手动实现后台上传图片并自动生成缩略图，同时将图片信息存储到数据库中。这对于图片展示类网站和模板类网站来说是一个非常实用的功能，因为它能提高页面加载速度，并避免在显示时...
jsp实现文件上传下载功能
仲夏的博客
01-27 3万+
文件上传首先得引入两个jar包，建议在mvn库中下载，下载完粘贴到lib目录下 首先写上传文件的jsp界面 &lt;form action="UpLoadServet" method="post" enctype="multipart/form-data"&gt; &lt;font color="white" size="5px"&gt;文件上传功能(将你的照片，音乐
java实现文件上传下载的三种方法
gplihf的博客
08-05 5万+
一、文件上传下载原理 在TCP/IP中，最早出现的文件上传机制是FTP。它是将文件由客户端发送到服务器的标准机制。但是在jsp编程中不能使用FTP方法来上传文件，这是由jsp的运行机制所决定的。 通过为表单元素设置Method=“post” enctype="multipart/form-data"属性，让表单提交的数据以二进制编码的方式提交，在接收此请求的Servlet中用二进制流来获取内容
如何用java代码实现上传文件和下载文件（笔记）
天元白手的博客
03-11 1153
如何用java代码实现上传文件： 首先创建一个项目创建index.jsp页面如下 只要是上传文件就要使用form标签的enctype属性： <!--只要是涉及到上传文件 enctype="multipart/form-data" --> <form action="UploadServlet" method="post" enctype="multipart/form-...
JavaWeb上传和下载原理及实现
小白
06-02 1万+
1、介绍enctype enctype 属性规定发送到服务器之前应该如何对表单数据进行编码。 enctype作用是告知服务器请求正文的MIME类型（请求消息头content-type的作用的一样） 1、1 enctype的取值有三种 值 描述 application/x-www-form-urlencoded 在发送前编码所有字符（默认） mult...
javaWeb 实现上传+下载 文件
Lionel
12-08 2762
上传下载在web项目中应该是很常见的需求，能够熟练敲出代码实现是web开发人员必不可少的 下面简化的上传： jsp页面的实现： <%@ page language="java" import="java.util.*" pageEncoding="utf-8"%> <%@ taglib uri = "http://java.sun.com/jsp/jstl/core" prefix = "c" %> <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transit
如何搭建FTP服务器实现文件的上传及下载？（亲测有效）
热门推荐
lajos的博客
06-21 16万+
        FTP服务器（File Transfer Protocol Server）是在互联网上提供文件存储和访问服务的计算机，它们依照FTP协议提供服务。 FTP是File Transfer Protocol(文件传输协议)。顾名思义，就是专门用来传输文件的协议。简单地说，支持FTP协议的服务器就是FTP服务器。        一、在windows下创建一个用户账户（用于FTP登录操作） ...
文件上传下载前端怎么实现？
小名同学
02-29 14万+
承接上一篇（文件上传下载的实现SSM）：https://blog.csdn.net/Tianc666/article/details/104581182 其实，我认为前端上传部分，没啥说的。咱们来说道说道下载的前端怎么实现。（效果图和后端实现在 ↑ 的链接里） 上代码： <%@ page language="java" contentType="text/html; charset=...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值