记一次append file数据写入不符合预期的排查过程

Arururururu

已于 2022-05-10 15:28:26 修改

阅读量832

点赞数

CC 4.0 BY-SA版权

分类专栏：经验积累文章标签： python

于 2022-03-22 15:30:57 首次发布

本文链接：https://blog.csdn.net/unirrrrr/article/details/123657132

博主在使用Python导出数据到CSV文件时遇到一个问题，即写入的数据被后面的写入内容覆盖。经过排查，发现与Python的文件缓冲区大小（默认8192字节）有关。当写入字符串超过缓冲区大小时，文件指针未正确更新，导致数据覆盖。通过调用`f.tell()`来查看文件指针位置，意外解决了问题。最后，博主解释了8192字节与`open()`函数的缓冲参数关系，并建议在写入大量数据时计算好缓冲区大小。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

好久好久没写博客了，有两个原因，一个是有点懒散，另一个也是因为有点懒散。。。

背景

最近因为工作需要支援其他项目的工作，我被分配到的其中一个任务是导出db中一个表的部分数据写入到一个csv文件，由于公司规范问题（可能是因为表太大了），不能请sre和dba帮忙，因此需要自己写脚本来导出数据。
这个项目比较旧，是用python写的，导出数据到文件的逻辑也是使用python写的。

因为想一次多写点数据，写入的时候就直接写入了一段比较长的字符串；
同时为了下次执行程序能在上次停下来的地方继续跑，用的是文件追加写的模式。

问题

奇怪的问题出现了，后面写进去的数据居然覆盖到前面去了！
我想要的效果：

我得到的效果：

排查过程

先贴代码：
python版本是2.7，运行环境是linux centos 7.7

import csv

def test_append_file():
    lines = []
    for i in range(10000, 10700):
        lines.append([i, i+

最低0.47元/天解锁文章

200万优质内容无限畅学