Python学习（十）IO编程（文件读写、StringIO和BytesIO、操作文件和目录、序列化）

一、什么是IO编程？

IO 在计算机中指 Input/Output，也就是 输入 和 输出。由于程序和运行时数据是在内存中驻留，由CPU这个超快的计算核心来执行，涉及到数据交换的地方，通常是磁盘、网络等，就需要IO接口。

• 比如你打开浏览器，访问新浪首页，浏览器这个程序就需要通过网络IO获取新浪的网页。浏览器首先会发送数据给新浪服务器，告诉它我想要首页的HTML，这个动作是往外发数据，叫 Output；随后，新浪服务器把网页发过来，这个动作是从外面接收数据，叫 Input。

所以，通常程序完成IO操作会有 Input 和 Output 两个数据流。当然也有只用一个的情况。比如，从磁盘读取文件到内存，就只有 Input 操作；反过来，把数据写到磁盘里，就只是一个Output操作。

IO编程中，Stream（流）是一个很重要的感念，可以把流想象成一个水管，数据就是水管内的水，但是只能单向流动。Input Stream 就是数据从外面（磁盘，网络）流进内存，Output Stream 就是数据从内存流到外面去。对于浏览网页来说，浏览器和新浪服务器之间至少需要建立两根水管，才可以既能发数据，又能收数据。

由于 CPU 和内存的速度远远高于外设的速度，所以，在IO编程中，就存在速度严重不匹配的问题。举个例子来说，比如要把 100M 的数据写入磁盘，CPU 输出 100M 的数据只需要 0.01秒，可是磁盘要接收这 100M 数据可能需要 10秒，怎么办呢？有两种办法：

• 第一种是 CPU等待，也就是程序暂停执行后续代码，等 100M 的数据在 10秒后写入磁盘，再接着往下执行，这种模式称为 同步IO。
• 另一种办法是 CPU不等待，相当于告诉磁盘，“您老慢慢写，不着急，我接着干别的事去了”。于是，后续代码可以立刻接着执行，这种模式称为 异步IO。

同步和异步的区别就在于是否等待IO执行的结果。举个例子：好比你去麦当劳点餐。

• 同步： 你说 “来个汉堡”，服务员告诉你，对不起，汉堡需要现做，需要等5分钟，于是你站在收银台前面等了5分钟，拿到汉堡再去逛商场。
• 异步： 你说 “来个汉堡”，服务员告诉你，对不起，汉堡需要等5分钟，您可以先去逛商场，等做好了，我们再通知您。这样你可以立刻去干别的事情（逛商场），这就是异步IO。

很明显，使用异步IO来编写程序性能会远远高于同步IO，但是异步IO的缺点是编程模型复杂。想想看，你得知道什么时候通知你 “汉堡做好了”，而通知你的方式也各不相同。如果是服务员跑过来找到你，这是 回调模式；如果服务员发短信通知你，你就得不停地检查手机，这是 轮询模式。总之，异步IO的复杂度远远高于同步IO。

操作IO的能力都是由操作系统提供的，每一种编程语言都会把操作系统提供的 低级C接口 封装起来方便使用。Python 也不例外，我们后面会详细讨论 Python 的 IO 编程接口。

注意：本章的 IO 编程都是同步模式，异步 IO 由于复杂度太高，后续涉及到服务器端程序开发时我们再讨论。

二、文件读写

读写文件是最常见的 IO操作。Python 内置了读写文件的函数，用法和C是兼容的。

读写文件前，我们先必须了解一下，在磁盘上读写文件的功能都是由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘。所以，写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）。

1）读文件

要以读文件的模式打开一个文件对象，使用 Python 内置的 open() 函数，传入文件名和标识符。如下所示：

>>> f = open('/Users/michael/test.txt', 'r')

标识符 'r' 表示 读。这样，我们就成功地打开了一个文件。

如果文件不存在，open() 函数就会抛出一个 IOError 的错误，并给出错误码和详细的信息告诉你文件不存在，如下所示：

>>> f = open('notfound.txt', 'r')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
FileNotFoundError: [Errno 2] No such file or directory: 'notfound.txt'

如果文件打开成功，接下来调用 read() 方法可以一次读取文件的全部内容，Python 把内容读到内存，用一个 str 对象标识。如下所示：

>>> f = open('hello.py', 'r')
>>> f.read()
"class Hello(object):\n    def hello(self, name='world'):\n        print('Hello, %s.' % name)\n"

最后一个是调用 close() 方法关闭文件。文件使用完毕后必须关闭，因为文件对象会占用操作系统的资源，并且操作系统同一时间能打开的文件数量也是有限的。

>>> f.close()

由于文件读写时都有可能产生 IOError，一旦出错，后面的 f.close() 就不会调用。所以，为了保证无论是否出错都能正确地关闭文件，我们可以使用 try ... finally 来实现：

try：
	f = open('/path/to/file', 'r')
    print(f.read())
finally:
    if f:
        f.close()

但是每次都这么写实在太繁琐，所以，Python 引入了 with 语句来自动帮我们调用 close() 方法。如下所示：

with open('/path/to/file', 'r') as f:
    print(f.read())

这和前面的 try ... finally 是一样的，但是代码更加简洁，并且不必调用 f.close() 方法。

调用 read() 会一次性读取文件的全部内容，如果文件有10G，内存就爆了，所以保险起见，可以反复调用 read(size) 方法，每次最多读取 size 个字节的内容。另外，调用 readline() 可以每次读取一行内容，调用 readlinse() 一次读取所有内容并按行返回 list。因此，要根据需要决定怎么调用：

• 如果文件很小，read() 一次性读取最方便；
• 如果不能确定文件大小，反复调用 read(size) 比较保险；
• 如果是配置文件，调用 readlines() 最方便：

for line in f.readlines():
    print(line.strip()) # 把末尾的'\n'删掉

2）file-like Object

像 open() 函数返回的这种有个 read() 方法的对象，在 Python 中统称为 file-like Object。除了 file 外，还可以是内存的字节流，网络流，自定义流等等。file-like Object 不要求从特定类继承，只要写个 read() 方法就行。

StringIO 就是在内存中创建的 file-like Object，常用作临时缓冲。

3）二进制文件

前面讲的默认都是读取文本文件，并且是 UTF-8 编码的文本文件。要读取二级制文件，比如图片、视频等等，用 'rb' 模式打开文件即可：

>>> f = open('/Users/michael/test.jpg', 'rb')
>>> f.read()
b'\xff\xd8\xff\xe1\x00\x18Exif\x00\x00...' # 十六进制表示的字节

4）字符编码

要读取非 UTF-8 编码的文本文件，需要给 open() 函数传入 encoding 参数，例如：读取 GBK 编码的文件，如下所示：

>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk')
>>> f.read()
'测试'

遇到有些编码不规范的文件，你可能会遇到 UnicodeDecodeError，因为在文本文件中可能夹杂了一些非法编码的字符。遇到这种情况，open() 函数还接收一个 errors 参数，表示如果遇到编码错误后如何处理。最简单的方式是直接忽略，如下所示：

>>> f = open('/Users/michael/gbk.txt', 'r'