实例代码讲解Python 线程池

大家都知道当任务过多，任务量过大时如果想提高效率的一个最简单的方法就是用多线程去处理，比如爬取上万个网页中的特定数据，以及将爬取数据和清洗数据的工作交给不同的线程去处理，也就是生产者消费者模式，都是典型的多线程使用场景。 那是不是意味着线程数量越多，程序的执行效率就越快呢。 显然不是。线程也是一个对象，是需要占用资源的，线程数量过多的话肯定会消耗过多的资源，同时线程间的上下文切换也是一笔不小的开销，所以有时候开辟过多的线程不但不会提高程序的执行效率，反而会适得其反使程序变慢，得不偿失。 所以，如何确定多线程的数量是多线程编程中一个非常重要的问题。好在经过多年的摸索业界基本已形成一套默认的标准。 Python线程池是一种高效管理线程资源的工具，它允许开发者预先设定好线程数量，避免频繁创建和销毁线程带来的性能损失。线程池的使用对于处理大量并发任务尤其有益，例如在爬虫项目中，它能有效地平衡CPU与I/O操作，提升程序执行效率。 在CPU密集型任务中，理想的线程数量通常是CPU核心数，因为这样可以最大化利用每个核心的计算能力。然而，考虑到可能出现的线程阻塞情况，实践中通常会将线程数设置为CPU核心数+1，以备不时之需。对于I/O密集型应用，线程数量应根据I/O操作和CPU计算的时间比例来调整，公式为最佳线程数 = CPU核数 * [1 + (I/O耗时 / CPU耗时)]。 在Python中，有两种主要的方式来实现线程池：一是使用第三方库`threadpool`，二是使用Python标准库`concurrent.futures.ThreadPoolExecutor`。 1. **threadpool库**：首先需要通过`pip install threadpool`来安装。使用threadpool库创建线程池，你可以指定线程池的大小，并通过`putRequest()`方法添加任务，然后调用`wait()`等待所有任务完成。还可以定义回调函数来获取任务执行的结果。下面是一个简单的例子： ```python import time import threadpool import threading def sayhello(name): print("%s say Hello to %s" % (threading.current_thread().getName(), name)) time.sleep(1) return name def callback(request, result): print("callback result = %s" % result) name_list = ['admin', 'root', 'scott', 'tiger'] start_time = time.time() pool = threadpool.ThreadPool(2) # 创建线程池 requests = threadpool.makeRequests(sayhello, name_list, callback) # 创建任务 [pool.putRequest(req) for req in requests] # 添加任务 pool.wait() # 等待所有任务完成 print('%s cost %d second' % (threading.current_thread().getName(), time.time() - start_time)) ``` 2. **concurrent.futures.ThreadPoolExecutor库**：这是Python 3引入的标准库，使用起来更为简洁。创建线程池，提交任务，以及等待任务完成可以通过以下代码实现： ```python import concurrent.futures import time def sayhello(name): print("%s say Hello to %s" % (threading.current_thread().getName(), name)) time.sleep(1) return name with concurrent.futures.ThreadPoolExecutor(max_workers=2) as executor: future_list = [executor.submit(sayhello, name) for name in name_list] for future in concurrent.futures.as_completed(future_list): print("Future result: ", future.result()) ``` `ThreadPoolExecutor`提供了一种更高级别的接口，可以方便地管理和控制线程池，包括异步执行、获取结果和异常处理等。 使用线程池的优点包括： - **资源管理**：线程池预先创建一定数量的线程，避免了频繁创建和销毁线程的开销。 - **任务调度**：线程池可以对任务进行队列管理，保证任务的有序执行。 - **限制并发**：线程池可以限制并发执行的任务数量，防止系统资源过度消耗。 - **错误处理**：线程池可以捕获并处理执行过程中产生的异常，提高程序的健壮性。 在实际编程中，根据任务类型和系统资源选择合适的线程池实现，并合理设置线程数量，可以显著提高程序性能，降低资源消耗。