Python 爬虫：多进程，多线程爬虫＜提高爬取效率＞

关于多进程，多线程的知识，请自行查询资料补充· ~~~~~~~~~~~

使用多进程：

在python中，使用多进程需要先导包：

from threding import Thread


def work(name):

    for i in range(1000):
        print(f"我是线程：{name}, {i}")



if __name__ == "__main__":

    for i in range(10):
        # 创建 十个线程
        t = Thread(target=work, args=(f"线程{i}",))

        t.start()

但是以上不推荐使用，

我们可以模拟一个场景， 例如 你来银行办理业务： 银行提供了5个窗口， 相当于开了5个线程， 而客户就是任务， 如果客户有100个，那么每个人都依次排队去办理业务， 这样我们就要写一个很复杂的检测系统， 所以， 这里直接使用线程池， 使用线程池就可以避免这种情况的发生：

使用线程池可以自动的帮我们来完成检测，调度等操作，我们只需要将任务交给线程池即可。

懒得讲，自己看吧·······

import requests
from lxml import etree
import time
from multiprocessing import Queue  # 队列
from multiprocessing import Process  # 进程
from concurrent.futures import ThreadPoolExecutor

from fake_useragent import UserAgent

def get_ua():
    ua = UserAgent()
    return ua.random

def get_img_url(q):
    """ 获取图片的url, 将url塞入队列 """
    url =