【python】解决 multiprocessing 在 jupyter notebook 中不工作的问题

最新推荐文章于 2024-04-19 11:16:45 发布

转载最新推荐文章于 2024-04-19 11:16:45 发布 · 1.4k 阅读

CC 4.0 BY-SA版权

原文链接：https://stackoverflow.com/questions/47313732/jupyter-notebook-never-finishes-processing-using-multiprocessing-python-3

文章标签：

#python #jupyter #开发语言

python 专栏收录该内容

42 篇文章

订阅专栏

本文介绍了在Jupyter Notebook中遇到multiprocessing无法正常工作的问题，并提供了解决方案。问题在于Jupyter Notebook的特性导致multiprocessing失效。解决方法是将需要使用multiprocessing的函数移到单独的模块中，然后在Jupyter Notebook中导入该模块并调用相应函数。通过这种方法，可以成功在Jupyter Notebook中使用multiprocessing进行并行计算。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

解决 multiprocessing 在 jupyter notebook 中不工作的问题
转载自：stackoverflow

问题复现

原始代码

import multiprocessing  
import random
from multiprocessing.pool import Pool

def prime_factor(value):
    factors = []
    for divisor in range(2, value-1):
        quotient, remainder = divmod(value, divisor)
        if not remainder:
            factors.extend(prime_factor(divisor))
            factors.extend(prime_factor(quotient))
            break
        else:
            factors = [value]
    return factors

if __name__ == '__main__':
    pool = Pool()
    to_factor = [ random.randint(100000, 50000000) for i in range(20)]
    results = pool.map(prime_factor, to_factor)
    for value, factors in zip(to_factor, results):
        print("The factors of {} are {}".format(value, factors))

解决方法

似乎 jupyter 笔记本的问题在不同的 ide 是设计的特点。因此，我们必须将函数(质因数)写入另一个文件并导入模块。此外，我们必须注意调整。例如，在我的例子中，我将函数编码到一个名为defs.py的文件中

def prime_factor(value):
    factors = []
    for divisor in range(2, value-1):
        quotient, remainder = divmod(value, divisor)
        if not remainder:
            factors.extend(prime_factor(divisor))
            factors.extend(prime_factor(quotient))
            break
        else:
            factors = [value]
    return factors

然后我在 jupyter 笔记本上写下了以下几行

import multiprocessing  
import random
from multiprocessing import Pool
import defs



if __name__ == '__main__':
    pool = Pool()
    to_factor = [ random.randint(100000, 50000000) for i in range(20)]
    results = pool.map(defs.prime_factor, to_factor)
    for value, factors in zip(to_factor, results):
        print("The factors of {} are {}".format(value, factors))