我还没有看到Pool.apply、Pool.apply_async和Pool.map用例的明确示例。我主要使用Pool.map; 别人的优点是什么?
Pool.map
回到 Python 的旧时代,要调用带有任意参数的函数,您可以使用apply:
apply
apply(f,args,kwargs)
apply在 Python2.7 中仍然存在,但在 Python3 中没有,一般不再使用。如今,
f(*args,**kwargs)
是首选。这些multiprocessing.Pool模块试图提供类似的接口。
multiprocessing.Pool
Pool.apply与 Python 类似apply,只是函数调用是在单独的进程中执行的。Pool.apply阻塞直到函数完成。
Pool.apply
Pool.apply_async也像 Python 的内置apply,只是调用立即返回而不是等待结果。返回一个AsyncResult对象。您调用它的get()方法来检索函数调用的结果。该get()方法阻塞,直到函数完成。因此,pool.apply(func, args, kwargs)等价于pool.apply_async(func, args, kwargs).get()。
Pool.apply_async
AsyncResult
get()
pool.apply(func, args, kwargs)
pool.apply_async(func, args, kwargs).get()
与 相比Pool.apply,该Pool.apply_async方法还具有一个回调,如果提供,则在函数完成时调用该回调。这可以用来代替调用get().
例如:
import multiprocessing as mp import time def foo_pool(x): time.sleep(2) return x*x result_list = [] def log_result(result): # This is called whenever foo_pool(i) returns a result. # result_list is modified only by the main process, not the pool workers. result_list.append(result) def apply_async_with_callback(): pool = mp.Pool() for i in range(10): pool.apply_async(foo_pool, args = (i, ), callback = log_result) pool.close() pool.join() print(result_list) if __name__ == '__main__': apply_async_with_callback()
可能会产生一个结果,例如
[1, 0, 4, 9, 25, 16, 49, 36, 81, 64]
请注意,与 不同pool.map,结果的顺序可能与pool.apply_async调用的顺序不对应。
pool.map
pool.apply_async
因此,如果您需要在单独的进程中运行一个函数,但希望当前进程 阻塞 直到该函数返回,请使用Pool.apply. 像Pool.apply,Pool.map阻塞,直到返回完整的结果。
如果您希望工作进程池异步执行许多函数调用,请使用Pool.apply_async. 结果的 顺序 不能保证与调用的顺序相同Pool.apply_async。
另请注意,您可以调用许多 不同 的函数Pool.apply_async(并非所有调用都需要使用相同的函数)。
相反,Pool.map将相同的函数应用于许多参数。但是,与 不同Pool.apply_async的是,结果以与参数顺序相对应的顺序返回。