(编辑：jimmy 日期: 2024/11/16 浏览：2)
本文实例讲述了Python multiprocessing多进程原理与应用。分享给大家供大家参考，具体如下：
multiprocessing包是Python中的多进程管理包,可以利用multiprocessing.Process对象来创建进程,Process对象拥有is_alive()、join([timeout])、run()、start()、terminate()等方法。
multprocessing模块的核心就是使管理进程像管理线程一样方便，每个进程有自己独立的GIL，所以不存在进程间争抢GIL的问题，在多核CPU环境中，可以大大提高运行效率。
multiprocessing使用示例：
import multiprocessing
import time
import cv2
def daemon1(image):
name = multiprocessing.current_process().name
for i in range(50):
image = cv2.GaussianBlur(image, (3, 3), 1)
time.sleep(0.1)
print 'daemon1 done!'
cv2.imshow('daemon1', image)
def daemon2(image):
name = multiprocessing.current_process().name
for i in range(50):
image = cv2.GaussianBlur(image, (3, 3), 1)
time.sleep(0.5)
print 'daemon2 done!'
cv2.imshow('daemon2', image)
if __name__ == '__main__':
t1 = time.time()
number_kernel = multiprocessing.cpu_count()
print 'We have {0} kernels'.format(number_kernel)
p1 = multiprocessing.Process(name='daemon1',
target=daemon1,args= (cv2.imread('./p1.jpg'),))
p1.daemon = False
p2 = multiprocessing.Process(name='daemon2',
target=daemon2, args=(cv2.imread('./p2.jpg'),))
p2.daemon = False
p1.start()
p2.start()
print 'p1 is {0}'.format(p1.is_alive())
p1.terminate()
p1.join()
print 'p1 is {0}'.format(p1.is_alive())
print 'p2 is {0}'.format(p2.is_alive())
p2.join()
t2 = time.time()
print '!!!!!!!!!!!!!!!!!!!!OK!!!!!!!!!!!!!!!!!!!!!'
print 'total time is {0}'.format(t2-t1)
print 'p1.exitcode = {0}'.format(p1.exitcode)
print 'p2.exitcode = {0}'.format(p2.exitcode)
multiprocessing中Process是一个类，用于创建进程，以及定义进程的方法，Process类的构造函数是：
def __init__(self, group=None, target=None, name=None, args=(), kwargs={})
参数含义：
程序解读：
在multiprocessing中使用pool
如果需要多个子进程时，使用进程池(pool)来（自动）管理各个子进程更加方便：
from multiprocessing import Pool
import os, time
def long_time_task(name):
print 'Run task {0} ({1})'.format(name,os.getpid())
start = time.time()
time.sleep(3)
end = time.time()
print 'Task {0} runs {1:.2f} seconds.'.format(name,end - start)
if __name__=='__main__':
print 'Parent process ({0})'.format(os.getpid)
p = Pool()
for i in range(12):
p.apply_async(long_time_task, args=(i,))
print 'Waiting for all subprocesses done...'
p.close()
p.join()
print 'All subprocesses done.'
与Process类创建进程的方法不同，Pool是通过apply_async(func,args=(args))方法创建进程，一个进程池中能同时运行的任务数是机器上CPU核的总数量n_kernel，如果创建的子进程数大于n_kernel，则同时执行n_kernel个进程，这n_kernel中某个进程完成之后才会启动下一个进程。
p.close()关闭进程池之后才能调用join()方法多个子进程间的通信
多个子进程间的通信要用到multiprocessing.Queue，Queue的特性是它是一个消息队列。比如有以下的需求，一个子进程向队列中写数据，另外一个进程从队列中取数据的例子：
from multiprocessing import Process, Queue
import os, time, random
def write(q):
for value in ['A', 'B', 'C']:
print 'Put {0} to queue...'.format(value)
q.put(value)
time.sleep(random.random())
def read(q):
while True:
if not q.empty():
value = q.get(True)
print 'Get {0} from queue.'.format(value)
time.sleep(random.random())
else:
break
if __name__=='__main__':
q = multiprocessing.Queue()
pw = Process(target=write, args=(q,))
pr = Process(target=read, args=(q,))
pw.start()
pw.join()
pr.start()
pr.join()
Queue使用方法：
Queue.get(False),取不到值时触发异常：Empty；Queue.get(False),当队列满了时报错：Full；在进程池Pool中，使用Queue会出错，需要使用Manager.Queue：
from multiprocessing import Process, Queue
import os, time, random
def write(q):
for value in ['A', 'B', 'C']:
print 'Put {0} to queue...'.format(value)
q.put(value)
time.sleep(random.random())
def read(q):
while True:
if not q.empty():
value = q.get(True)
print 'Get {0} from queue.'.format(value)
time.sleep(random.random())
else:
break
if __name__=='__main__':
manager = multiprocessing.Manager()
q = manager.Queue()
p = Pool()
pw = p.apply_async(write, args=(q,))
time.sleep(2)
pr = p.apply_async(read, args=(q,))
p.close()
p.join()
if not q.empty():
print 'q is not empty...'
else:
print 'q is empty...'
print 'OK'
if not q.empty():
print 'q is not empty...'
else:
print 'q is empty...'
print 'done...'
父进程与子进程共享内存
定义普通的变量，不能实现在父进程和子进程之间共享：
import multiprocessing from multiprocessing import Pool def changevalue(n, a): n = 3.14 a[0] = 5 if __name__ == '__main__': num = 0 arr = range(10) p = Pool() p1 = p.apply_async(changevalue, args=(num, arr)) p.close() p.join() print num print arr[:]
结果输出num的值还是在父进程中定义的0，arr的第一个元素值还是0。
使用multiprocessing创建共享对象:
import multiprocessing
def changevalue(n, a):
n.value = 3.14
a[0] = 5
if __name__ == '__main__':
num = multiprocessing.Value('d', 0.0)
arr = multiprocessing.Array('i', range(10))
p = multiprocessing.Process(target=changevalue, args=(num, arr))
p.start()
p.join()
print num.value
print arr[:]
结果输出num的值是在子进程中修改的3.14，arr的第一个元素值更改为5。
共享内存在Pool中的使用：
import multiprocessing
from multiprocessing import Pool
def changevalue(n, a):
n.value = 3.14
a[0] = 5
if __name__ == '__main__':
num = multiprocessing.Value('d', 0.0)
arr = multiprocessing.Array('i', range(10))
p = Pool()
p1 = p.apply_async(changevalue, args=(num, arr))
p.close()
p.join()
print num.value
print arr[:]
更多关于Python相关内容感兴趣的读者可查看本站专题：《Python进程与线程操作技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》、《Python+MySQL数据库程序设计入门教程》及《Python常见数据库操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。