我不得不做大量的I / O绑定操作,即解析大文件并从一种格式转换为其他格式.最初我曾经连续做过,即一个接一个地解析..！性能非常差(使用时间为90秒).所以我决定使用线程来提高性能.我为每个文件创建了一个线程. (4个主题)
for file in file_list:
t=threading.Thread(target = self.convertfile,args = file)
t.start()
ts.append(t)
for t in ts:
t.join()
最佳答案
在通常的Python解释器下,由于global interpreter lock(也就是GIL),线程不会为你的程序分配更多的cpu内核.
multiprocessing模块可以帮助你. (请注意,它是在Python 2.6中引入的,但Python 2.5存在后向端口.)
正如MSalters所说,如果你的程序受I / O限制,那么这是否有用是值得商榷的.但它可能值得一试:)
要使用此模块实现您想要的目标：
import multiprocessing
MAX_PARALLEL_TASKS = 8 # I have an Intel Core i7 :)
pool = multiprocessing.Pool(MAX_PARALLEL_TASKS)
pool.map_async(convertfile,filelist)
pool.close()
pool.join()
重要！传递给map_async的函数必须是pickleable.通常,实例方法不是pickleable,除非你设计它们！请注意,上面的convertfile是一个函数.