我不得不做大量的I / O绑定操作,即解析大文件并从一种格式转换为其他格式.最初我曾经连续做过,即一个接一个地解析..！性能非常差(使用时间为90秒).所以我决定使用线程来提高性能.我为每个文件创建了一个线程. (4个主题)@H_301_2@
@H_301_2@
for file in file_list:
t=threading.Thread(target = self.convertfile,args = file)
t.start()
ts.append(t)
for t in ts:
t.join()
最佳答案
在通常的Python解释器下,由于global interpreter lock(也就是GIL),线程不会为你的程序分配更多的cpu内核.@H_301_2@
原文链接：https://www.f2er.com/python/438788.htmlmultiprocessing模块可以帮助你. (请注意,它是在Python 2.6中引入的,但Python 2.5存在后向端口.)@H_301_2@
正如MSalters所说,如果你的程序受I / O限制,那么这是否有用是值得商榷的.但它可能值得一试:)@H_301_2@
要使用此模块实现您想要的目标：@H_301_2@
@H_301_2@
import multiprocessing
MAX_PARALLEL_TASKS = 8 # I have an Intel Core i7 :)
pool = multiprocessing.Pool(MAX_PARALLEL_TASKS)
pool.map_async(convertfile,filelist)
pool.close()
pool.join()
重要！传递给map_async的函数必须是pickleable.通常,实例方法不是pickleable,除非你设计它们！请注意,上面的convertfile是一个函数.@H_301_2@
如果你确实需要从convertfile中获取结果,那么也有办法做到这一点.多处理文档页面上的示例应该澄清.@H_301_2@