使用下面的代码,我尝试使用ThreadPoolExecutor在jupyter-notebook上并行打印一堆东西.请注意,使用show()函数,输出不是您通常所期望的.
from concurrent.futures import ThreadPoolExecutor
import sys
items = ['A','B','C','D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z']
def show(name):
print(name,end=' ')
with ThreadPoolExecutor(10) as executor:
executor.map(show,items)
# This outputs
# AB C D E F G H I J KLMNOP QR STU VW XY Z
但是当我尝试使用sys.stdout.write()时,我没有得到这种行为.
def show2(name):
sys.stdout.write(name + ' ')
with ThreadPoolExecutor(10) as executor:
executor.map(show2,items)
# This gives
# A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
奇怪的是,我在jupyter笔记本上尝试了这个,并编写了一个.py文件并运行它.但是后者我似乎没有遇到这个问题.我试过搜索,但我得到的是python-3.x中的print()是线程安全的.如果它确实是线程安全的,那么有人可以解释为什么会发生这种情况吗？
最佳答案
实际上不需要指定结束来暴露这个;即使只是打印(名称)有时会导致字母彼此相邻：
A
B
C
D
EF
G
H
I
即使flush = True也无法解决问题.
print函数在CPython here中实现,用C语言编写.有趣的是：
for (i = 0; i < nargs; i++) {
if (i > 0) {
if (sep == NULL)
err = PyFile_WriteString(" ",file);
else
err = PyFile_WriteObject(sep,file,Py_PRINT_RAW);
if (err)
return NULL;
}
err = PyFile_WriteObject(args[i],Py_PRINT_RAW);
if (err)
return NULL;
}
if (end == NULL)
err = PyFile_WriteString("\n",file);
else
err = PyFile_WriteObject(end,Py_PRINT_RAW);
您可以看到它为每个参数调用一次PyFile_WriteObject(如果指定则调用sep),然后再一次调用end参数(PyFile_WriteString基本上只是一个包含const char *而不是PyObject的PyFile_WriteObject的包装器) – I假设最终有机会在这些调用之间的某处进行上下文切换.
每次调用PyFile_WriteString都与调用(在Python中)sys.stdout.write基本相同,这可以解释为什么在执行sys.stdout.write(name”)时你没有看到这个;如果你改为这样做：
sys.stdout.write(name)
sys.stdout.write(" ")