在通常的TensorFlow训练循环中,例如
train_op = tf.train.AdamOptimizer().minimize(cross_entropy)
with tf.Session() as sess:
for i in range(num_steps):
# ...
train_op.run(Feed_dict = Feed_dict)
train_op.run返回None.
但是,有时收集中间结果很有用,例如目标值或准确度.
添加额外的sess.run调用需要再次进行前向传播,从而增加运行时间：
train_op = tf.train.AdamOptimizer().minimize(cross_entropy)
with tf.Session() as sess:
for i in range(num_steps):
# ...
o,a = sess.run([objective,accuracy],Feed_dict = Feed_dict)
train_op.run(Feed_dict = Feed_dict)
是否可以一次性在TensorFlow中执行此操作？
编辑：
人们建议
sess.run([objective,accuracy,train_op],Feed_dict = Feed_dict)
但结果取决于列表元素的执行顺序：
[objective,train_op]
似乎未定义 – you get different results depending on whether CUDA is being used.
最佳答案
只需将train_op添加到要评估的节点列表中.
o,a,_ = sess.run([objective,Feed_dict = Feed_dict)
关于培训步骤及其评估顺序,我做了以下小型实验：
import tensorflow as tf
x = tf.Variable(0,dtype=tf.float32)
loss = tf.nn.l2_loss(x-1)
train_opt = tf.train.GradientDescentOptimizer(1)
train_op = train_opt.minimize(loss)
init_op = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init_op)
x_val,_,loss_val = sess.run([x,train_op,loss])
# returns x_val = 1.0,loss_val = 0.5
情况比我最初的想法更加困惑.似乎是给定的是,提取的执行顺序不依赖于它们在列表中的相应位置：x_val和loss_val将独立于它们在列表中的位置而相同.
但是,正如@MaxB注意到的那样,他们的执行顺序并不能保证.在GPU上运行上述代码时,x_val设置为0.0,即初始值.但是,在cpu上运行时,x_val为1.0,即从train_op更新后的值.
这种依赖于配置的行为可能仅限于通过训练操作更新的变量,如上面的实验所示,但它们不能保证来自tf的文档.