我是PyTorch的新手.我遇到了一些包含各种不同例子的
GitHub repository (link to full code example).
还有一个关于LSTM的例子,这是Network类:
# RNN Model (Many-to-One) class RNN(nn.Module): def __init__(self,input_size,hidden_size,num_layers,num_classes): super(RNN,self).__init__() self.hidden_size = hidden_size self.num_layers = num_layers self.lstm = nn.LSTM(input_size,batch_first=True) self.fc = nn.Linear(hidden_size,num_classes) def forward(self,x): # Set initial states h0 = Variable(torch.zeros(self.num_layers,x.size(0),self.hidden_size)) c0 = Variable(torch.zeros(self.num_layers,self.hidden_size)) # Forward propagate RNN out,_ = self.lstm(x,(h0,c0)) # Decode hidden state of last time step out = self.fc(out[:,-1,:]) return out
所以我的问题是关于以下几行:
h0 = Variable(torch.zeros(self.num_layers,self.hidden_size)) c0 = Variable(torch.zeros(self.num_layers,self.hidden_size))
据我所知,每个训练样例都会调用forward().但这意味着隐藏状态和单元状态将被重置,即在每个训练示例中用零矩阵替换.
名称h0和c0表示这只是t = 0时的隐藏/单元状态,但为什么这些零的矩阵在每个训练样例中都移交给了lstm?
在测试代码时,它表明MNIST集合的准确率为97%,因此它似乎以这种方式工作,但它对我没有意义.
希望有人可以帮我解决这个问题.
提前致谢!
解决方法
显然我对此走错了路.我混淆了隐藏的单位和隐藏/细胞状态.
在训练步骤中仅训练LSTM中的隐藏单元.在每个序列的开始处重置细胞状态和隐藏状态.因此,以这种方式进行编程才有意义.
在训练步骤中仅训练LSTM中的隐藏单元.在每个序列的开始处重置细胞状态和隐藏状态.因此,以这种方式进行编程才有意义.
非常遗憾..