python – Pytorch中的LSTM

前端之家收集整理的这篇文章主要介绍了python – Pytorch中的LSTM前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我是PyTorch的新手.我遇到了一些包含各种不同例子的 GitHub repository (link to full code example).

还有一个关于LSTM的例子,这是Network类:@H_404_3@

# RNN Model (Many-to-One)
class RNN(nn.Module):
    def __init__(self,input_size,hidden_size,num_layers,num_classes):
        super(RNN,self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.lstm = nn.LSTM(input_size,batch_first=True)
        self.fc = nn.Linear(hidden_size,num_classes)

    def forward(self,x):
        # Set initial states 
        h0 = Variable(torch.zeros(self.num_layers,x.size(0),self.hidden_size)) 
        c0 = Variable(torch.zeros(self.num_layers,self.hidden_size))

        # Forward propagate RNN
        out,_ = self.lstm(x,(h0,c0))  

        # Decode hidden state of last time step
        out = self.fc(out[:,-1,:])  
        return out

所以我的问题是关于以下几行:@H_404_3@

h0 = Variable(torch.zeros(self.num_layers,self.hidden_size)) 
c0 = Variable(torch.zeros(self.num_layers,self.hidden_size))

据我所知,每个训练样例都会调用forward().但这意味着隐藏状态和单元状态将被重置,即在每个训练示例中用零矩阵替换.@H_404_3@

名称h0和c0表示这只是t = 0时的隐藏/单元状态,但为什么这些零的矩阵在每个训练样例中都移交给了lstm?@H_404_3@

即使它们在第一次调用后被忽略,也不是一个非常好的解决方案.@H_404_3@

在测试代​​码时,它表明MNIST集合的准确率为97%,因此它似乎以这种方式工作,但它对我没有意义.@H_404_3@

希望有人可以帮我解决这个问题.@H_404_3@

提前致谢!@H_404_3@

解决方法

显然我对此走错了路.我混淆了隐藏的单位和隐藏/细胞状态.
在训练步骤中仅训练LSTM中的隐藏单元.在每个序列的开始处重置细胞状态和隐藏状态.因此,以这种方式进行编程才有意义.

非常遗憾..@H_404_3@

原文链接:https://www.f2er.com/python/241969.html

猜你在找的Python相关文章