我有一个包含整年数据的时间序列数据集(日期是索引).每15分钟(全年)测量数据,这导致每天96个步骤.数据已经标准化.变量是相关的.除VAR之外的所有变量都是天气测量.
VAR在一天和一周内是季节性的(因为它在周末看起来有点不同,但每个周末更不一样). VAR值是固定的.
我想预测接下来两天(前面192步)和未来七天(未来672步)的VAR值.
以下是数据集的示例：
DateIdx VAR dewpt hum press temp
2017-04-17 00:00:00 0.369397 0.155039 0.386792 0.196721 0.238889
2017-04-17 00:15:00 0.363214 0.147287 0.429245 0.196721 0.233333
2017-04-17 00:30:00 0.357032 0.139535 0.471698 0.196721 0.227778
2017-04-17 00:45:00 0.323029 0.127907 0.429245 0.204918 0.219444
2017-04-17 01:00:00 0.347759 0.116279 0.386792 0.213115 0.211111
2017-04-17 01:15:00 0.346213 0.127907 0.476415 0.204918 0.169444
2017-04-17 01:30:00 0.259660 0.139535 0.566038 0.196721 0.127778
2017-04-17 01:45:00 0.205564 0.073643 0.523585 0.172131 0.091667
2017-04-17 02:00:00 0.157650 0.007752 0.481132 0.147541 0.055556
2017-04-17 02:15:00 0.122101 0.003876 0.476415 0.122951 0.091667
我决定在Keras使用LSTM.有了全年的数据,我使用了过去329天的数据作为培训数据,其余的用于培训期间的验证.
train_X – >包含整个措施,包括329天的VAR
train_Y – >仅包含329天的VAR.价值向前移动了一步.
其余的时间步长转到test_X和test_Y.
这是我准备train_X和train_Y的代码：
#X -> is the whole dataframe
#Y -> is a vector of VAR from whole dataframe,already shifted 1 step ahead
#329 * 96 = 31584
train_X = X[:31584]
train_X = train_X.reshape(train_X.shape[0],1,5)
train_Y = Y[:31584]
train_Y = train_Y.reshape(train_Y.shape[0],1)
为了预测下一个VAR值,我想使用过去672个时间步(整周测量).出于这个原因,我设置了batch_size = 672,因此’fit’命令如下所示：
history = model.fit(train_X,train_Y,epochs=50,batch_size=672,validation_data=(test_X,test_Y),shuffle=False)
这是我的网络架构：
model = models.Sequential()
model.add(layers.LSTM(672,input_shape=(None,672),return_sequences=True))
model.add(layers.Dropout(0.2))
model.add(layers.LSTM(336,return_sequences=True))
model.add(layers.Dropout(0.2))
model.add(layers.LSTM(168,return_sequences=True))
model.add(layers.Dropout(0.2))
model.add(layers.LSTM(84,return_sequences=True))
model.add(layers.Dropout(0.2))
model.add(layers.LSTM(21,return_sequences=False))
model.add(layers.Dense(1))
model.compile(loss='mae',optimizer='adam')
model.summary()
从下面的图中我们可以看到网络在50个时代之后学到了“东西”：
Plot from the learning process
为了预测的目的,我准备了一组数据,其中包含所有值的最后672个步骤和96个没有VAR值的数据 – 这应该被预测.我还使用了自回归,因此我在每次预测后更新了VAR并将其用于下一次预测.
predX数据集(用于预测)如下所示：
print(predX['VAR'][668:677])
DateIdx VAR
2017-04-23 23:00:00 0.307573
2017-04-23 23:15:00 0.278207
2017-04-23 23:30:00 0.284390
2017-04-23 23:45:00 0.309118
2017-04-24 00:00:00 NaN
2017-04-24 00:15:00 NaN
2017-04-24 00:30:00 NaN
2017-04-24 00:45:00 NaN
2017-04-24 01:00:00 NaN
Name: VAR,dtype: float64
stepsAhead = 96
historySteps = 672
for i in range(0,stepsAhead):
j = i + historySteps
ypred = model.predict(predX.values[i:j].reshape(1,historySteps,5))
predX['VAR'][j] = ypred
不幸的是,结果很差,远远超出预期：
结果与前一天相结合：
Predicted data combined with a previous day
除了“我做错了什么”这个问题,我想问几个问题：
Q1.在模型推荐期间,我将整个历史分为672个大小.这是对的吗？我该如何组织模型拟合的数据集？我有什么选择？我应该使用“滑动窗口”方法(如链接：https://machinelearningmastery.com/promise-recurrent-neural-networks-time-series-forecasting/)？
Q2. 50个时代足够了吗？这里的常见做法是什么？也许网络装备不足导致预测不佳？到目前为止,我尝试了200个具有相同结果的纪元.
Q3.我应该尝试不同的架构吗？建议的网络“足够大”来处理这样的数据吗？也许一个“有状态”的网络是正确的方法吗？
>一旦有了2D数据集(total_samples,5),就可以使用TimeseriesGenerator创建一个滑动窗口,为您生成(batch_size,past_timesteps,5).在这种情况下,您将使用.fit_generator来训练网络.
>如果你得到相同的结果,50个时期应该没问题.您通常会根据网络的性能进行调整.但是,如果要比较两种不同的网络架构,则应该保持固定.
>建筑物非常大,因为您的目标是一次预测所有672个未来值.您可以设计网络,以便它学会一次预测一个测量.在预测时,您可以预测一个点并再次提供该点以预测下一个点,直到您获得672点.
>这与答案3相关,您可以学习一次预测一个,并在训练后将预测链接到n个预测.
单点预测模型可能如下所示：
model = Sequential()
model.add(LSTM(128,return_sequences=True,input_shape=(past_timesteps,5))
model.add(LSTM(64))
model.add(Dense(1))