我有一个30分钟间隔的大型时间序列数据集,并试图在这组数据上做一个滑动窗口,但是使用pandas分别为当天的每个点.
我不是统计学家,不善于思考或编写这类工作,但这是我笨手笨脚地做我想做的事.我真的在寻求帮助来改进它,因为我知道有更好的方法可以做到这一点,可能使用MultiIndexes和一些适当的迭代?但我在“时间轴”上努力做到这一点.
def sliding_window(run,data,type='mean'):
data = data.asfreq('30T')
for x in date_range(run.START,run.END,freq='1d'):
if int(datetime.strftime(x,"%w")) == 0 or int(datetime.strftime(x,"%w")) == 6:
points = data.select(weekends).truncate(x - relativedelta(days=run.WINDOW),x + relativedelta(days=run.WINDOW)).groupby(lambda date: minutes(date,x)).mean()
else:
points = data.select(weekdays).truncate(x - relativedelta(days=run.WINDOW),x)).mean()
for point in points.index:
data[datetime(x.year,x.month,x.day,point.hour,point.minute)] = points[point]
return data
run.START,run.END和run.WINDOW是数据中的两个点和45(天).我一直在盯着这段代码,所以我不确定它对其他人有什么意义(如果有的话),请问我可以澄清其他任何事情.
def sliding_window(run,am='mean',days='weekdays'):
data = data.asfreq('30T')
data = DataFrame({'Day': [d.date() for d in data.index],'Time': [d.time() for d in data.index],'Weekend': [weekday_string(d) for d in data.index],'data': data})
pivot = data.pivot_table(values='data',rows='Day',cols=['Weekend','Time'])
pivot = pivot[days]
if am == 'median':
mean = rolling_median(pivot,run.WINDOW*2,min_periods=1)
mean = rolling_mean(pivot,min_periods=1)
return DataFrame({'mean': unpivot(mean),'amax': np.tile(pivot.max().values,pivot.shape[0]),'amin': np.tile(pivot.min().values,pivot.shape[0])},index=data.index)
unpivot功能:
def unpivot(frame):
N,K = frame.shape
return Series(frame.values.ravel('C'),index=[datetime.combine(d[0],d[1]) for d in zip(np.asarray(frame.index).repeat(K),np.tile(np.asarray(frame.ix[0].index),N))])
sliding_mean中的中心= True似乎在此刻被打破,如果我有机会将在github中存档.
最佳答案
如果您对MultiIndexes感兴趣,请查看
df.pivot_table().它会自动创建一个MultiIndex
在行和/或cols参数中传递多个键.
df.pivot_table().它会自动创建一个MultiIndex
在行和/或cols参数中传递多个键.
例如,假设您要转动数据,以便有单独的列
每个周末和非周末30分钟的一天;你可以通过添加来做到这一点
DataFrame的Day,Weekend和TOD(时间)列,然后传递
这些列名为pivot_table,如下所示.
pivot = df.pivot_table(values='Usage',cols=['TOD','Weekend'])
在这种格式中,pd.rolling_mean()(或
您的创作功能)可以轻松应用于枢轴列.与pandas中的所有滚动/移动函数一样,pd.rolling_mean()甚至接受居中滑动窗口的中心参数.
pd.rolling_mean(pivot,90,center=True,min_periods=1)