java框架用于聚合和滑动窗口实现

前端之家收集整理的这篇文章主要介绍了java框架用于聚合和滑动窗口实现前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我有一个事件流和一个关键的val存储.
值大小限制在4Kb.事件发生率不是很重 – 每天最多数百次.

在这个值中,我需要存储一个数据结构的序列化表示,提供了一个有效的机制,用于在3个月的时间内读取,存储和更新聚合事件计数,每天和每周聚合和1/2小时的滑动窗口.

解决方案需要对简单事件计数聚合和事件计数标准偏差有效执行以下任务.
(以下提到的所有任务的最长期限为3个月):

>不断的更新(懒惰的方式 – 相应的事件到达) – 如果最新计算的聚合太旧 – 抛出过时的数据并创建新的聚合
>由读取请求触发的更新(用户请求某些信息,例如特定用户的事件计数,单个用户的事件计数的标准偏差等),以防最新的计算聚合太旧 – 抛出它们

我想知道有没有任何可以协助实现上述的java开源框架?

我也会欣赏设计建议:设计模式等

解决方案不难使用标准的Java API从头开始实现,但在这样做之前,我将会欣赏一些开源框架建议(如果有的话).

除了一些理论文章,基于sql解决方案和IBM(非开放源代码工具包,叫做SPL),搜索引擎的搜索引擎并没有引导我.

解决方法

看看 Esper.

StreamCruncher.

猜你在找的Java相关文章