java – 使用MapReduce查找数字的平均值

前端之家收集整理的这篇文章主要介绍了java – 使用MapReduce查找数字的平均值前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我一直在尝试编写一些代码来使用MapReduce查找数字的平均值.

我试图使用全局计数器来达到我的目标,但我无法在我的Mapper的map方法中设置计数器值,我也无法在Reducer的reduce方法中检索计数器值.

我是否必须在地图中使用全局计数器(例如,通过使用提供的Reporter的incrCounter(密钥,金额))?或者你会建议任何不同的逻辑来获得一些数字的平均值?

解决方法

逻辑非常简单:
如果所有数字都具有相同的密钥,则映射器会发送您想要查找具有相同密钥的平均值的所有值.因此,在reducer中可以对迭代器中的值求和.然后,您可以在迭代器工作的时间数上保留一个计数器,这可以解决平均项数的问题.最后,在迭代器之后,您可以通过将总和除以项目数来找到平均值.

注意,如果将combiner类设置为与reducer相同的类,则此逻辑将不起作用…

原文链接:https://www.f2er.com/java/120937.html

猜你在找的Java相关文章