我一直在尝试编写一些代码来使用MapReduce查找数字的平均值.
我试图使用全局计数器来达到我的目标,但我无法在我的Mapper的map方法中设置计数器值,我也无法在Reducer的reduce方法中检索计数器值.
我是否必须在地图中使用全局计数器(例如,通过使用提供的Reporter的incrCounter(密钥,金额))？或者你会建议任何不同的逻辑来获得一些数字的平均值？
解决方法
逻辑非常简单：
如果所有数字都具有相同的密钥,则映射器会发送您想要查找具有相同密钥的平均值的所有值.因此,在reducer中可以对迭代器中的值求和.然后,您可以在迭代器工作的时间数上保留一个计数器,这可以解决平均项数的问题.最后,在迭代器之后,您可以通过将总和除以项目数来找到平均值.
如果所有数字都具有相同的密钥,则映射器会发送您想要查找具有相同密钥的平均值的所有值.因此,在reducer中可以对迭代器中的值求和.然后,您可以在迭代器工作的时间数上保留一个计数器,这可以解决平均项数的问题.最后,在迭代器之后,您可以通过将总和除以项目数来找到平均值.
注意,如果将combiner类设置为与reducer相同的类,则此逻辑将不起作用…
