java – org.apache.hadoop.mapreduce.counters.LimitExceededException:计数器太多:121 max = 120

前端之家收集整理的这篇文章主要介绍了java – org.apache.hadoop.mapreduce.counters.LimitExceededException:计数器太多:121 max = 120前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我正在运行一个hadoop工作(来自oozie),它有很少的计数器和多输出.

我得到的错误如下:
org.apache.hadoop.mapreduce.counters.LimitExceededException:计数器太多:121 max = 120

然后我删除了所有具有计数器的代码,并将mout.setCountersEnabled设置为false.
并且还在hadoop配置中将最大计数器设置为240.

现在我仍然得到同样的错误
org.apache.hadoop.mapreduce.counters.LimitExceededException:计数器太多:241 max = 240

我怎么解决这个问题?
是否存在任何隐藏计数器的可能性?
我怎样才能弄清楚那里的柜台超过240? (在我打印任何东西之前,这个过程看起来好像停了?)

谢谢,
莘松

解决方法

我用以下方法解决了问题:
vi $HADOOP_HOME / conf / mapred-site.xml
<property>
    <name>mapreduce.job.counters.limit</name>
    <!--<value>120</value>-->
   <value>20000</value>
    <description>Limit on the number of counters allowed per job. The default value is 200.</description>
</property>

猜你在找的Java相关文章