- 执行bin/hadoop的时候一直connection Failed
- 需要将/etc/hosts 里面的ubuntu 里面的127.0.1.1 改成127.0.0.1
每次重启之后都会Hadoop的web管理页面都打不开,也就是localhost:8088 和 localhost:9870 进不去,但是bin/start-all.sh 正常
- 在Hadoop 安装目录下建立tmp目录,我这里是/usr/local/hadoop/tmp
在etc/hadoop/core-site.xml 里面添加如下配置
<property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> <description>A base for other temporary directories.</description> </property>
重新格式化 hdfs 系统
bin/hdfs dfs -format
重启Hadoop 即可
- 分析:主要是原来的tmp目录默认放置在/tmp/目录下,但是这个目录每当ubuntu重启的时候就会被删除,所以我们需要重新设置一个tmp目录
bin/hadoop jar 执行我们自己的jar总是曝出ClassName not found的错误
是因为我们的class是在一个包中,所以我们在执行的之后也要吧报名加上,比如我有一个类是WordCount,包名是studyHadoopCh3,所以我执行的时候应该如下写:
bin/hadoop jar /home/hadoop/workspace/studyHadoopCh3/src/studyHadoopCh3/WordCount/wordcount.jar studyHadoopCh3.WordCount studyHadoopCh6/input output
Java程序报错:Cannot allocate memory
- 这是因为没有可分配的内存了,我给ubuntu虚拟机分配了2G的内存,我查了下主机的内存使用情况发现也已经达到100%了,所以就选择重启了ubuntu虚拟机
Hadoop combine的概念:
setOutputKeyClass、setOutputValueClass、setMapOutputKeyClass、setMapOutputValueClass
更新ing…