CentOS6.5下搭建Hadoop环境详细步骤

前端之家收集整理的这篇文章主要介绍了CentOS6.5下搭建Hadoop环境详细步骤前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

1.搭建Hadoop环境需要先安装和测试JDK,具体步骤可以参考

@L_502_0@

2.下载hadoop-2.6.5.tar.gz

可以在官网下载:http://hadoop.apache.org/#Download+Hadoop

也可以在CSDN下载:http://download.csdn.net/download/zp8126/10016375

3.cd /opt/software进入存放软件包目录。(此目录是自己创建的用来专门存放安装包的目录)

4.使用xshell客户端的rz命令上传linux服务器(虚拟机安装的linux),界面如下图:

5.cp hadoop-2.6.5.tar.gz /usr/hadoop拷贝文件/usr/hadoop目录下

6.进入/usr/hadoop/目录

a)tar -xvf hadoop-2.6.5.tar.gz解压到当前目录下

b)cd hadoop-2.6.5进入目录,ls列表查看安装目录下的文件。如下图:

7.切换进入/usr/hadoop/hadoop-2.6.5/etc/hadoop/如下图:

8.vi hadoop-env.sh,添加内容export JAVA_HOME=/usr/java/jdk1.8.0.144,如下图:

9.$hadoop_home/etc/hadoop目录下执行命令vi core-site.xml,并修改文件core-site.xml,添加内容如下:

<configuration>

<property>

<name>fs.default.name</name>

<!-- zhang为主机名,也可以使用ip-->

<value>hdfs://zhang:9000</value>

</property>

<name>fs.defaultFS</name>

<name>hadoop.tmp.dir</name>

<!--文件临时目录,可以自己指定-->

<value>/hadoop/temp/</value>

</configuration>

10.$hadoop_home/etc/hadoop目录下执行命令vi hdfs-site.xml编辑文件内容如下:

<name>dfs.replication</name>

<value>1</value>

<name>dfs.name.dir</name>

<value>/hadoop/hdfs/name</value>

<name>dfs.data.dir</name>

<value>/hadoop/hdfs/data</value>

11.$HADOOP_HOME/etc/hadoop目录下查看是否有配置文件mapred-site.xml文件。默认下没此文件,可以通过重命名mv mapred-site.xml.template mapred-site.xml改成此文件名。然后vi mapred-site.xml修改文件内容

<name>mapreduce.framework.name</name>

<value>yarn</value>

12.$HADOOP_HOME/etc/hadoop目录下执行命令vi yarn-site.xml,修改内容如下:

<name>yarn.resourcemanager.hostname</name>

<value>zhang</value>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

13.执行命令vi /etc/profile,Hadoop的安装目录配置到环境变量中,

JAVA_HOME=/usr/java/jdk1.8.0_144

HADOOP_HOME=/usr/hadoop/hadoop-2.6.5

PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar

export PATH JAVA_HOME CLASSPATH

14.后执行source /etc/profile,配置文件生效。

15.格式化NameNode。在任意目录下(配置Hadoop环境变量的情况下)执行命令

Hdfs namenode -format或者hadoop namenode -format,实现格式化。

执行结束后,如图:

16.启动hadoop进程,首先执行start-dfs.sh(注意中间没有空格);没有配置ssh免密登录之前,会不停的需要输入yes和密码,最后界面如图:

17.输入命令service iptables stoo关闭防火墙后,打开浏览器输入:

http://192.168.1.219:50070/就可以进入如下界面

18.启动yarn,执行start-yarn.sh启动yarn计算进程。

同样在浏览器中:http://192.168.1.219:8088/打开主页面

19.问题总结

a)在上面配置的一系列*-site.xml中用的主机名都可以更换为ip.

b)如果使用主机名配置时,需要注意修改系统主机名和映射文件

c)修改主机名:vi /etc/sysconfig/network

HOSTNAME=wang

d)配置映射

e)重启reboot,之后就可以使用主机名访问了 ,但是使用主机名访问只能虚拟机内

有效。外部主机访问还是需要ip

f)另外注意:启动yarndfs时,如果不想重复输入密码,则需要进行ssh免密码登录配置。

@H_724_403@

猜你在找的CentOS相关文章