CentOS6.7 安装hadoop2.7.5

前端之家收集整理的这篇文章主要介绍了CentOS6.7 安装hadoop2.7.5前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

一、下载hadoop二进制包

下载地址:http://mirrors.hust.edu.cn/apache/hadoop/common/



二、环境准备

1、安装JDK(1.8.0_151)

2、安装openssh-clients

注意: CentOS6.7 默认没有安装openssh-clients,导致系统没有ssh命令,而hadoop脚本中会使用ssh命令,如果不装openssh-clients,启动服务器时会报错


三、安装hadoop

tarzxfhadoop-2.7.5.tar.gz-C/usr/local/
mv/usr/local/hadoop-2.7.5/usr/local/hadoop
cd/usr/local/hadoop/etc/hadoop


1、修改hadoop-env.sh,配置JAVA_HOME

exportJAVA_HOME=/usr/java/jdk1.8.0_151


2、修改core-site.xml文件,在configuration标签中加入以下配置

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoo.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>


3、修改hdfs-site.xml文件,加入以下配置


<configuration>
<property>
<name>dfs.http.address</name>
<value>192.168.115.237:50070</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>



4、修改marped-site.xml文件

cpmapred-site.xml.templatemapred-site.xml
vimmapred-site.xml



<configuration>
<property>
<name>marped.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>


5、格式化hadoop的HDFS文件系统,在hadoop文件中输入

./bin/hadoopnamenode-format



6、如果第5步没有报错,则执行下面的命令,启动hadoop服务

sbin/start-all.sh

启动时,会多次登录本机,要求输入root账户的密码,可以使用公钥认证的方式,进行免密码登录。这里不介绍任何设置


如果服务正常启动,输入jps能看到以下进程

访问http://ip:50070可以查看hadoop集群状态

参考:http://blog.csdn.net/qq_32554863/article/details/79409433

猜你在找的CentOS相关文章