Ubuntu_Hadoop_v2.6环境搭建

参考http://www.powerxing.com/install-hadoop/

在原文基础上做了些许调整。

安装环境：
ubuntu 14.04 ，64位
下载：
Oracle JDK 1.7
hadoop2.6

0、新增操作系统用户

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo

1、安装jdk。
将jdk的tar.gz包解压缩到/usr/lib/jvm/下，重命名为java，
在~/.bashrc中添加环境变量：

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

2、安装openssh server

sudo apt-get install openssh-server

3、设置SSH无密码登录

cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
sudo cat ./id_rsa.pub >> ./authorized_keys  # 加入授权,一定要加 sudo,否则可能仍需密码

在输入ssh localhost，无需密码就能直接登录了。

4、解压hadoop的 tar.gz包

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限

5、hadoop的单机（非分布式）配置。
hadoop默认为单机模式，无需配置。

6、hadoop伪分布式配置。
修改hadoop安装文件夹/etc/hadoop/core-site.xml

<@H_502_105@configuration>
        <@H_502_105@property>
             <@H_502_105@name>hadoop.tmp.dir</@H_502_105@name>
             <@H_502_105@value>file:/usr/local/hadoop/tmp</@H_502_105@value>
             <@H_502_105@description>Abase for other temporary directories.</@H_502_105@description>
        </@H_502_105@property>
        <@H_502_105@property>
             <@H_502_105@name>fs.defaultFS</@H_502_105@name>
             <@H_502_105@value>hdfs://localhost:9000</@H_502_105@value>
        </@H_502_105@property>
</@H_502_105@configuration>

修改hadoop安装文件夹/etc/hadoop/hdfs-site.xml

<@H_502_105@configuration>
        <@H_502_105@property>
             <@H_502_105@name>dfs.replication</@H_502_105@name>
             <@H_502_105@value>1</@H_502_105@value>
        </@H_502_105@property>
        <@H_502_105@property>
             <@H_502_105@name>dfs.namenode.name.dir</@H_502_105@name>
             <@H_502_105@value>file:/usr/local/hadoop/tmp/dfs/name</@H_502_105@value>
        </@H_502_105@property>
        <@H_502_105@property>
             <@H_502_105@name>dfs.datanode.data.dir</@H_502_105@name>
             <@H_502_105@value>file:/usr/local/hadoop/tmp/dfs/data</@H_502_105@value>
        </@H_502_105@property>
</@H_502_105@configuration>

7、执行NameNode的格式化

./bin/hdfs namenode -format

8、开启NameNode和Datanode的守护进程

./sbin/start-dfs.sh

# 如果这里报错： JAVA_HOME is not set and could not be found
# 但 echo $JAVA_HOME 确实已经设置过 JAVA_HOME了
# 是因为集群模式的一个问题，需要在 hadoop-env.sh 中将 $JAVA_HOME 重新声明

运行完毕。
可以访问http://IP:50070在线查看hdfs中的文件

9、启动YARN。
重命名mapred-site.xml文件

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

编辑mapred-site.xml文件

<@H_502_105@configuration>
        <@H_502_105@property>
             <@H_502_105@name>mapreduce.framework.name</@H_502_105@name>
             <@H_502_105@value>yarn</@H_502_105@value>
        </@H_502_105@property>
</@H_502_105@configuration>

修改配置文件 yarn-site.xml

<@H_502_105@configuration>
        <@H_502_105@property>
             <@H_502_105@name>yarn.nodemanager.aux-services</@H_502_105@name>
             <@H_502_105@value>mapreduce_shuffle</@H_502_105@value>
            </@H_502_105@property>
</@H_502_105@configuration>

启动 YARN

./sbin/start-yarn.sh      # 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器，才能在Web中查看任务运行情况

可在线查看YARN的任务运行情况。
http://IP地址:8088/

Ubuntu_Hadoop_v2.6环境搭建

猜你在找的Ubuntu相关文章