ubuntu下安装hadoop2.7

前端之家收集整理的这篇文章主要介绍了ubuntu下安装hadoop2.7前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

材料:
ubuntu 15.04
jdk 1.8.51(在ubuntu终端下载,下面详细解析)
hadoop 2.7.1(是ubuntu终端下载,下面将详细解析)


安装:

1.在ubuntu中创建hadoop用户
1.1. ctrl+Alt+T打开终端窗口,然后输入如下命令创建新用户
$ sudo useradd -m hadoop -s -/bin/bash
1.2. 使用下面命令修改密码(笔者密码为hadoop)
$ sudo passwd hadoop
1.3. 接着为hadoop增加管理员的权限,以免之后出现权限问题。
$ sudo adduser hadoop sudo
也可以打开sudoers文件,给hadoop用户赋予和root一样的权限:
$sudo gedit /etc/sudoers
然后编辑增添如下那句hadoop ALL(ALL:ALL) ALL

1.4. 注销当前的账户,然后登陆刚刚创建的hadoop用户


2.
2.1. 安装ssh
$sudo apt-get installl openssh-server
然后continue YES

2.2. 安装好ssh服务后,那就打开这个服务吧
$sudo /etc/init.d/ssh start

2.3. 顺便查看下服务是否正确启动:
$ ps -e | grep ssh

2.4. 设置免密码登录生成私钥和公钥

$ ssh-keygen -t rsa -P ""

在输入路径那儿笔者直接回车,这样在/home/hadoop/.ssh里面生成两个文件 id_rsa、id_rsa.pub,前者是私钥,后者是公钥。

2.5. 接着将公钥追加到authorized_keys里面,它保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2.6. 登陆ssh
$ssh hadoop@localhost
接着输入yes

2.7. 退出
$exit


3. 安装java环境
3.1 下载jdk二进制编译包
下载用wget软件,wget软件在ubuntu下的安装命令如下:
sudo apt-get install wget

用wget下载jdk包的命令格式为:
wget url链接 -o 输出文件
例如:
wget http://download.oracle.com/otn-pub/java/jdk/8u51-b16/jdk-8u51-linux-x64.tar.gz?AuthParam=1437810421_1d235bda6e9428e1caa05d0fd7951c6d -o jdk-x64.tar.gz

3.2 解压安装
3.2.1 复制解压
先是把压缩包复制到欲安装目录下:
cp jdk-x64.tar.gz /usr/local/
进入上述目录解压:
cd /usr/local/
tar xzvf jdk-x64.tar.gz
若权限不足则还需要加上sudo:
sudo cp jdk-x64.tar.gz /usr/local/
cd /usr/local/
sudo tar xzvf jdk-x64.tar.gz

本人下载时的版本是1.8.0_51,故在/usr/local/目录下解压生成的jdk目录是/usr/local/jdk-1.8.0_51
3.2.2 配置路径安装
打开配置文件
sudo vim /etc/profile
添加以下命令语句:
export JAVA_HOME=/usr/local/jdk-1.8.0_51
export PATH = $JAVA_HOME/bin:$PATH
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
应用配置:
source /etc/profile
测试成功:
java -version


4. 安装hadoop
4.1. 解压:
sudo tar xzf hadoop-2.7.1.tar.gz(一定不要下载rpm的,这个是redhat等系统的软件安装包,在ubuntu中是tar.gz这种才行。)
4.2. copy到/usr/local/中,并命名为hadoop
sudo mv hadoop-2.7.1 /usr/local/
cd /usr/local
sudo mv hadoop-2.7.1 hadoop

4.3. 修改目录主人
sudo chown hadoop:hadoop -R -f /usr/local/hadoop/

4.4. 配置
打开配置文件:
sudo vim /etc/profile
添加以下命令语句:

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"


5. 测试

进入 hadoop目录:

cd /usr/local/hadoop

运行官方测试样例:

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

(默默说句,其实在文章开头链接所指教程中,我弄到一半,然后就出现很多错误,比如安装jdk后还是找不到version、解压失败、以及配置环境时候各种出错。幸亏有进益大神一直指点,然后帮我配环境调bug等等等等。最后终于成功运行了WordCount。现在对WordCount具体代码实现还是半头雾水,还在接下日子慢慢揭开hadoop的面纱。)


ubuntu15.04安裝hadoop2.6.0及eclipse开发环境配置:http://www.linuxdiyf.com/linux/12474.html

Ubuntu15.04单机/伪分布式安装配置Hadoop与Hive试验机:http://www.linuxdiyf.com/linux/11858.html

Ubuntu下安装Hadoop(单机版):http://www.linuxdiyf.com/linux/11372.html

原文链接:https://www.f2er.com/ubuntu/352991.html

猜你在找的Ubuntu相关文章