材料: ubuntu 15.04 jdk 1.8.51(在ubuntu终端下载,下面详细解析) hadoop 2.7.1(是ubuntu终端下载,下面将详细解析) 安装: 1.在ubuntu中创建hadoop用户 1.1. ctrl+Alt+T打开终端窗口,然后输入如下命令创建新用户。 $ sudo useradd -m hadoop -s -/bin/bash 1.2. 使用下面命令修改密码(笔者密码为hadoop) $ sudo passwd hadoop 1.3. 接着为hadoop增加管理员的权限,以免之后出现权限问题。 $ sudo adduser hadoop sudo 也可以打开sudoers文件,给hadoop用户赋予和root一样的权限: $sudo gedit /etc/sudoers 然后编辑增添如下那句hadoop ALL(ALL:ALL) ALL 1.4. 注销当前的账户,然后登陆刚刚创建的hadoop用户。 2. 2.1. 安装ssh $sudo apt-get installl openssh-server 然后continue YES 2.2. 安装好ssh服务后,那就打开这个服务吧 $sudo /etc/init.d/ssh start 2.3. 顺便查看下服务是否正确启动: $ ps -e | grep ssh 2.4. 设置免密码登录,生成私钥和公钥 $ ssh-keygen -t rsa -P "" 在输入路径那儿笔者直接回车,这样在/home/hadoop/.ssh里面生成两个文件 id_rsa、id_rsa.pub,前者是私钥,后者是公钥。 2.5. 接着将公钥追加到authorized_keys里面,它保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。 $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 2.6. 登陆ssh $ssh hadoop@localhost 接着输入yes 2.7. 退出 $exit 3. 安装java环境 3.1 下载jdk二进制编译包 下载用wget软件,wget软件在ubuntu下的安装命令如下: sudo apt-get install wget 用wget下载jdk包的命令格式为: wget url链接 -o 输出文件名 例如: wget http://download.oracle.com/otn-pub/java/jdk/8u51-b16/jdk-8u51-linux-x64.tar.gz?AuthParam=1437810421_1d235bda6e9428e1caa05d0fd7951c6d -o jdk-x64.tar.gz 3.2 解压安装 3.2.1 复制解压 先是把压缩包复制到欲安装目录下: cp jdk-x64.tar.gz /usr/local/ 进入上述目录解压: cd /usr/local/ tar xzvf jdk-x64.tar.gz 若权限不足则还需要加上sudo: sudo cp jdk-x64.tar.gz /usr/local/ cd /usr/local/ sudo tar xzvf jdk-x64.tar.gz 本人下载时的版本是1.8.0_51,故在/usr/local/目录下解压生成的jdk目录是/usr/local/jdk-1.8.0_51 3.2.2 配置路径安装 打开配置文件: sudo vim /etc/profile 添加以下命令语句: export JAVA_HOME=/usr/local/jdk-1.8.0_51 export PATH = $JAVA_HOME/bin:$PATH export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 应用配置: source /etc/profile 测试成功: java -version 4. 安装hadoop 4.1. 解压: sudo tar xzf hadoop-2.7.1.tar.gz(一定不要下载rpm的,这个是redhat等系统的软件安装包,在ubuntu中是tar.gz这种才行。) 4.2. copy到/usr/local/中,并命名为hadoop sudo mv hadoop-2.7.1 /usr/local/ cd /usr/local sudo mv hadoop-2.7.1 hadoop 4.3. 修改目录主人 sudo chown hadoop:hadoop -R -f /usr/local/hadoop/ 4.4. 配置 打开配置文件: sudo vim /etc/profile 添加以下命令语句: export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib" 5. 测试 进入 hadoop目录: cd /usr/local/hadoop 运行官方测试样例: bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output (默默说句,其实在文章开头链接所指教程中,我弄到一半,然后就出现很多错误,比如安装jdk后还是找不到version、解压失败、以及配置环境时候各种出错。幸亏有进益大神一直指点,然后帮我配环境调bug等等等等。最后终于成功运行了WordCount。现在对WordCount具体代码实现还是半头雾水,还在接下日子慢慢揭开hadoop的面纱。) ubuntu15.04安裝hadoop2.6.0及eclipse开发环境配置:http://www.linuxdiyf.com/linux/12474.html Ubuntu15.04单机/伪分布式安装配置Hadoop与Hive试验机:http://www.linuxdiyf.com/linux/11858.html Ubuntu下安装Hadoop(单机版):http://www.linuxdiyf.com/linux/11372.html |