####一、配置用户信息 1.添加用户到sudo组(用户名以实际情况为准,这里使用Kevin举例):
sudo adduser Kevin sudo
su addgroup hadoop usermod -a -G hadoop Kevin
####二、配置ssh免密码登录 1.安装ssh server:
sudo apt-get install openssh-server
2.ssh免密配置:
cd ~/.ssh/ #若没有该目录,请先执行一次ssh localhost ssh-keygen -t rsa cat id_rsa.pub >> authorized_keys
3.检测是否能直接登录:
ssh localhost
####三、配置JDK 参考文章《Ubuntu Kylin 安装和配置JDK》。
####四、安装和配置Hadoop环境变量 1.下载Hadoop2.7.3:
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.3/
2.解压Hadoop压缩文件:
sudo tar -zxvf /home/Kevin/下载/hadoop-2.7.3.tar.gz -C /usr/local
cd /usr/local/ sudo mv ./hadoop-2.7.3/ ./hadoop
sudo chown -R Kevin ./hadoop
5.配置Hadoop环境变量:
执行以下命令:
sudo nano /etc/profile
打开界面后,在之前配置的JAVA_HOME后面输入:
export HADOOP_INSTALL=/usr/local/hadoop export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin
使配置立即生效:
source /etc/profile
6.检测Hadoop安装是否成功:
hdfs
####五、配置Hadoop伪分布式 1.切换至配置文件目录:
cd /usr/local/hadoop/etc/hadoop
2.配置 core-site.xml:
执行命令:
nano core-site.xml
将文件中的
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
3.配置 hdfs-site.xml:
执行命令:
nano hdfs-site.xml
将文件中的
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration>
4.配置yarn-site.xml:
执行命令:
nano yarn-site.xml
将文件中的
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
5.配置mapred-site.xml:
从模板文件复制一个xml,执行命令:
mv mapred-site.xml.template mapred-site.xml
再执行命令:
nano mapred-site.xml
将文件中的
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
6.配置hadoop-env.sh:
执行命令:
nano hadoop-env.sh
配置文件中的JAVA_HOME(JDK路径以实际情况为准):
export JAVA_HOME=/usr/lib/jvm/java-7-oracle
7.配置完成后,执行格式化:
hdfs namenode -format
出现Exitting with status 0 表示成功,若为 Exitting with status 1 则是出错。
8.启动hadoop所有的进程:
start-all.sh
9.查看各个进程是否正常启动:
执行命令:
jps
执行结果:
5385 Jps 2422 NameNode 2538 Datanode 2742 SecondaryNameNode 3008 NodeManager 2892 ResourceManager
10.在网页上查看Hadoop信息:
http://localhost:50070
####六、参考文章 1.在Ubuntu 14.04 LTS上安装部署Hadoop 2.7.1(伪分布式)(http://www.linuxidc.com/Linux/2015-09/122873.htm)