ubuntu10.04+hadoop0.20.2平台配置（完全分布式模式）

Ubuntu 前端之家
前端之家收集整理的这篇文章主要介绍了ubuntu10.04+hadoop0.20.2平台配置（完全分布式模式），前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

配置环境及有关工具：ubuntu10.04 、hadoop0.20.2 、 jdk1.6.0_29@H_301_2@

我们的机器有三台，一台当作namenode、两台当作datanode：@H_301_2@

namenode：IP:192.168.0.25、机器名：kiddenzj （这里的机器名要注意：机器名不能包含下划线“_”，一开始没注意后来找了半天才发现这个原因）@H_301_2@

datanode：IP：192.168.0.8 、机器名：kiddenxcc
@H_301_2@

IP192.168.0.66、机器名： kiddenhw@H_301_2@

集群里所有登陆的用户名和密码都要保持相同，我在这里创建了名为grid的用户，后面的步骤就是在这个用户下进行的。
@H_301_2@


@H_301_2@

配置步骤：@H_301_2@

1）安装ssh@H_301_2@

输入命令：@H_301_2@

[java] view plain copy
  1. apt-getinstallssh

2）SSH配置@H_301_2@

SSH配置主要是为了实现在机器间执行指令时不再需要输入密码，在所有的机器上建立.ssh目录，这里我们建立在/home/grid下面：@H_301_2@

[html] copy
    mkdir.ssh
然后在namenode机器上生成密钥对，执行：
copy
    ssh-keygen-trsa
然后一直按Enter键，就会按照默认选项生成密钥对保存在.ssh/id_rsa文件中。

继续执行如下命令，把密钥传递给每个datanode节点：@H_301_2@

copy
    cd~/.ssh
  1. cpid_rsa.pubauthorized_keys
  2. scpauthorized_keyskiddenhw:/home/grid/.ssh
  3. scpauthorized_keyskiddenxcc:/home/grid/.ssh
然后分别在每台datanode机器上执行如下命令，以改变authorized_keys文件的许可权限：
copy
    chmod644authorized_keys
到此，从namenode发起的到其他datanode节点的SSH连接，就会只需在第一次登录是输入密码，以后则不再需要。

可以通过如下命令发起连接：@H_301_2@

copy
    sshkiddenhw

3）jdk的安装(namenode机和datanode机均按此安装)@H_301_2@

下载jdk-6u29-linux-i586.bin,安装到/usr/java下，cd到usr/java下，@H_301_2@ 

  
  

   
   
 
    
 
     [python] 
     view plain 
      copy 
     
 
       
    
 
   

   
   
     
    
  1. sudochmodu+xjdk-6u29-linux-i586.bin
    2.  
    
  2. sudo./jdk-6u29-linux-i586.bin
    3.

接下来要设置java的环境变量输入命令：@H_301_2@

[javascript] copy
    sudogedit/etc/profile
在文件的最后添加以下语句：
copy
    JAVA_HOME=/usr/java/jdk1.6.0_29
  2. exportJRE_HOME=/usr/java/jdk1.6.0_29/jre
  3. exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
  4. exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

保存退出，然后执行source /etc/profile即可。
@H_301_2@

输入java -version 命令，出现如下信息就表示配置成功@H_301_2@

copy
    javaversion"1.6.0_29"
  1. Java(TM)SERuntimeEnvironment(build1.6.0_29-b11)
  2. JavaHotSpot(TM)ServerVM(build20.4-b02,mixedmode)
4）hadoop的安装配置(只是在namenode端安装配置，完成后namenode可以直接把配置好的hadoop发送到各个datanode端)

在这里，下载hadoop-0.20.2.tar.gz，然后解压到/home/grid/下即可，@H_301_2@

在hadoop文的件夹下需要建立几个文件夹，如下：@H_301_2@

（这里一开始没有创建，结果查看运行信息的时候，虽然datanode节点都有进程在运行，但livenodes节点依然为0）@H_301_2@

copy
    mkdirtmp
  1. mkdirhdfs
  2. mkdirhdfs/name
  3. mkdirhdfs/data
接下来需要修改hadoop的conf文件夹下的配置信息：

修改hadoop-env.sh，加入如下语句，使得hadoop能够找到java的路径。：@H_301_2@

copy
    exportJAVA_HOME=/usr/java/jdk1.6.0_2

修改core-site.xml，如下：@H_301_2@

copy
    <configuration>
  1. <property>
  2. <name>fs.default.name</name>
  3. <value>hdfs://kiddenzj:9000</value>
  4. </property>
  5. </configuration>

修改hdfs-site.xml，如下@H_301_2@

[cpp] copy
    <name>dfs.replication</name>
  1. <value>1</value>
  2. </configuration>

修改mapred-site.xml，如下：@H_301_2@

copy
    <name>mapred.job.tracker</name>
  1. <value>kiddenzj:9001</value>
  2. </configuration>
masters里写入作为namenode节点机器的名称，我们这里是：kiddenzj

slaves里写入作为datanode节点的机器名，这里是：kiddenhw和kiddenxcc@H_301_2@

到此，hadoop的有关配置已经完成，namenode端通过如下命令把配置好的hadoop发送到各个datanode处：@H_301_2@

copy
    scp-rhadoop-0.20.2kiddenhw:/home/grid
  1. scp-rhadoop-0.20.2kiddenxcc:/home/grid

5）修改每台机器上/etc下面的hosts文件，也就是写入所有的机器名和对应IP地址（包括namenode和datanode节点），我们这里修改后如下：@H_301_2@

copy
    127.0.0.1localhost
  1. 192.168.0.8kiddenxcc
  2. 0.25kiddenzj
  3. 0.66kiddenhw
6）
到此基本配置已经完成，在namenode端cd到hadoop文件夹下，格式化分布式文件系统：
copy
    bin/hadoopnamenode-format

下面接着在namenode端启动hadoop进程：@H_301_2@

copy
    bin/start-all.sh
如果没有其它差错的话，hadoop可以正常启动，并能够看到如下结果：

在namenode端用jps命令查看启动情况，如下：@H_301_2@

copy
    grid@kiddenzj:~/hadoop-0.20.2$jps
  1. xxxxJps
  2. xxxxNamenode
  3. xxxxSecondarynamenode
  4. xxxxJobTracker

在datanode端用jps查看启动情况，如下：@H_301_2@

copy
    grid@kiddenhw:~/hadoop-0.20.2$jps
  1. xxxxDatanode
  2. xxxxTaskTracker

然后可以通过如下地址来查看集群运行状况：@H_301_2@

copy
    http://kiddenzj:50030
  1. http://kiddenzj:50070
  2. <prename="code"class="html">http://kiddenhw:50060</pre>
  3. >>
  4. >

猜你在找的Ubuntu相关文章

学linux,从Ubuntu开始
1.安装过程出现0x00000000指令引用的0x00000000内存该内存不能为written 如果你安装的是in...
ubuntu16.04获取root权限并用root用户登录
写在全面：如果根据以下教程涉及到只读文件需要更改文件权限才能需修改文件内容，参考我的...
ubuntu18.04获取root权限并用root用户登录
写在前面：以下步骤中需要在终端输入命令，电脑端查看博客的朋友可以直接复制粘贴到终端，...
ubuntu16.04和18.04更换国内源
ubuntu16.04和18.04更换国内源 写在前面：安装好ubuntu双系统后，默认的软件更新源是国外的...
ubuntu双系统启动时卡死解决办法
ubuntu双系统启动时卡死解决办法（在ubuntu16.04和18.04测试无误） 问题描述： 在安装完ub...
Ubuntu安装ssh
Ubuntu报“xxx is not in the sudoers file.This incident will be reported” 错误解决方法
ubuntu-make | Ubuntu Linux一键安装开发环境
-- 作者 谢恩铭 转载请注明出处 内容简介 什么是ubuntu-make 安装最新版ubuntu-make 用ubu...
Ubuntu 17.04（Zesty Zapus）正式发布，可以下载使用了
今天，2017 年 4 月 13 日，Canonical 官方发布了 Ubuntu 17.04（Zesty Zapus）的最终版。...
Ubuntu 为钱而放弃 Unity ？ Linux 社区的反应
（点击上方公众号，可快速关注） 编译：伯乐在线/黄小非 如有好文章投稿，请点击 → 这里...
LinuxWindowsCentOSUbuntuNginxWebServiceScalaMemcacheApacheRedisDockerBashAzureTomcatLNMPShell数据结构服务器运维网络安全
xebugnodemondocker-copydcoselasticsearcwindows-contdocker-windodocker-awsamazon-cloudenvoyproxyhashicorp-vaswisscomdevkafka-pythonzscalerphoton-osdocker-swarmkamongoogle-cloudconcoursewso2-ampersistent-vapi-managerprocess-manamanjarojenkins-workhypriotremoteapikeystonejsbitcoindbitcoin-test