前提准备

• 安装JDK 和 JRE

  • jdk 安装

    • 网上下载jdk1.7+包
    • 放入/usr/java/jdk1.8.0目录下

    • 在~/.bashrc 文件下添加如下语句

      export JAVA_HOME=/usr/java/jdk1.8.0
      export JRE_HOME=${JAVA_HOME}/jre
      export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
      export PATH=${JAVA_HOME}/bin:$PATH

    • 如果后面启动Hadoop的时候还报JAVA_HOME not found 则在/etc/profile 下面添加如下语句：
      

      export JAVA_HOME=/usr/java/jdk1.8.0
      export JRE_HOME=${JAVA_HOME}/jre
      export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
      export PATH=${JAVA_HOME}/bin:$PATH

  • jre 安装

    sudo apt-get install default-jre

• ssh 安装

  • 安装命令

    sudo apt-get install ssh

  • copy 秘钥

    ssh localhost
    exit                           # 退出 ssh localhost
    cd ~/.ssh                      # 如果没有该目录，先执行一次ssh localhost
    ssh-keygen -t rsa              # 一直按回车就可以
    cp id_rsa.pub authorized_keys

• 下载安装包：http://hadoop.apache.org/releases.html（选择binary的安装包，不要选择源文件）
• 解压之后 进入该目录 执行 bin/hadoop 如果提示你Hadoop的命令的话，恭喜你安装成功！
• 如果有错的话，请看这篇博文，这是我遇到的错误。

运行example

• 单节点运行

  • 还是进入Hadoop目录，执行下述命令

    mkdir input
      cp etc/hadoop/*.xml input
      bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha2.jar grep input output 'dfs[a-z.]+'
      cat output/*

  • 如果有错的话，请看这篇博文，这是我遇到的错误。

• 伪多节点运行

  • 首先需要明白hdfs系统，hdfs是一个并行的文件系统，我们要多节点运行就需要文件读写都在hdfs文件系统中

  • 格式化文件系统: bin/hdfs dfs -format

  • 启动hdfs系统

    sbin/start-dfs.sh

  • 在hdfs中创建文件夹

    bin/hdfs dfs -mkdir /user
    bin/hdfs dfs -mkdir /user/hadoop
    bin/hdfs dfs -mkdir /user/hadoop/input
    bin/hdfs dfs -put etc/hadoop/*.xml /user/hadoop/input

  • 执行例子

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha2.jar grep input output 'dfs[a-z.]+'

  • 如果有错的话，请看这篇博文，这是我遇到的错误。