windows环境下安装hadoop

前端之家收集整理的这篇文章主要介绍了windows环境下安装hadoop前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

本地环境

  • windows7 64位
  • hadoop-2.7.3.tar.gz

hadoop-2.7.3.tar.gz下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/
hadoopWindowsPlug下载地址:https://download.csdn.net/download/qq_33594101/10459216

windows下面安装的,跟Linux下不一样,所以我们需要windows下运行的链接库,下载hadoopWindowsPlug将解压的bin目录和etc目录替换掉你的本地hadoop里面的bin和etc即可,etc目录最好还是你自己配置。

替换完成之后我们别忘了检查你的环境变量,配置到环境变量:
创建HADOOP_HOME 变量:路径为hadoop的安装路径,另外在Path下添加 %HADOOP_HOME%\bin

HADOOP_HOME
D:\hadoop-2.7.3

在path里面加上

%HADOOP_HOME%\bin;

然后配置etc/hadoop里面的5个文件

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/hadoop-2.7.3/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/hadoop-2.7.3/data/datanode</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

hadoop\hadoop-env.cmd

set JAVA_HOME=%JAVA_HOME%或者
set JAVA_HOME=jdk安装路径

到hadoop根目录,如果没有data文件夹的话就新建一个,然后在data下分别创建datanode、namenode两个文件夹,接下来我们需要格式化namenode,进入hadoop/bin目录执行:

hadoop namenode -format

执行完毕再进入sbin目录执行启动命令:

start-all.cmd

接着会启动四个窗口,分别启动本地的namenode,datanode,你可以使用jps命令查看是否启动完成:

如上便是成功启动啦,接着我们可以启动浏览器查看datanode控制台和mapreduce控制台:

http://localhost:50070

http://localhost:8088/cluster

这样我们的本地开发环境就搭建好了。

停止服务使用如下命令:

sbin目录下执行: stop-all.cmd

猜你在找的Windows相关文章