一:安装VM 12.x
下载地址:链接:http://pan.baidu.com/s/1c2KA3gW密码:3r67
二:安装CentOS6.5 +每台机器都要做的事
这里采用3台机器,其对应的IP和主机分别如下(他们的用户名都是master)
主机名 | ip | 对应的角色 |
master1 | 192.168.48.130 | NameNode |
slave1 | 192.168.48.131 | Datanode1 |
slave2 | 192.168.48.132 | Datanode2 |
这里我们可以采用安装一台虚拟机,然后进行克隆的方法,克隆出五台机器,然后修改对应的ip地址和用户名,VM安装虚拟机有三种网络连接方式,分别是桥接,NAT,仅主机模式,这里采用默认设置,即使用NAT,NAT模式下实用的是Vmnet8
2.1 安装vmware tools:
1、点击VMware菜单虚拟机选中安装VMware-tools:
注:虚拟机桌面会生成VMwaretools DVD安装光盘
2、查看虚拟机设置ISO映像文件是否是VMwaretoolsDVD带Linux.iso映像的文件:
+另外注意在设备状态上勾选 已连接。
3、在centos系统中open terminal(打开终端)挂在VMwaretoolsDVD镜像:
4、执行cd命令进入到/mnt目录并copy(拷贝)VMwareTools-10.0.0-2977863.tar.gz到/tmp目录:
5、执行cd命令进入/tmp目录并使用tar解压VMwareTools-10.0.0-2977863.tar.gz至当前目录下
6、解压缩完成之后使用ls查看/tmp目录下是否存在vmware-tools-distrib这个目录:
7、执行cd命令进入vmware-tools-distrib目录下,查看是否有vmware-install.pl这个常规文件:
8、在当前目录VMware-tools-distrib下执行./VMware-install.pl安装VMwaretools:之后一路回车就ok了。
9、至此VMwaretools安装完成,谢谢!
LinuxCentOS 6.6安装JDK1.7
目录
1、下载JDK
2、卸载JDK
3、安装JDK
3.1、.rpm后缀格式JDK安装方式
3.2、.tar.gz后缀格式JDK安装方式
4、验证安装
1、下载JDK(略)。
2、卸载JDK
查看系统是否已安装JDK。一般的linux都默认使用了开源的openJDK。显示JDK版本信息,已经安装JDK,否则没有安装。命令行:
- java-version
[root@localhostDesktop]#java-version
javaversion"1.7.0_79"
Java(TM)SERuntimeEnvironment(build1.7.0_79-b15)
JavaHotSpot(TM)64-BitServerVM(build24.79-b02,mixedmode)
查找名字包含java,jdk的已安装程序。查找到了,已经安装JDK,否则没有安装。命令行:
[root@localhostDesktop]#rpm-qa|grepjava
[root@localhostDesktop]#rpm-qa|grepjdk
jdk-1.7.0_79-fcs.x86_64
已安装JDK,卸载系统上的JDK,+卸载分为单个卸载和批量卸载,建议批量卸载。
单个卸载程序,使用rpm-exxx命令。命令行:
[root@localhostDesktop]#rpm-ejdk-1.7.0_79-fcs.x86_64
批量卸载所有名字包含jdk的已安装程序。命令行:
[root@localhostDesktop]#rpm-qa|grepjdk|xargsrpm-e--nodeps
批量卸载所有名字包含java的已安装程序。命令行:
[root@localhostDesktop]#rpm-qa|grepjava|xargsrpm-e--nodeps
卸载后,查看JDK版本,已无信息,卸载成功。命令行:
[root@localhostDesktop]#java-version
bash:/usr/bin/java:Nosuchfileordirectory
3、安装JDK
3.1、.tar.gz后缀格式JDK安装方式
安装jdk-7u79-linux-x64.tar.gz。
在/usr目录下新建java文件夹,命令行:
[root@localhostDesktop]#mkdir/usr/java
进入JDK压缩包所在目录,将压缩包复制到java文件夹中。复制文件用cpxxx命令,复制文件夹用cp-rxxx,命令行:
[root@localhostDesktop]#cpjdk-7u79-linux-x64.gz/usr/java
然后返回到根目录,再进入java目录,命令行:
[root@localhostDesktop]#cd/
[root@localhostDesktop]#cd/usr/java
压缩包解压,命令行:
[root@localhostDesktop]#tarxvfjdk-7u79-linux-x64.gz
[root@localhostjava]#rmjdk-7u79-linux-x64.gz
rm:removeregularfile`jdk-7u79-linux-x64.gz'?yes
+选择以下两种方式之一,建议3.1.1
3.1.1 设置对所有用户有效方式:修改/etc/profile文件设置系统变量,设置jdk环境变量,该方式对所有用户有效。
使用VI编辑,输入命令,回车确认。命令行:
[root@localhostDesktop]#vi/etc/profile
打开之后在文件末尾添加下面配置。通过鼠标滑轮滚动到文件末尾,上下左右方向键控制光标输入位置。
配置好后,按Esc退出,按Shift加英文冒号shift+:然后输入wq,按Enter回车键确认。取消编辑按Ctrl+z。
使profile配置生效。命令行:
[root@localhostDesktop]#source/etc/profile
3.1.2设置对当前用户有效方式:修改.bashrc文件设置用户变量,设置jdk环境变量,该方式仅对当前用户有效,对其它用户无效,其它用户没有运行java命令的权限。命令行:
[root@localhostDesktop]#vi~/.bashrc
在bashrc文件中添加下面配置。按Insert键进入编辑状态。
使bashrc配置生效。命令行:
[root@localhostDesktop]#source~/.bashrc
配置好后,按Esc退出,按Shift加英文冒号shift+:然后输入wq,按Enter回车键确认。取消编辑按Ctrl+z。
设置对某个用户有效:如果要使JDK对某个用户有效,某个用户具有运行java命令的权限,修改该用户的.bashrc文件。
例如:ROOT用户给dodobook2用户名运行java命令的权限。
[root@LinuxServerroot]#vi/home/dodobook2/.bashrc
在bashrc文件中添加下面配置。按Insert键进入编辑状态。
如果当前登录用户是dodobook2,使用vi~/.bashrc命令编辑修改。
[dodobook2@localhostDesktop]#vi~/.bashrc
使用echo$JAVA_HOME、echo$CLASSPATH、echo$PATH查看环境变量配置。
[root@localhostDesktop]#echo$JAVA_HOME
/usr/java/jdk1.7.0_79
[root@localhostDesktop]#echo$CLASSPATH
./:/usr/java/jdk1.7.0_79/lib:/usr/java/jdk1.7.0_79/jre/lib
[root@localhostDesktop]#echo$PATH
/usr/local/sbin:/usr/sbin:/sbin:/usr/local/bin:/usr/bin:/bin:/usr/java/jdk1.7.0_79/bin:/root/bin:/usr/java/jdk1.7.0_79/bin
4、验证安装
安装完成后,查看JDK版本。命令行:
测试下javac命令是否可用。命令行:
[root@localhostDesktop]#javac
Usage:javac<options><sourcefiles>
wherepossibleoptionsinclude:
-gGeneratealldebugginginfo
-g:noneGeneratenodebugginginfo
-g:{lines,vars,source}Generateonlysomedebugginginfo
-nowarnGeneratenowarnings
-verboSEOutputmessagesaboutwhatthecompilerisdoing
-deprecationOutputsourcelocationswheredeprecatedAPIsareused
-classpath<path>Specifywheretofinduserclassfilesandannotationprocessors
-cp<path>Specifywheretofinduserclassfilesandannotationprocessors
-sourcepath<path>Specifywheretofindinputsourcefiles
-bootclasspath<path>Overridelocationofbootstrapclassfiles
-extdirs<dirs>Overridelocationofinstalledextensions
-endorseddirs<dirs>Overridelocationofendorsedstandardspath
-proc:{none,only}Controlwhetherannotationprocessingand/orcompilationisdone.
-processor<class1>[,<class2>,<class3>...]Namesoftheannotationprocessorstorun;bypassesdefaultdiscoveryprocess
-processorpath<path>Specifywheretofindannotationprocessors
-d<directory>Specifywheretoplacegeneratedclassfiles
-s<directory>Specifywheretoplacegeneratedsourcefiles
-implicit:{none,class}Specifywhetherornottogenerateclassfilesforimplicitlyreferencedfiles
-encoding<encoding>Specifycharacterencodingusedbysourcefiles
-source<release>Providesourcecompatibilitywithspecifiedrelease
-target<release>GenerateclassfilesforspecificVMversion
-versionVersioninformation
-helpPrintasynopsisofstandardoptions
-Akey[=value]Optionstopasstoannotationprocessors
-XPrintasynopsisofnonstandardoptions
-J<flag>Pass<flag>directlytotheruntimesystem
-WerrorTerminatecompilationifwarningsoccur
@<filename>Readoptionsandfilenamesfromfile
还可以写段代码测试下。用VI编辑java代码测试JDK是否能正常编译。按Insert键进入编辑状态。命令行:
[root@localhostDesktop]#vitest.java
classtest
{
publicstaticvoidmain(String[]args)
{
System.out.println("HelloWorld!");
}
}
写好后,按Esc退出,按Shift加英文冒号shift+:然后输入wq,按Enter回车键确认。
编译运行。命令行:
[root@localhostDesktop]#javactest.java
[root@localhostDesktop]#javatest
HelloWorld!
2.3:每台机器上关闭防火墙和selinux
永久关闭防火墙:chkconfig --level 35 iptables off
永久关闭selinux:
vim /etc/selinux/config
找到SELINUX 行修改成为:SELINUX=disabled:
1:查看本机ip
我的电脑ip地址为:192.168.69.30
Vmnet8的ipv4地址为:192.168.48.1
3:打开虚拟机终端
输入:sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0
eth0--->eth1
dhcp--->static
HWADDR MAC地址修改为本虚拟机的mac地址,mac地址查看 命令: ip addr,选择eth1那个
,+但是如果ip addr 和ifconfig都不能显示出eth1的ip,那么需要vi/etc/sysconfig/network-scripts/ifcfg-eth0设置ONBOOT=yes(这个要是yes)
之后便可以查看ip了
3.2修改主机名和对应IP:
1 : 编辑hosts文件
sudo vim /etc/hosts
添加 192.168.48.129 master
注意: 执行完之后source/etc/hosts, 同时修改每台机器上的/etc/sysconfig/network 中hostname对应的用户名(此步骤一定要注意,否则容易找不到主机名)
2:便捷network文件
sudo vim /etc/sysconfig/network
修改HOSTNAME为master
重启生效
三:安装hadoop集群
1:配置SSH免密码登录
进入~/.ssh目录
每台机器执行:ssh-keygen -t rsa,一路回车
生成两个文件,一个私钥,一个公钥,在master1中执行:cp id_rsa.pub authorized_keys
a:本机无密钥登录
修改authorized_keys权限:chmod 644 authorized_keys
此时重启ssh服务:sudo service sshd restart
ssh master1
yes!!!
b:master与其他节点无密钥登录
从master中把authorized_keys分发到各个结点上(会提示输入密码,输入thinkgamer即可):
scp /home/master/.ssh/authorized_keys slave1:/home/master/.ssh
scp /home/master/.ssh/authorized_keys slave2:/home/master/.ssh
然后在各个节点对authorized_keys执行(一定要执行该步,否则会报错):chmod 644 authorized_keys
测试如下(第一次ssh时会提示输入yes/no,输入yes即可):
2:解压hadoop到指定目录(我这里使用的是/opt/目录)
tar -zxvfhadoop-2.7.0.tar.gz /opt/hadoop-2.7.0
重命名文件:mv /opt/hadoop-2.7.0 /opt/hadoop
7:修改配置文件
hadoop-env.sh:
- exportJAVA_HOME=/opt/java
- 并加入下面这句告诉hadoop配置文件在哪里
- exportHADOOP_CONF_DIR=/opt/hadoop/etc/hadoop/
core-site.xml:
hdfs-site.xml:
8:编辑slaves文件
清空加入从节点的名字
slave1
slave2
9:将hadoop分发到各个节点(因为权限问题,先将该文件夹分发到各个节点的/home/master目录下,再进入各个节点将文件夹移到/opt下)
scp -r /opt/hadoop slave1:/home/master/hadoop,进入该节点执行:sudo mv hadoop /opt/
scp -r /opt/hadoop slave2:/home/master/hadoop,进入该节点执行:sudo mv hadoop /opt/
10:在master节点格式化hdfs,+并启动
bin/hdfs namenode -format
看见status 0表示安装成功
启动:在hadoop目录下执行sbin/start-all.sh
四:web页面查看
1:http://192.168.48.130:8088/
2:http://192.168.48.130:50070/