CDH5.7离线安装-使用CM5，基于CentOS 6.7

截至到2016年5月30日，在网上都没有找到离线安装CDH5.6的文章，最新的就是5.6，经过各种试验，总算装好了，记录如下。

一、基础环境
1.操作系统：Centos6.5 Minimal版本
2.CDH 5.7
3.Cloudra Manager版本5.7
4.JDK版本oracle-j2sdk1.7-1.7.0update67-1.x86_64.rpm
5.使用VirtualBox 5搭建3个虚拟机
6.硬件：笔记本 i5第6代，8G内存，256G固态硬盘
7.所有操作都是用root用户，且各个虚拟机root用户密码都设置成一样的

二、基础配置
各种基础配置在网上已经到处都是了，没有什么特殊的。
主要环节如下：
1、配置host
1）修改主机名，vi /etc/sysconfig/network,各台主机honstname改名为对应的名称，service network restart重启网卡生效。
2）添加hostname与ip的对应关系：

10.0.0.105 master
10.0.0.106 slave1
10.0.0.107 slave2
3）将host从主节点master分发到各个从节点。： scp /etc/hosts root@slave1:/etc

2、关闭防火墙和selinux
1）关闭防火墙(每个节点) service iptables stop chkconfig iptables off
2）关闭selinux(重启生效) vi /etc/selinux/config，设置：SELINUX=disabled

3、ssh无密码登录
1）各个节点安装ssh ssh-keygen -t rsa 一路回车结束
2）将公钥加入到authorized_keys(只需master操作) cat id_rsa.pub >authorized_keys
3) 修改权限 chmod 600 authorized_keys
4）将authorized_keys从master分发到各个slave scp authorize_keys root@slave1:~/.ssh/

4、安装JDK
1）卸载自带java
rpm -qa |grep java
yum remove java*(删除自带的java)
2）安装jdk（每个节点rpm安装）
rpm -ivh jdk1.7.0_67.rpm

！！！重点！！！
JAVA安装后，CDH需要一个/usr/java/default的软链接，否则安装CM的过程中，会出现找不到JAVA_HOME的错误。
进入/usr/java目录：ln -s /opt/java/jdk1.7.0_67 default。

之后，修改/etc/profile：
export JAVA_HOME=/usr/java/default
export PATH= $JAVA_HOME/bin:$ PATH
export CLASSPATH=.: $JAVA_HOME/lib/dt.jar:$ JAVA_HOME/lib/tools.jar

source /etc/profile

5、ntp时间同步
1）安装NTP（每个节点）： yum install ntp
2）配置NTP
master配置：

vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10
restrict 192.168.56.0 255.255.255.0 nomodify notrap

chkconfig ntpd on
service ntpd start

slave配置：

vi /etc/ntp.conf
server master

service ntpd start
chkconfig ntpd on

3）查看同步效果命令：ntpstat
每台机器上都看看，应该看到类似下面的提示：
synchronised to NTP server (192.168.56.105) at stratum 12

三、Cloudera Manager安装
下载地址：
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7/RPMS/x86_64/
1、master节点安装
将下载好的rpm包放到一个文件夹中，进入到这个文件夹手动安装： yum localinstall –nogpgcheck *.rpm
2、slave节点安装
只需安装cloudera-manager-agent.rpm和cloudera-manager-daemons.rpm
3、正式安装cloduera manager
使用http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin，进行安装。
实际上，这个文件是用于在线安装的，因为我们提前下载并安装了CM的RPM包，所以这个脚本可以迅速完成安装过程。
安装结束后，登录：http://10.0.0.105:7180/cmf

四、安装CDH 5.7
1、下载CDH软件包：
http://archive.cloudera.com/cdh5/parcels/5.7/
下载el6的两个parcel文件（6就是centos6），和manifest.json
把parcel.sha1更名为 parcel.sha，否则安装时又会下载一遍

刚刚master节点上安装完成了CM，会在/opt目录下生成cloudera文件夹，将刚才下载的三个文件移动到parcel-repo

期间，可能会出现提示修改swappiness和redhat_transparent_hugepage/defrag，按照提示修改即可： 1）echo 10 >/proc/sys/vm/swappiness（临时生效） 2）echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag（临时生效） 3）永久生效： vi /etc/sysctl.conf，在最后增加vm.swappiness=10 vi /etc/rc.local，把“echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag”加进去

CDH5.7离线安装-使用CM5，基于CentOS 6.7

猜你在找的CentOS相关文章