安装ubuntu14.04.2集群环境下的cloudera5.4.7+CDH5

前端之家收集整理的这篇文章主要介绍了安装ubuntu14.04.2集群环境下的cloudera5.4.7+CDH5前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

一,虚拟机

1,vSphere安装

在服务器上裸装vSphere6.0.0,在本机windows安装vSphere Client

2,ubuntu14.04单节点安装

在vSphere上新建1台虚拟机。之后安装ubuntu14.04完成后,注意将光驱配置修改为“客户端”配置,之后按enter继续完成ubuntu的安装。

进入系统后,修改/etc/network/interfaces ,之后重启网络服务失败。。汗啊,重启吧。

修改为国内源 vi /etc/apt/sources.list (没办法,还没装vim只能vi了)

sudo apt-get update

sudo apt-get install openssh-server

sudo apt-get install vim

3,ubuntu14.04复制

a,在vsphere上导出OVF模板(导出)




b,部署OVF模板(克隆)



二,安装Cloudera Manager

1,参考官网说明步骤

2,配置网络集群环境

虚拟机规划了ClouderaManager,CDH001,CDH002,CDH003

配置各自的hostname (各台机器的/etc/hosts里都要一致)

三,主要遇到的问题

1,新建虚拟机ubuntu14.04.01lts,bridge 模式 ping 不通网关。原因是需要使用管理员启动vm station,才有vmnet0
2,桥接模式下,配置正确,但是无法ping通网关。原因是选择网卡时,选择了自动,可能有多个网卡,选错了。方法是禁用或者手动选择。
3,2台虚拟机,都是桥接模式,第一台有eth0,第二台没有。在虚拟机配置中,增加一个网络适配器。删除第二台虚拟机中的网络适配器1,新建网络适配器2.
4,ubuntu 复制粘贴,vmware tools安装。
5,ubuntu 14.04 root 远程登录需要开启,修改文件 /etc/ssh/sshd_config
6,自己做ubuntu的源(提供给集群环境使用),使用apache2时,配置目录已改为/var/www/html
7,agent信号检测问题,安装ntp。
8, host acquiring installati on lock forever https://community.cloudera.com/t5/Cloudera-Manager-Installation/host-acquiring-installation-lock-forever/td-p/15292 you can remove /tmp/.scm_prepare_node.lock
9,集群安装时,agent节点安装较慢,之前试图使用ubuntu源,但是CDH2选到了LAN里的,CDH1选到了官网的。后来使用scp的方式把 agent 和 daemons两个包拷到了 /var/cache/apt/archives里。继续安装
10,agent节点需要安装jre,否则会造成 agent失败。
11,选择从主机安装
12,报heart beating错误,CDH1和CDH2需要修改config.ini listening_port为7182
13,报 error Failed to connect to prevIoUs supervisor. 网上说有可能是权限问题,没有使用root安装。
https://groups.google.com/a/cloudera.org/forum/#!msg/scm-users/Gv8H-rfz1wQ/90jwLcYlDwIJ
14,hostname 3台机器必须一致,之前有2台填了2项 ip name,1台填了3列,因此错误;改为都是2项,ok
15,页面安装时,报jdbc driver cannot be found,sudo apt-get install libMysqL-java
16,MysqL是安装在CDH上的,不是CDH1上。填数据库时,要注意改主机名。
17,我使用了dns。/etc/hosts中如果包含规范名称,造成host -v -t A `hostname`时,host not found。
18,注意要sudo passwd root,不然可能会造成authentication fail 的错误
19,由于CDH002和CDH003是从CDH001克隆出来的,uuid一样,因此需要把CDH002和CDH003的uuid删除。现象就是集群里面机器有时是这个,有时是那个,始终只有3个中的一个。 http://www.aboutyun.com/forum.php?mod=viewthread&tid=11054
20,修改了机器的ip后。出现各种问号。管理portal上重启了cloudera manager service即可。
21,ntp有可能同步失败,/var/log/syslog里面有写。
23,一定要把windows和linux的用户改成一样,比如都是root,不然老是出权限问题
24,添加新机器时,已经是一个月后了,出了新版本。原来是5.4.7.1,现在是5.4.8.1。报agent版本不匹配。
解决方法:dpkg --purge cloudera-manager-agent
dpkg --purge cloudera-manager-daemons
dpkg -i cloudera-manager-daemons_5.4.7-1.cm547.p0.10~trusty-cm5_all.deb
dpkg -i cloudera-manager-agent_5.4.7-1.cm547.p0.10~trusty-cm5_amd64.deb
然后 restart agent
25,启动hdfs时,报错 Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件
经过查看日志,发现 Name node is in safe mode.
解决方法:sudo -uhdfs hdfs dfsadmin -safemode leave
26,hdfs报错,副本不足。经过查看,原来是CDH001,CDH002,CDH003是Datanode。改为了CDH003,CDH004,CDH005是Datanode。
解决方法:暂时规避,把CDH001和CDH002也添加上去成为Datanode。以后再看如果搞rep迁移
(补充:迁移了可以在namenode上使用下面命令即可解决:hadoop dfsadmin -refreshNodes)。
27,修改集群的机器后,cloudera manager数据库需要更新内容http://www.it165.net/admin/html/201509/6648.html
28,新增节点时,portal上报Name or service not known。实际是需要 sudo passwd root
29,修改了主机的hostname以后,添加该节点时,除了修改postgresql里面的内容以外,还需要修改配置文件。否则会报以下错误
cd /etc/cloudera-scm-server/
grep -r "cloudera-manager.cdsf.com" *
然后修改找出来的db.properties文件 -- vim db.mgmt.properties
修改后重启 sudo service cloudera-scm-server restart

最好不要改cloudera-manager的hostname名字,否则可能出现各种问题。
30,cloudera manager的postgresql里面
31,当复制了cloduera manager时,postgresql的configs表里的hive和oozie等信息必须在 postgresql里有对应的database。如果没有,卸载了服务重新安装。

猜你在找的Ubuntu相关文章