vmare Ubuntu 下Hadoop 开发环境搭建eclipse win10 远程连接
搭建和费劲,这里先踩踩坑,以后也少遇到些问题,搭建也顺利,有兴趣的, 需谨慎
最近要上Hadoop 了,这里稍微总结下 hadoop 开发环境,因为不是边操作,边写博客,可能没那么细,之后有机会搭建,会重新补全,
但是这里会列出安装过程中遇到都问题与解决方案
vmare ubuntu 安装
1、安装vmare:
这个给出网址:请参照:Vmare安装
注意 注册码:1F04Z-6D111-7Z029-AV0Q4-3AEH8/
可能遇到问题:
解决办法:
关掉防火墙 一类安全软件
2、下载ubuntu:ubuntu下载
3、vmare 下安装ubuntu :
给出网址:Vmare下安装ubuntu
没啥说都,重点说是可能遇到的问题:
问题:
在Vmware里安装完Ubuntu16.10,启动时出现'SMBus Host Controller not enabled'错误提示,进不到图形界面。
网上搜了一下,解决办法是在图形界面里进终端窗口,编辑blacklist.conf文件,禁止i2c_piix4驱动的加载。
但现在系统还没加载完,进不去终端窗口,如何处理呢?
解决办法如下(亲测可用):
在虚拟机上运行Linux内核版本为4.7或以上的系统都在安装过程中或在启动时会因为加载intel_powerclamp驱动而导致崩溃。
解决办法:
1.在启动Ubuntu的时候按住左Shift键;
2.Ubuntu开机时将显示GRUB启动选项;
3.接下来选择Ubuntu的高级选项(Advanced options for Ubuntu);
4.然后进入Ubuntu的恢复模式(Ubuntu,with Linux 4.7.x.x-generic (recovery mode));
5.在Recovery Menu中选择root进入root shell;
6.输入如下命令:
mount -o remount,rw /
7.打开blacklist.conf
vi /etc/modprobe.d/blacklist.conf
blacklist intel_powerclamp
9.重启
上面解决不了:
解决办法2:
piix4_smbus ****host smbus controller not enabled 解决方法: #root@Nagios ~# lsmod | grep i2c_piix4 i2c_piix4 12574 0 i2c_core 31274 1 i2c_piix4 #root@Nagios ~:vi /etc/modprobe.d/blacklist.conf blacklist i2c_piix4 #root@Nagios ~:reboot
安装完成之后: 会发现屏幕太小:
如何解决:
安装Vmare Tool:安装VMareTool
操作就不细说:因为我这已经安装了,如果没安装,会有安装VmareTool 提示:
安装搜狗输入法:搜狗输入法安装
1、如下
2. 等一会之后 ubuntu 界面上 会出现 Vmare 驱动器之类的 :Vmtool安装
要注意的问题是吧驱动器里面都tar.gz 赋值到桌面后解压
然后 运行 :
vmware-install.pl
进行安装。
就可以解决自适应本地屏幕大小都问题。
ubuntu 安装 hadoop
环境好了:ubuntu 安装hadoop:ubuntu安装hadoop
Jdk地址:JDK地址 我这里下载jdk 1.8 1.6 与1.8区别,有时间会总结
hadoop下载地址:hadoop下载 这里下载 2.7.3
根据上面的连接会安装成功:但是也有问题 hadoop shell 命令:hadoop shell 命令
正确应该是:
hdfs dfs -mkdir -p /user/hadoop
-p 前面少了 -mkdir
mkdir 是创建文件夹,如果你想看你创建都文件夹,进行如下操作:hdfs dfs -ls /user/ 这个注意 最后使用绝对路径, 否则或包车,no directory
eclipse 配置hadoop
eclipse 安装hadoop 插件并且配置连接hadoop:eclipse连接hadoop
如果你不想用ant 去编译 githup 上hadoop 源码的话:
需要几个文件:
hadoop- eclipse 插件:hadoop eclipse 插件
下载之后放到eclipse 下eclipse plugins 文件夹下
把下载的Hadoop 2.7.3 在 Windows上解压后,参照博客:hadoop配置eclipse
重启eclipse ,你的eclipse 出现map reduce 表示成功。
到 下载:
除了这个配置,还要讲hadoop.dll 放到 system32 下
配置eclipse:eclipse 配置
简明eclipse hadoop配置:简明hadoop配置
具体我就不说了:
给个demo吧:
看我的配置
其次:
core-site.xml 不用localhosy 用:
具体ip 从哪来 自己 ifconfig ,我这个就不细说了 考虑安全问题,我就不贴图了
eclispse中配置:
配置2:
上面hadoop.tmp.dir 中 和core-site.xml 配置一样
hdfs-site.xml 配置:
到此就结了,可能细化要分成好几篇才能写完,大致粗的描述下。