vmare Ubuntu 下Hadoop 开发环境搭建eclipse win10 远程连接安装与问题处理

vmare Ubuntu 下Hadoop 开发环境搭建eclipse win10 远程连接

搭建和费劲，这里先踩踩坑，以后也少遇到些问题，搭建也顺利，有兴趣的，需谨慎@H_301_3@

最近要上Hadoop 了，这里稍微总结下 hadoop 开发环境，因为不是边操作，边写博客，可能没那么细，之后有机会搭建，会重新补全，@H_301_3@

但是这里会列出安装过程中遇到都问题与解决方案@H_301_3@

vmare ubuntu 安装

1、安装vmare：@H_301_3@

这个给出网址：请参照：Vmare安装@H_301_3@

注意注册码：1F04Z-6D111-7Z029-AV0Q4-3AEH8/@H_301_3@

可能遇到问题：@H_301_3@

@H_301_3@

解决办法：@H_301_3@

@H_301_3@

关掉防火墙一类安全软件@H_301_3@

2、下载ubuntu：ubuntu下载@H_301_3@

3、vmare 下安装ubuntu :@H_301_3@

给出网址：Vmare下安装ubuntu@H_301_3@

没啥说都，重点说是可能遇到的问题：@H_301_3@

问题：@H_301_3@

在Vmware里安装完Ubuntu16.10，启动时出现'SMBus Host Controller not enabled'错误提示，进不到图形界面。
网上搜了一下，解决办法是在图形界面里进终端窗口，编辑blacklist.conf文件，禁止i2c_piix4驱动的加载。
但现在系统还没加载完，进不去终端窗口，如何处理呢？@H_301_3@

解决办法如下（亲测可用）：@H_301_3@

在虚拟机上运行Linux内核版本为4.7或以上的系统都在安装过程中或在启动时会因为加载intel_powerclamp驱动而导致崩溃。
解决办法：
1.在启动Ubuntu的时候按住左Shift键；
2.Ubuntu开机时将显示GRUB启动选项；
3.接下来选择Ubuntu的高级选项（Advanced options for Ubuntu）；
4.然后进入Ubuntu的恢复模式（Ubuntu,with Linux 4.7.x.x-generic (recovery mode)）；
5.在Recovery Menu中选择root进入root shell；
6.输入如下命令：@H_301_3@

代码:

mount -o remount,rw /

7.打开blacklist.conf@H_301_3@

代码:

  vi /etc/modprobe.d/blacklist.conf

8.在文件最后添加一行@H_301_3@

代码:

blacklist intel_powerclamp

9.重启@H_301_3@

代码:

reboot

上面解决不了：@H_301_3@

解决办法2：@H_301_3@

@H_301_3@

piix4_smbus ****host smbus controller not enabled
解决方法：
#root@Nagios ~# lsmod | grep i2c_piix4  
 i2c_piix4              12574  0  
 i2c_core               31274  1 i2c_piix4  
 
#root@Nagios ~:vi  /etc/modprobe.d/blacklist.conf 
 blacklist i2c_piix4  
 
#root@Nagios ~:reboot

安装完成之后：会发现屏幕太小：

如何解决：@H_301_3@

安装Vmare Tool:安装VMareTool@H_301_3@

操作就不细说：因为我这已经安装了，如果没安装，会有安装VmareTool 提示：@H_301_3@

安装搜狗输入法：搜狗输入法安装@H_301_3@

1、如下@H_301_3@

@H_301_3@

2. 等一会之后 ubuntu 界面上会出现 Vmare 驱动器之类的：Vmtool安装@H_301_3@

要注意的问题是吧驱动器里面都tar.gz 赋值到桌面后解压@H_301_3@

然后运行：@H_301_3@

vmware-install.pl

进行安装。@H_301_3@

@H_301_3@

就可以解决自适应本地屏幕大小都问题。@H_301_3@

ubuntu 安装 hadoop

环境好了：ubuntu 安装hadoop:ubuntu安装hadoop@H_301_3@

Jdk地址：JDK地址我这里下载jdk 1.8 1.6 与1.8区别，有时间会总结@H_301_3@

hadoop下载地址：hadoop下载这里下载 2.7.3@H_301_3@

@H_301_3@

根据上面的连接会安装成功：但是也有问题 hadoop shell 命令：hadoop shell 命令@H_301_3@

@H_301_3@

正确应该是：@H_301_3@

hdfs dfs -mkdir -p /user/hadoop

-p 前面少了 -mkdir@H_301_3@

mkdir 是创建文件夹，如果你想看你创建都文件夹，进行如下操作：hdfs dfs -ls /user/ 这个注意最后使用绝对路径，否则或包车，no directory@H_301_3@

@H_301_3@

eclipse 配置hadoop

eclipse 安装hadoop 插件并且配置连接hadoop:eclipse连接hadoop@H_301_3@

如果你不想用ant 去编译 githup 上hadoop 源码的话：@H_301_3@

需要几个文件：@H_301_3@

hadoop- eclipse 插件：hadoop eclipse 插件@H_301_3@

下载之后放到eclipse 下eclipse plugins 文件夹下@H_301_3@

@H_301_3@

把下载的Hadoop 2.7.3 在 Windows上解压后，参照博客：hadoop配置eclipse@H_301_3@

重启eclipse ，你的eclipse 出现map reduce 表示成功。@H_301_3@

@H_301_3@

到下载：@H_301_3@

具体操作，见博客：dll文件放置@H_301_3@

除了这个配置，还要讲hadoop.dll 放到 system32 下@H_301_3@

配置eclipse:eclipse 配置@H_301_3@

简明eclipse hadoop配置：简明hadoop配置@H_301_3@

具体我就不说了：@H_301_3@

给个demo吧：@H_301_3@

看我的配置@H_301_3@

@H_301_3@

其次：@H_301_3@

core-site.xml 不用localhosy 用：@H_301_3@

@H_301_3@

具体ip 从哪来自己 ifconfig ，我这个就不细说了考虑安全问题，我就不贴图了@H_301_3@

@H_301_3@

eclispse中配置：@H_301_3@

@H_301_3@

配置2：@H_301_3@

@H_301_3@

上面hadoop.tmp.dir 中和core-site.xml 配置一样@H_301_3@

hdfs-site.xml 配置：@H_301_3@

@H_301_3@

到此就结了，可能细化要分成好几篇才能写完，大致粗的描述下。@H_301_3@ 原文链接：https://www.f2er.com/ubuntu/354064.html

vmare Ubuntu 下Hadoop 开发环境搭建eclipse win10 远程连接 安装与问题处理