vmare Ubuntu 下Hadoop 开发环境搭建eclipse win10 远程连接 安装与问题处理

前端之家收集整理的这篇文章主要介绍了vmare Ubuntu 下Hadoop 开发环境搭建eclipse win10 远程连接 安装与问题处理前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

vmare Ubuntu 下Hadoop 开发环境搭建eclipse win10 远程连接

搭建和费劲,这里先踩踩坑,以后也少遇到些问题,搭建也顺利,有兴趣的, 需谨慎

最近要上Hadoop 了,这里稍微总结下 hadoop 开发环境,因为不是边操作,边写博客,可能没那么细,之后有机会搭建,会重新补全,

但是这里会列出安装过程中遇到都问题与解决方

vmare ubuntu 安装

1、安装vmare:

这个给出网址:请参照:Vmare安装

注意 注册码:1F04Z-6D111-7Z029-AV0Q4-3AEH8/

可能遇到问题:


解决办法:

关掉防火墙 一类安全软件


2、下载ubuntu:ubuntu下载

3、vmare 下安装ubuntu :

给出网址:Vmare下安装ubuntu

没啥说都,重点说是可能遇到的问题:

问题:

在Vmware里安装完Ubuntu16.10,启动时出现'SMBus Host Controller not enabled'错误提示,进不到图形界面。
网上搜了一下,解决办法是在图形界面里进终端窗口,编辑blacklist.conf文件禁止i2c_piix4驱动的加载。
但现在系统还没加载完,进不去终端窗口,如何处理呢?

解决办法如下(亲测可用):

在虚拟机上运行Linux内核版本为4.7或以上的系统都在安装过程中或在启动时会因为加载intel_powerclamp驱动而导致崩溃。
解决办法:
1.在启动Ubuntu的时候按住左Shift键;
2.Ubuntu开机时将显示GRUB启动选项;
3.接下来选择Ubuntu的高级选项(Advanced options for Ubuntu);
4.然后进入Ubuntu的恢复模式(Ubuntu,with Linux 4.7.x.x-generic (recovery mode));
5.在Recovery Menu中选择root进入root shell;
6.输入如下命令:

代码:
mount -o remount,rw /

7.打开blacklist.conf

代码:
  vi /etc/modprobe.d/blacklist.conf


8.在文件最后添加一行

代码:
blacklist intel_powerclamp


9.重启

代码:
reboot


上面解决不了:

解决办法2:

piix4_smbus ****host smbus controller not enabled
解决方法:
#root@Nagios ~# lsmod | grep i2c_piix4  
 i2c_piix4              12574  0  
 i2c_core               31274  1 i2c_piix4  
 
#root@Nagios ~:vi  /etc/modprobe.d/blacklist.conf 
 blacklist i2c_piix4  
 
#root@Nagios ~:reboot

安装完成之后: 会发现屏幕太小:

如何解决

安装Vmare Tool:安装VMareTool

操作就不细说:因为我这已经安装了,如果没安装,会有安装VmareTool 提示

安装搜狗输入法:搜狗输入法安装

1、如下



2. 等一会之后 ubuntu 界面上 会出现 Vmare 驱动器之类的 :Vmtool安装

要注意的问题是吧驱动器里面都tar.gz 赋值到桌面后解压

然后 运行 :

vmware-install.pl

进行安装。



就可以解决自适应本地屏幕大小都问题。

ubuntu 安装 hadoop

环境好了:ubuntu 安装hadoop:ubuntu安装hadoop

Jdk地址:JDK地址 我这里下载jdk 1.8 1.6 与1.8区别,有时间会总结

hadoop下载地址:hadoop下载 这里下载 2.7.3


根据上面的连接会安装成功:但是也有问题 hadoop shell 命令:hadoop shell 命令


正确应该是:

hdfs dfs -mkdir -p /user/hadoop

-p 前面少了 -mkdir

mkdir 是创建文件夹,如果你想看你创建都文件夹,进行如下操作:hdfs dfs -ls /user/ 这个注意 最后使用绝对路径, 否则或包车,no directory



eclipse 配置hadoop

eclipse 安装hadoop 插件并且配置连接hadoop:eclipse连接hadoop

如果你不想用ant 去编译 githup 上hadoop 源码的话:

需要几个文件

hadoop- eclipse 插件hadoop eclipse 插件

下载之后放到eclipse 下eclipse plugins 文件夹下


把下载的Hadoop 2.7.3 在 Windows上解压后,参照博客hadoop配置eclipse

重启eclipse ,你的eclipse 出现map reduce 表示成功。


到 下载:

具体操作,见博客dll文件放置

除了这个配置,还要讲hadoop.dll 放到 system32 下

配置eclipse:eclipse 配置

简明eclipse hadoop配置:简明hadoop配置

具体我就不说了:

给个demo吧:

看我的配置

其次:

core-site.xml 不用localhosy 用:



具体ip 从哪来 自己 ifconfig ,我这个就不细说了 考虑安全问题,我就不贴图了


eclispse中配置:


配置2:



上面hadoop.tmp.dir 中 和core-site.xml 配置一样

hdfs-site.xml 配置:





到此就结了,可能细化要分成好几篇才能写完,大致粗的描述下。

猜你在找的Ubuntu相关文章