在Ubuntu上搭建hadoop和spark集群,1台master(namenode),3台slave(datanode)
1. 安装Java
来自CODE的代码片
java.env
2. 安装scala
来自CODE的代码片
spark.env
3. 安装hadoop
来自CODE的代码片
hadoop.env
4. 安装spark
Spark runs on Java 6+,Python 2.6+ and R 3.1+. For the Scala API,Spark 1.4.1 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).
来自CODE的代码片
spark.env
5. 添加环境路径
1 2 3 4 5 6 7 8 9 10 11 12 13 |
|
来自CODE的代码片
profile
6. 创建hadoop用户,从master发布到slave
1 2 3 4 5 6 7 8 9 10 11 12 |
|
来自CODE的代码片
deploy
7. 配置hadoop
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 @L_403_82@ 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 |
</configuration>
<!-- /usr/local/hadoop/etc/hadoop/hadoop-env.sh -->
# The java implementation to use.
export JAVA_HOME=/usr/local/java/jdk1.7.0_79
|
来自CODE的代码片
hadoop
8. 配置spark
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
|