centOS下spark的安装部署

前端之家收集整理的这篇文章主要介绍了centOS下spark的安装部署前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。
Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载
Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

spark安装部署步骤如下:
1、从官网下载:http://spark.apache.org/downloads.html
我下载的是 spark-2.1.0.tar
2、解压到文件夹:tar xvf spark-2.1.0.tar
3、进入sudo vim /etc/profile在下面添加路径:

SPARK_HOME=/home/fmm/spark/spark-2.1.0
PATH=$PATH:${SPARK_HOME}/bin

这里fmm是我自己建的文件夹,spark-2.1.0 为解压后的文件夹。

4、source /etc/profile 使配置生效
5、命令行 输入 : spark-shell 测试(可在安装目录中bin里面找到)

6、进入bin目录,输入./run-example SparkPi 10(迭代次数) 计算π的值

7、5和6步 都运行成功的话,说明你已经成功安装部署了spark。

猜你在找的CentOS相关文章