Spark提交的方式是什么

本篇内容主要讲解“Spark提交的方式是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Spark提交的方式是什么”吧!

1、Spark是什么?

    ○ 高可伸缩性

    ○ 高容错

    ○ 基于内存计算

2、Spark的生态体系(BDAS,中文:伯利克分析栈)

    ○ MapReduce属于Hadoop生态体系之一,Spark则属于BDAS生态体系之一

    ○ Hadoop包含了MapReduce、HDFS、HBase、Hive、Zookeeper、Pig、Sqoop等

    ○ BDAS包含了Spark、Shark(相当于Hive)、BlinkDB、Spark Streaming(消息实时处理框架,类似Storm)等等

    ○ BDAS生态体系图:

    

3、Spark与MapReduce

    优势:

    ○ MapReduce通常将中间结果放到HDFS上,Spark是基于内存并行大数据框架,中间结果存放到内存,对于迭代数据Spark效率高。

    ○ MapReduce总是消耗大量时间排序,而有些场景不需要排序,Spark可以避免不必要的排序所带来的开销

    ○ Spark是一张有向无环图(从一个点出发最终无法回到该点的一个拓扑),并对其进行优化。

4、Spark支持的API

    Scala、Python、Java等

5、运行模式

    ○ Local (用于测试、开发)

    ○ Standlone (独立集群模式)

    ○ Spark on Yarn (Spark在Yarn上)

    ○ Spark on Mesos (Spark在Mesos)

6、运行时的Spark

    Driver程序启动多个Worker,Worker从文件系统加载数据并产生RDD(即数据放到RDD中,RDD是一个数据结构),并按照不同分区Cache到内存中。如图:

    

8、容错Lineage

    8.1、容错基本概念

        ○ 每个RDD都会记录自己所依赖的父RDD,一旦出现某个RDD的某些partition丢失,可以通过并行计算迅速恢复

    8.2、Narrow Dependent(窄依赖)和Wide Dependent(宽依赖)

        ○ RDD的依赖又分为Narrow Dependent(窄依赖)和Wide Dependent(宽依赖)

        ○ 窄依赖:每个partition最多只能给一个RDD使用,由于没有多重依赖,所以在一个节点上可以一次性将partition处理完,且一旦数据发生丢失或者损坏可以迅速从上一个RDD恢复

        ○ 宽依赖:每个partition可以给多个RDD使用,由于多重依赖,只有等到所有到达节点的数据处理完毕才能进行下一步处理,一旦发生数据丢失或者损坏,则完蛋了,所以在这发生之前必须将上一次所有节点的数据进行物化(存储到磁盘上)处理,这样达到恢复。

        ○ 宽、窄依赖示例图:

        

9、缓存策略

    Spark通过useDisk、useMemory、deserialized、replication4个参数组成11种缓存策略。

    useDisk:使用磁盘缓存(boolean )

    useMemory:使用内存缓存(boolean)

    deserialized:反序列化(序列化是为了网络将对象进行传输,boolean:true反序列化\\false序列化)

    replication:副本数量(int)

    通过StorageLevel类的构造传参的方式进行控制,结构如下:

    class StorageLevel private(useDisk : Boolean ,useMemory : Boolean ,deserialized : Boolean ,replication:Ini)

10、提交的方式

    ○ spark-submit(官方推荐)

    ○ sbt run

    ○ java -jar

    提交时可以指定各种参数

 ./bin/spark-submit    
--class <main-class>   
--master <master-url> 
--deploy-mode <deploy-mode> 
--conf <key>=<value> 
... # other options
<application-jar> 
[application-arguments]

例如:

到此,相信大家对“Spark提交的方式是什么”有了更深的了解,不妨来实际操作一番吧!这里是云搜网网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!