Spark核心-RDD

发布网友发布时间：2022-10-02 04:47

共1个回答

热心网友时间：2024-03-13 20:08

RDD是Spark中的数据抽象，全称弹性分布式数据集（Resilient Distributed Datasets）。RDD可以理解为将一个大的数据集合以分布式的形式保存在集群服务器的内存中。RDD是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。

RDD是Spark的核心，也是整个Spark的架构基础。

RDD的特点：

RDD的5个主要属性：

可以通过两种方式创建RDD：

转换操作指的是在原RDD实例上进行计算，然后创建一个新的RDD实例。

RDD中的所有的转换操作都是惰性的，在执行RDD的转换操作的时候，并不会直接计算结果，而是记住这些应用到基础数据集上的转换动作，只有行动操作时，这些转换才会真正的去执行。这样设计的好处是更加有效率的运行。

行动操作指的是向驱动器程序返回结果或把结果写入外部系统的操作。

Spark在调用RDD的行动操作的时候，会触发Spark中的连锁反应。当调用的行动操作的时候，Spark会尝试创建作为调用者的RDD。如果这个RDD是从文件中创建的，那么Spark会在worker节点上读取文件至内存中。如果这个RDD是通过其他RDD的转换得到的，Spark会尝试创建其父RDD。这个过程会一直持续下去，直到Spark找到根RDD。然后Spark就会真正执行这些生成RDD所必须的转换计算。最后完成行动操作，将结果返回给驱动程序或者写入外部存储。

Spark速度非常快的原因之一，就是在不同操作中在内存中持久化一个数据集。当持久化一个RDD后，每一个节点都将把计算的分片结果保存在内存中，并在对此数据集进行的其他动作中重用。这使得后续的动作变得更加迅速。缓存是Spark构建迭代算法和快速交互式查询的关键。所以我们在开发过程中，对经常使用的RDD要进行缓存操作，以提升程序运行效率。

RDD缓存的方法

RDD类提供了两种缓存方法：

cache方法其实是将RDD存储在集群中Worker的内存中。

persist是一个通用的cache方法。它可以将RDD存储在内存中或硬盘上或者二者皆有。

缓存的容错

缓存是有可能丢失（如机器宕机），或者存储于内存的数据由于内存不足而被删除。RDD的缓存的容错机制保证了即使缓存丢失也能保证计算的正确执行。通过基于RDD的一系列的转换，丢失的数据会被重新计算。因为RDD的各个Partition是相对独立的，所以在重新计算的时候只需要计算丢失部分Partition即可，不需要重新计算全部的Partition。因此，在一个缓存RDD的节点出现故障的时候，Spark会在另外的节点上自动重新创建出现故障的节点中存储的分区。

RDD的缓存能够在第一次计算完成后，将计算结果保存到内存、本地文件系统或者Tachyon中。通过缓存，Spark避免了RDD上的重复计算，能够极大地提升计算速度。但是，如果缓存丢失了，则需要重新计算。如果计算特别复杂或者计算特别耗时，那么缓存丢失对于整个Job的影响是不容忽视的。为了避免缓存丢失重新计算带来的开销，所以Spark引入了检查点（checkpoint）机制。

缓存是在计算结束后，直接将计算结果通过用户定义的存储级别写入不同的介质。而检查点不同，它是在计算完成后，重新建立一个Job来计算。所以为了避免重复计算，推荐先将RDD缓存，这样在进行检查点操作时就可以快速完成。

Spark会根据用户提交的计算逻辑中的RDD的转换和动作来生动RDD之间的依赖关系，同时这个计算链也就生成了逻辑上的DAG。

RDD之间的依赖关系包括：

Spark中的依赖关系主要体现为两种形式：