- Spark大数据商业实战三部曲:内核解密|商业案例|性能调优
- 王家林
- 128字
- 2021-03-30 21:56:02
第10章
Spark中Broadcast和Accumulator原理和源码详解
本章讲解Spark中Broadcast和Accumulator原理和源码。10.1节中讲解Spark中Broadcast原理和源码,Broadcast将数据从一个节点发送到其他节点上,一般用于处理共享配置文件、通用的Dataset、常用的数据结构等;10.2节对Spark中Accumulator原理和源码进行详解。Accumulator是分布式全局只写的数据结构,用于数据的累加。