【SPARK】浅谈Spark数据读取并行度获取及数据分区存储

最新推荐文章于 2023-02-23 14:12:43 发布

SmallScorpion

最新推荐文章于 2023-02-23 14:12:43 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

分类专栏：温故而知新文章标签： spark scala big data

本文链接：https://blog.csdn.net/qq_40180229/article/details/122945565

本文深入探讨了Spark如何获取数据读取的并行度，并详细阐述了Spark在大数据处理中如何进行数据分区存储，帮助优化性能和资源利用。通过对Spark配置的分析，揭示了调整并行度和分区策略对于提升处理效率的重要性。

package com.bigdata.spark.core.rdd.builder

import org.apache.spark.rdd.RDD
import org.apache.spark.{
   
   SparkConf, SparkContext}


/**
 * 并行度 & 分区
 */
object Parallelize {
   
   

  def main(args: Array[String]): Unit = {
   
   

    // TODO 环境准备
    val conf