Spark | 性能调优原理与步骤 | 案例讲解

最新推荐文章于 2024-10-01 22:17:33 发布
最新推荐文章于 2024-10-01 22:17:33 发布
阅读量617 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： # Spark 文章标签： spark 大数据 pyspark 分布式 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43646592/article/details/131542860
本文深入探讨Spark性能调优，包括理解任务计算总时间、shuffle总时间和GC时间，以及如何通过资源配置、缓存利用、数据倾斜处理、broadcast优化和reduceByKey替换groupByKey等策略进行优化。此外，还介绍了Spark任务UI监控，帮助理解任务执行情况。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

🔥 跟着梁哥打卡一波spark的性能调优～

文章目录

1、Spark调优原理与步骤

在这里插入图片描述
🔥 如果程序执行太慢，调优的顺序一般如下：

  • 1、首先调整任务并行度，并调整partition分区。

  • 2、尝试定位可能的重复计算，并优化之。

  • 3、尝试定位数据倾斜问题或者计算倾斜问题并优化之。

  • 4、如果shuffle过程提示堆外内存不足，考虑调高堆外内存。

  • 5、如果发生OOM或者GC耗时过长，考虑提高executor-memory或降低executor-core。

🔥以下是对上述公式中涉及到的一些概念的初步解读，建议可以初步过一眼，直接跳到调优案例部分看代码，遇到不会的概念再回头看这里。

任务计算总时间： 假设由一台无限内存的同等CPU配置的单核机器执行该任务，所需要的运行时间。通过缓存避免重复计算，通过mapPartitions代替map以减少诸如连接数据库，预处理广播变量等重复过程，都是减少任务计算总时间的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据处理中的并行计算：原理与性能调优
AI天才研究院
04-27 1024
在当今数字化时代，数据以惊人的速度增长，传统的串行计算方式在处理大规模数据时面临着效率低下、处理时间过长等问题。大数据处理中的并行计算旨在通过将任务分解为多个子任务，同时在多个处理器或计算节点上执行，从而显著提高数据处理的速度和效率。本文的范围涵盖了并行计算的基本原理、核心算法、性能调优方法，以及在实际项目中的应用和相关资源推荐。本文将按照以下结构进行组织：首先介绍并行计算的背景和相关术语，为后续内容奠定基础；接着阐述并行计算的核心概念与联系，让读者对并行计算有一个清晰的认识；
告别数据泥潭：PySpark性能调优的黄金法则
码趣阿佑
05-12 2060
在大数据的世界里，性能调优就像是寻找宝藏的地图！本文揭示了使用PySpark进行性能调优的黄金法则，从内存管理到执行计划，再到并行度设置，每一步都是提升数据处理速度的关键。通过生动的比喻和实际代码示例，我们将带你走出数据泥潭，让你的数据处理速度飞跃提升，成为性能调优的大师。
PySpark——性能调优
qq_52421831的博客
10-20 1869
PySpark——性能调优
pyspark系列9-Spark性能调优概述
只是甲的博客
05-11 4945
文章目录一.Spark 性能优化概述二.运行环境优化2.1 数据本地性2.2 数据存储格式三.RDD算子优化3.1 尽可能复用同一个RDD3.2 对多次使用的RDD进行持久化四.参数微调五.数据倾斜参考: 一.Spark 性能优化概述 首先笔者能力优先，使用Spark有一段时间，如下是笔者的工作经验的总结。 Spark任务运行图: Spark的优化思路: 一般是从3个层面进行Spark程序的优化: 运行环境优化 RDD算子优化 参数微调 二.运行环境优化 2.1 数据本地性 我们知道HDFS的数据文件
Spark 性能调优
weixin_43520450的博客
05-17 1327
Spark 性能优化概览： 由于Spark 的计算本质是分布式计算。 Spark程序的性能可能因为集群中的任何因素出现瓶颈：CPU，网络带宽、内存。 如果内存比较紧张，不足以放下所有数据，需要对内存的使用进行性能优化。 比如说：使用一些手段来减少内存消耗。 park的性能优化，其实主要就是在对于内存的使用进行调优。 Spark 性能优化的主要手段： 1、使用高性能的序列化类库 2、优化数据结构 3、RDD持久化、checkpoint 4、使用序列化的持久化级别：MEMORY_ONLY不序列化，MEMORY
pyspark小白：尝试性能优化一点心得
weixin_41814051的博客
07-20 1194
前言： 本人之前情况是有python编程基础，但对大数据分布式的掌握限于皮毛的理论知识。借着任务驱动，历时两周空闲时间，先后学习了1.spark（pyhon版）之RDD编程，SparkSql，SparkMl；2.了解spark运行的基本底层原理，在写代码时对spark性能优化的一些手段。其实很浅，把自己一些tips整理出来，希望能帮助到同样开始入门的小白白。 业务场景： 业务上希望能找到文不对题的CP（昵称简介与本人生产视频不符，会给消费者先入为主带来一些主观上的意外感的CP）。一个指标是计算视频TA
Spark性能调优（原理篇）
qq_43303296的博客
01-21 1021
2020年6月，Spark正式发布了新版本，从2.4直接跨越到了3.0。这次大版本升级的亮点就在于性能优化，它添加了诸如自适应查询执行（AQE）、动态分区裁剪（DPP）、扩展的Join Hints等特性。**Spark已经成为了各大头部互联网公司的标配，在海量数据处理上，扮演着不可获取的关键角色。**比如，字节跳动基于Spark构建的数据仓库去服务几乎所有的产品线，包括抖音、今日头条、西瓜视频、火山视频等。再比如，百度基于Spark推出BigSQL，为海量用户提供次秒级的即席查询。可以预见的是，
【Spark深入学习 -14】Spark应用经验与程序调优
2401_84166376的博客
04-28 843
机器硬件（如磁盘的选择，SATA盘还是SAS盘，磁盘RAID方式等）、网络（千兆网卡还是万兆网卡，网络峰值期间的带宽、吞吐、网络延迟、网络抖动，很多时候网络问题导致各种莫名问题，举个真实的例子，公司网线被老鼠咬了，导致网络时而可以，时而不行，鬼知道是什么问题，让人抓狂）、操作系统（操作系统的稳定性，内核版本的选择，非常重要，还有一些配置策略得和hadoop生态吻合）。可以看出来，一共有2个stage，1个stage包含8个task，一个包含2个task，先跑8个的，再跑2个的，一个14秒，一个0.1秒。
Spark3.0新特性与性能调优详解教程
根据提供的文件信息，我们可以生成一系列关于大数据与Apache Spark 3.0入门及进阶知识点的详细介绍，以便读者更深入地理解Apache Spark在大数据处理中的应用。 **Apache Spark 3.0概述** Apache Spark是一个开源的...
【pyspark速成专家】11_Spark性能调优方法2
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
05-28 1481
Spark任务启动后，可以在浏览器中输入进入到spark web UI 监控界面。该界面中可以从多个维度以直观的方式非常细粒度地查看Spark任务的执行情况，包括任务进度，耗时分析，存储分析，shuffle数据量大小等。最常查看的页面是 Stages页面和Excutors页面。Jobs： 每一个Action操作对应一个Job，以Job粒度显示Application进度。有时间轴Timeline。： Job在遇到shuffle切开Stage，显示每个Stage进度，以及shuffle数据量。
sparksql性能调优
05-06
Spark的设计架构并不是为了高并发请求而设计的，我们尝试在网络条件不好的集群下，进行100并发的查询，在压测3天后发现了内存泄露。 在进行大量小SQL的压测过程中发现，有大量的activejob在spark ui上一直处于pending状态，且永远不结束
Spark SQL性能优化
weixin_43520450的博客
05-13 1321
一、在内存中缓存数据 性能调优主要是将数据放入内存中操作。通过spark.cacheTable("tableName")或者dataFrame.cache()。使用spark.uncacheTable(“tableName”)来从内存中去除table。 举例： （1）从Oracle数据库中读取数据，生成DataFrame val oracleDF = spark.read.format("jdbc") .option("url","jdbc:oracle:thin:@192.168.88.101:1521/
Spark SQL之性能优化
Thomson617的博客
02-22 650
对于某些工作负载，可以通过在内存中缓存数据或打开一些实验性选项来提高性能。 在内存中缓存数据 Spark SQL可以通过调用Spark .catalog. cachetable(“tableName”)或dataFrame.cache()来使用内存中的柱状格式缓存表。然后Spark SQL将只扫描所需的列，并自动调优压缩，以最小化内存使用和GC压力。可以调用spark.catalog. unach...
SparkSQL性能优化
weixin_44455388的博客
09-17 3782
一、代码层面的优化 使用高性能算子 使用reduceByKey/aggregateByKey替代groupByKey。 使用mapPartitions替代普通map。 mapPartitions类的算子，一次函数调用会处理一个partition所有的数据，而不是一次函数调用处理一条，性能相对来说会高一些。但是有的时候，使用mapPartitions会出现OOM（内存溢出）的问题。因为单次函数调...
spark-sql性能优化
qq_28286027的博客
03-08 323
SparkSQL-性能调优
最新发布
lu070828的博客
10-01 2042
在这个举国同庆的时刻，我们首先献上对祖国的祝福：第二，祝福我们国家未来的路越走越宽广，科技更发达，人民更幸福第三，我们会紧紧跟随您的脚步，一起为美好的未来奋斗。
Spark_SQL性能调优
CarveStone的博客
01-31 1211
spark.sql.parquet.compressed.codec 默认值为snappy 这个参数代表使用哪种压缩编码器。可选的选项包括uncompressed/snappy/gzip/lzo。众所周知，正确的参数配置对提升Spark的使用效率具有极大助力，帮助相关数据开发、分析人员更高效地使用Spark进行离线批处理和SQL报表分析等作业。uncompressed这个顾名思义就是不用压缩的意思。
Spark之【性能调优】
xiayuhaisong的博客
02-27 2049
task在运行地时候，想要使用广播变量中地数据，此时首先会在自己本地的Executor对应的BlackManager中尝试获取变量，如果本地没有，BlockManager就会从Driver或者其他节点的BlockManager上远程拉取变量的副本，并由本地的BlockManager进行管理，之后此Executor的所有task都会直接从本地的BlockManager中获取变量。默认情况下，task中地算子如果使用了外部地变量，每个task都会获取一份变量地副本，这就造成了内存极大地消耗。
pyspark性能调优参数
kyle1314608的博客
09-01 2140
一.指定spark executor 数量的公式 executor 数量 = spark.cores.max/spark.executor.cores spark.cores.max 是指你的spark程序需要的总核数 spark.executor.cores 是指每个executor需要的核数 二.指定并行的task数量 spark.default.parallelism 参数说明：该参数用于设置每个stage的默认task数量。这个参数极为重要，如果不设置可能会直接影响你的Spark作业性能。 参数调优
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

#苦行僧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值