sparksql优化的奇技淫巧（一次惊掉下巴的优化）

本文系统介绍了Spark SQL优化技巧，涵盖资源配置、内存管理、SQL查询优化、数据存储、执行计划分析、缓存策略等核心内容。重点包括：资源配置参数调优，SQL优化如分区裁剪、谓词下推和广播Join，高效的Parquet/Delta存储格式选择，数据倾斜解决方案，以及动态资源分配和AQE等高级特性。通过合理配置参数、优化查询逻辑和存储方案，结合执行计划分析与监控工具，可显著提升Spark作业性能。文末的优化案例展示了如何将多种技巧结合应用，实现查询性能15倍的提升。

用于设置Shuffle过程中的分区数量。：用于设置自动广播Join操作的阈值，超过该阈值的大表将不会被广播到所有的Executor节点。：用于设置是否启用排序合并连接算法，默认为true。：用于启用或禁用SparkSQL的优化器，默认为false。：用于设置是否启用堆外内存存储列式数据，默认为false。

1 任务拆解 1) 原始查询sql(多个etype, 多个dt查询, 数据量过大查询不出来) select dt, etype, count(distinct gazj) from table_name where dt between '20201101' and '20210228' and etype in ('10410007','10410008','10410009') and get_json_object(eparam,...

缓存数据 可以将df或ds进行缓存(cache方法persist方法) 默认存储级别memory_and_disk 参数调优 可以通过配置下表中的参数调节Spark SQL的性能。 Property Name Default Meaning spark.sql.files.maxPartitionBytes 134217728 (128 MB) 获取数据到分区中的最大字节数。 spark.sql.files.openCostInBytes 4194304 (4 MB) 该参数默认4M，表

当然，Spark性能调优有很多配置，这里我们只介绍简单可以快速解决问题的。首先，很多时候较好的代码可以避免90%的问题，那么这就需完整对Spark体系的认知。然而，很多时候Spark执行失败，对于些这些急需解决的失败问题的处理，就没有那么多时间进行系统化的学习。那么就可以快速参考这篇文件，对出现的场景进行匹配并尝试优化。对于Spark执行较慢的任务来说，我们首先应该明白，Spark的性能杀手主要在Shuffle和Join。

Spark SQL之SQL优化 主要关注于执行性能问题 1、避免使用不必要的UDF函数 UDF：用户定义函数，可以直接在SQL语句中计算的函数，如：count、sum、avg、max、min等 2、没有指定数据分区 SQL-1: SELECT date FROM test_table WHERE date = '20170829' and value = 1; SQL-2: SELECT date FROM test_table PARTITION(p_20170829) p WHERE value = 1

一、在内存中缓存数据 性能调优主要是将数据放入内存中操作。通过spark.cacheTable("tableName")或者dataFrame.cache()。使用spark.uncacheTable(“tableName”)来从内存中去除table。 举例： （1）从Oracle数据库中读取数据，生成DataFrame val oracleDF = spark.read.format("jdbc") .option("url","jdbc:oracle:thin:@192.168.88.101:1521/

最近在学习spark时，觉得Spark SQL性能调优比较重要，所以自己写下来便于更过的博友查看，同时也希望大家给我指出我的问题和不足 在spark中，Spark SQL性能调优只要是通过下面的一些选项进行优化的： 1 spark.sql.codegen 默认值为false，当它设置为true时，Spark SQL会把每条查询的语句在运行时编译为java的二进制代码。这有什么作用呢？它可以提高

spark.sql.parquet.compressed.codec 默认值为snappy 这个参数代表使用哪种压缩编码器。可选的选项包括uncompressed/snappy/gzip/lzo。众所周知，正确的参数配置对提升Spark的使用效率具有极大助力，帮助相关数据开发、分析人员更高效地使用Spark进行离线批处理和SQL报表分析等作业。uncompressed这个顾名思义就是不用压缩的意思。

在这个举国同庆的时刻，我们首先献上对祖国的祝福：第二，祝福我们国家未来的路越走越宽广，科技更发达，人民更幸福第三，我们会紧紧跟随您的脚步，一起为美好的未来奋斗。

spark 3.0 新特性

SparkSQL性能优化 1、设置shuffle过程中的并行度,可以通过spark.sql.shuffle.partitions设置shuffle并行度。（在SQLContext.setConf（）中设置）。 2、Hive数据仓库创建的时候，合理设置数据类型，比如设置成Int的就不需要设置成BIGINT，减少数据类型的不必要开销。 3、SQL语句的优化，尽量给出明确的列，比如select n