Spark 常见问题小结

最新推荐文章于 2024-11-18 07:30:00 发布

原创最新推荐文章于 2024-11-18 07:30:00 发布 · 4k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark #性能优化 #大数据 #常见问题 #scala

spark 专栏收录该内容

41 篇文章

订阅专栏

本文总结了Spark使用中常见的问题，包括WARN TaskSchedulerImpl警告、应用未充分利用核心、Executor内存溢出、Shark Server元数据清理和类路径问题。针对这些问题，给出了配置调整建议，如设置spark.cores.max、调整executor内存、解决classpath冲突等。同时，讨论了Spark性能优化的三个关键点：sort-based shuffle、Netty网络模块和external shuffle service，这些优化显著提高了硬件资源的利用率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster uito ensure that workers are registered and have sufficient memory

当前的集群的可用资源不能满足应用程序所请求的资源。
资源分2类： cores 和 ram
Core代表对执行可用的executor slots
Ram代表每个Worker上被需要的空闲内存来运行你的Application。
解决方法：
应用不要请求多余空闲可用资源的

关闭掉已经执行结束的Application

2、Application isn’t using all of the Cores: How to set the Cores used by a Spark App

设置每个App所能获得的core
解决方法：

spark-env.sh里设置spark.deploy.defaultCores

或

spark.cores.max

3、Spark Executor OOM: How to set Memory Parameters on Spark

OOM是内存里堆的东西太多了
1、增加job的并行度，即增加job的partition数量，把大数据集切分成更小的数据，可以减少一次性load到内存中的数据量。InputFomart， getSplit来确定。

2、spark.storage.memoryFraction
管理executor中RDD和运行任务时的内存比例，如果shuffle比较小，只需要一点点shuffle memory，那么就调大这个比例。默认是0.6。不能比老年代还要大。大了就是浪费。

3、spark.executor.memory如果还是不行，那么就要加Executor的内存了，改完executor内存后，这个需要重启。

4、Shark Server/ Long Running Application Metadata Cleanup

Spark程序的元数据是会往内存中无限存储的。spark.cleaner.ttl来防止OOM，主要出现在Spark Steaming和Shark Server里。

export SPARK_JAVA_OPTS +="-Dspark.kryoserializer.buffer.mb=10 -Dspark.cleaner.ttl=43200"

5、Class Not Found: Classpath Issues

问题1、缺少jar，不在classpath里。
问题2、jar包冲突，同一个jar不同版本。

解决1：
将所有依赖jar都打入到一个fatJar包里，然后手动设置依赖到指定每台机器的DIR。
val conf = new SparkConf().setAppName(appName).setJars(Seq(System.getProperty("user.dir") + "/target/scala-2.10/sparktest.jar"))

解决2：

把所需要的依赖jar包都放到default classpath里，分发到各个worker node上。