spark启动历史服务配置时报错java.net.ConnectException: Connection refused； For more details see: http://wiki.ap

999yz

于 2021-08-25 15:44:54 发布

阅读量2.7k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：大数据Hadoop生态圈文章标签： spark big data hadoop

本文链接：https://blog.csdn.net/qq_40666270/article/details/119912431

大数据Hadoop生态圈专栏收录该内容

3 篇文章

订阅专栏

博客讲述了在启动Spark历史服务时遇到的问题，即HDFS端口与Spark配置中的端口不一致导致的ConnectionRefused错误。解决方案是确保Spark配置与Hadoop核心配置中的HDFS端口保持一致，可以通过修改Spark的spark-defaults.conf和spark-env.sh文件或将Hadoop的core-site.xml中端口改为相同来解决。遵循这一方法后，可以成功启动Spark历史服务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark启动历史服务配置时，没报错，然后在运行spark任务时报错：
Call From master/ip to master:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
通过查看spark历史服务配置的日志，日志路径为spark/logs目录下，发现spark的history历史服务并没有起来，日志报错为：Call From master/ip to master:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
大致意思是hdfs拒绝了连接，原因是默认我的hadoop中core-site.xml文件中配置的hdfs端口为9000 在这里插入图片描述
而在spark的yarn配置中，我的spark.eventLog.dir中hdfs端口为8020

解决方案：将两边的端口匹配。
方法一：需改spark目录下conf/spark-defaults.conf和spark-env.sh，将其中spark历史log的hdfs端口改为9000（推荐此做法）