spark程序跨集群操作的一点思路_spark跨集群校验kerberos-CSDN博客

本文探讨了在两个不同配置的集群（HDP与CDH）间部署Spark应用程序的难点，包括从CDH Kafka读取数据写入HDP Hive及从HDP Hive读取数据写入CDH Phoenix时遇到的问题与解决策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

现有2个集群如下：

1、hdp，使用hive和yarn，有kerberos认证

2、cdh，使用kafka和phoenix，无kerberos认证

spark程序部署在hdp客户端机器。

场景1：spark streaming程序yarn client模式读取cdh kafka数据写入hdp hive，经测试在hdp客户端主机跑local模式可行，跑yarn client模式报错，org.apahce.spark.SparkException: Couldn't connect to leader for topic xxx 9；java.nio.channels.ClosedChannelException

解决方案：由于kafka默认通过主机名访问，在hdp集群机器上没有加入cdh的hosts文件，所以在executor上连接不到kafka，一是在hdp集群内所有机器添加hosts文件，二是在kafka每个实例参数配置advertised.host.name填入ip地址

场景2：spark程序yarn client模式读取hdp hive数据写入cdh phoenix，程序内hbase-site.xml文件使用cdh的，yarn-site.xml和hive-site.xml使用hdp的，经测试在hdp客户端主机跑local模式可行，跑yarn client模式报错，org.apahce.hadoop.hbase.security.AccessDeniedException: Insufficient permissions for user 'xxx',

解决方案：由于在hdp集群机器上没有加入cdh的hosts文件，所以在executor上连接不到hbase，一是在hdp集群内所有机器添加hosts文件，二是在将cdh集群的主机名强制为IP地址，hdfs配置添加dfs.namenode.datanode.registratin.io-hostname-check: false