在kerberos化hadoop集群提交spark任务

逍锅锅_

于 2019-04-30 20:35:37 发布

阅读量4.9k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/yx_keith/article/details/89715404

本文详细介绍了如何在启用Kerberos的Hadoop集群上提交Spark任务，包括yarn-client和yarn-cluster两种模式。在kerberos集群中，提交Spark任务需要指定principal、keytab以及jaas.conf文件，确保所有节点能访问到这些文件。yarn-client模式下，driver在客户端，而yarn-cluster模式下，driver在Application Master中，因此配置和提交方式有所不同。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原创博客，转载请说明出处。

在kerberos集群上提交 spark任务复杂性远远高于非kerberos集群，提交spark任务分为两种模式：yarn-client和yarn-cluster模式。

1.yarn-client模式

使用yarn-client模式提交，提交任务的client节点作为spark driver，executor在yarn container中启动，运行日志和状态信息都可以在client节点上看到，一般测试和调试使用yarn client模式。
在这里插入图片描述

在kerberos集群中，使用yarn-client模式提交任务命令如下:
/usr/hdp/current/spark2-client/bin/spark-submit
–principal [email protected]
–keytab /home/test_user/test_user.keytab
–files /home/test_user/jaas.conf#jaas.conf,/home/test_user/test_user.keytab#test_user.ke
ytab
–conf “spark.executor.extraJavaOptions=-Djava.security.auth.login.config=/home/test_user/jaas.conf”
–driver-java-options “-Djava.security.auth.login.config=/home/test_user/jaas.conf”
–packages org.apache.spark:spark-streaming-kafka-0-10_2.11: