spark-2.20 集成hive spark

最新推荐文章于 2024-06-19 09:00:00 发布

原创

最新推荐文章于 2024-06-19 09:00:00 发布 · 718 阅读

1 ·

CC 4.0 BY-SA版权

博客讲述了如何将Spark 2.2.0与Hive集成，并遇到了启动后一段时间出现的权限错误。通过在core-site.xml中添加特定配置解决了该问题，此解决方案为后续使用者提供了帮助。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、下载spark2.2.0包

2、解压

3、计入配置目录 conf

4、copy cdh中hive-site.xml hdfs-site.xml yarn-site.xml core-site.xml 到conf 目录下

5、修改spark-env.sh,设置各变量及引入jar包

export SPARK_HOME=/home/cdh/software/spark/spark-2.2.0-bin-hadoop2.6
export JAVA_HOME=/usr/java/latest
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HADOOP_CONF_DIR=/etc/hadoop/conf
export YARN_CONF_DIR=/etc/hadoop/conf
export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
export HBASE_CONF_DIR=/etc/hbase/conf
#export YARN_CONF_DIR=/etc/hadoop/conf.cloudera.yarn
export SPARK_MASTER_IP=10.101.1.119
#export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
export SPARK_DIST_CLASSPATH=$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH/lib/hbase/*.jar:/opt/cloudera/parcels/CDH/lib/hive/lib/*.jar:/opt/cloudera/parcels/CDH/jars
export export SPARK_CLASSPATH=/home/cdh/s