Java连接Spark Standalone集群

最新推荐文章于 2025-06-26 15:08:24 发布

fansy1990

最新推荐文章于 2025-06-26 15:08:24 发布

阅读量8k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/fansy1990/article/details/74531468

本文介绍了如何在Java中连接和监控Spark Standalone集群，通过5个任务逐步演示，包括设置master连接、添加业务逻辑Jar、调整Driver运行位置以及加入多信息监控。实验环境为spark-1.6.3-bin-hadoop2.6，测试了单节点集群配置，提供了代码资源链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

软件环境：

spark-1.6.3-bin-hadoop2.6、hadoop-2.6.4、jdk1.7.0_67、IDEA14.1.5 ；

Hadoop集群采用伪分布式安装，运行过程中只启动HDFS；Spark只启动一个Worker；使用虚拟机搭建Hadoop、Spark集群；Idea直接安装在Win10上；192.168.128.128是虚拟机ip；本机ip是：192.168.0.183；

Java连接Spark集群，如果采用YARN的方式，可以参考：Java Web提交任务到Spark ；写此篇的初衷是，在使用的过程中发现使用YARN调用Spark集群效率太低，所以尝试使用Java直接连接Spark Standalone集群。同时，需要说明一点，这里使用的是一个节点，如果使用多个节点情况可能有所不同。

本次测试一共进行了5次实验，最终达到一个既可以连接Spark Standalone集群，同时可以监控该任务的目的。所有代码可以在 https://github.com/fansy1990/JavaConnectSaprk01 下载。

任务1：设置master直接连接

1.1. 创建Scala工程

设置SDK、JDK以及spark-assembly的jar包到Classpath，创建好的工程如下：

1.2 创建示例程序

这里使用的是单词计数程序，代码如下：

package demo

import org.apache.spark.{SparkContext, SparkConf}

/**
 * Created by fansy on 2017/7/5.
 */
object WordCount {
  def main(args: Array[String]) {

    val input = "hdfs://192.168.128.128:8020/user/root/magic"
    val output =""

    val appName = "word count"
    val master = "spark://192.168.128.128:7077"

    val conf = new SparkConf().setAppName(appName).setMaster(master)
    val sc = new SparkContext(conf)

    val line = sc.textFile(input)

    line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).collect().foreach(println)

    sc.stop()
  }
}

这里面直接设置spark集群中的地址，然后连接运行任务，运行完成后，执行sc.stop，关闭SparkContext，但是运行后出现错误：