IntelliJ IDEA打jar包--scala class--提交到java或者spark运行

最新推荐文章于 2025-04-30 15:05:05 发布
最新推荐文章于 2025-04-30 15:05:05 发布
阅读量1.9k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： IntelliJ scala jar spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kicilove/article/details/79973104
这篇博客详细介绍了如何在IntelliJ IDEA中将Scala项目打包成jar文件，并且分别在Java环境中以及通过spark-shell提交运行。步骤包括配置artifacts，构建jar，以及两种不同的运行方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

编译文件并且打成jar包，运行jar包

第一步：file–>artifacts填写相关内容后返回

这里写图片描述

第二步：build–>build artifacts–>build
在刚刚我们选择的保存目录下找到.jar文件

这里写图片描述

第三步：提交运行

  1. 在java下运行
    这里写图片描述

  2. 在spark-shell中提交运行
    这里写图片描述

  3. 不加spark-shell的路径提交也OK

这里写图片描述

最低0.47元/天 解锁文章

200万优质内容无限畅学
使用IntelliJ Idea开发Spark应用程序
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-05 6047
掌握使用IntelliJ Idea开发Spark应用程序的过程。1、使用IntelliJ Idea开发本地Spark应用程序。   2、部署分布式Spark应用程序。首先创建Spark应用程序，在本地运行并测试；然后修改Spark应用程序，访问分布式文件系统HDFS；最后将项目打为jar包，部署到Spark集群上执行。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3，IntelliJ Idea1、启动IntelliJ Idea。在终
Spark Java API开发案例 + 打Jar包上传服务器环境运行
qq_29342297的博客
12-08 342
Spark Java API开发案例 创建Maven项目，修改pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.or
spark：Idea编译程序打jar包部署到spark运行方法--19
花满楼
03-30 2545
感觉没个老师带着学spark真是举步维艰啊···一个问题能卡了2天才解决···写一下这俩天的收获吧··· //////////////////////////打包 1.Project Structure 2.Artifacts --- +jar --- From module with··· --- main class --- ok 3.class paths 要填？？/usr/local/s
Idea打包：scala打成jar包
m0_75028327的博客
03-01 1595
file > project Structure > Artifacts > + > jar > from modules..... >OK (什么都不用选，直接OK） > 相关依赖包全删，留一个即可。在工具栏找到Build > Build Artifacts > build。scp /本地/文件/路径 用户名@服务器IP地址:/服务器/目标/路径。在底部找到Terminal在这里输入上传命令。
如何在idea中写spark程序
最新发布
H_L_4513196的博客
04-30 912
打开 IntelliJ IDEA，选择File -> New -> Project，接着在左侧菜单中选取Maven或者Gradle（此处以 Maven 为例），然后点击Next。在Maven Projects面板中，双击package目标进行打包，生成的 JAR 文件会存于target目录下。在编写好代码后，你可以点击 IDE 中的运行按钮或者使用快捷键Shift + F10来运行程序。通过以上步骤，你就能在 IntelliJ IDEA 中编写、运行和提交 Spark 程序了。// 收集结果并打印。
IDEA将scala代码打成jar包
激进的蜗牛
08-26 1117
通过maven将scala代码打jar包 1-添加maven依赖 将一下代码插入到<project></project>标签中 <build> <plugins> <plugin> <groupId>org.apache.maven.plugin...
idea下将scala编写的项目打成jar包
weixin_59371977的博客
08-18 5190
在idea下将scala编写的spark项目打包成jar
IDEA打包scala的jar包文件
vincent_nkcs的博客
05-10 2574
File -> Project Structure -> Artifacts -> 选择’+'号 -> JAR -> From modules with dependencies -> OK Output directory为打包的jar包路径，需要打包依赖的不用修改，不需要的删掉依赖jar包，只剩下一个complie output文件即可，一般来说spark...
使用IntelliJ IDEA创建sbt框架Scala项目实现WordCount计算并打包jar运行
m0_62209890的博客
11-17 1382
此教程写于2024年11月，初衷在于笔者最近有使用Spark的需求，开始上手学习简单的使用。但由于各种软件版本迭代更新太快，以及现有的参考资料较少，完成一个很简单的应用也花费了不少时间、踩了不少坑。最终完成后，特此撰写此教程，与大家分享操作步骤，由于笔者水平有限，文中如有偏颇之处欢迎各位朋友指出交流。操作在Windows11上进行，实测Ubuntu20.04.2中也行，只是需要注意选择对应系统版本的工具安装教程中使用的各工具如下（已提前安装完成，且环境变量配置完成）：sbt 1.8.3。
基于IntelliJ Idea的Scala开发demo一Spark-SQL开发demo
心相印的专栏
11-14 1284
真正在做数据分析和数据处理的时候，spark-sql还是用得比较的，本文主要给出基于Scala的spark-sql开发demo，本文已经假设IntelliJ Idea上的Scala开发环境，包括SBT已经安装配置完成，如果读者还没有这些准备的话，可以参考我前面的关于IntelliJ Idea上Scala的spark开发环境搭建相关文章。
IDEA打包Spark程序为jar包，并运行
qq_43719388的博客
10-27 5176
1、编辑需要运行的spark代码 最好是在linux环境的spark-shell，测试成功 package cn.edu.swpu.scs import org.apache.spark.{SparkConf, SparkContext} object App { def main(args: Array[String]){ val sparkConf = new SparkConf() val sc = new SparkContext(sparkConf) val
IDEA 创建scala工程并打指定的依赖包
08-11
该文档主要使用IDEA进行scala工程的创建以及打依赖的jar包，步骤详细。 为了感谢大家的支持,现在把积分调整到1积分,更好的为大家提供帮助.
IntelliJ IDEA环境中打包+上传主机，spark-submit提交执行
艾@七的专栏
05-14 3778
这是上一篇文章的续集，同样适合小白第一次尝试spark，主要是如何在IntelliJ IDEA中对程序打包，上传主机，通过spark-submit来提交执行。
spark 提交java_jar包是怎么提交到Spark上运行的
weixin_34856444的博客
02-21 899
我们都知道，写好spark程序后，可以通过命令行spark-submit方式提交到集群，那么这个具体的过程是怎么搞得呢？spark有多种集群方式，如yarn，standalone等。提交方式又分为client和cluster等模式，这里就先拿standalone的client方式举例。standalone方式下，spark集群有一个master和多个worker组成集群，现在spark又支持HA方...
Maven项目打包scala jar包，并在spark运行
viho+的博客
03-30 1762
http://dblab.xmu.edu.cn/blog/2083-2/
Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程
热门推荐
databatman的工厂
08-29 1万+
spark-scala使用IntelliJ搭建的开发环境。
打包并提交运行Spark应用程序jar包
山海經的博客
11-22 9264
基于eclipse的Spark IDE可在 http://scala-ide.org/ 下载。 以WordCount为例： package com.lxw.test import org.apache.spark.{SparkConf, SparkContext}import SparkContext._ object WordCount { def main (args: Arr
spark（scala版本）提交jar到集群环境的常见问题
liaomingwu的专栏
02-28 1254
spark（scala版本）提交jar到集群环境的常见问题，包括找不到启动类，不显示运行应用问题 Running Applications (0)的问题和集群环境有的包，pom.xml配置依赖时使用provided。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值