一、 安装Maven
1.解压,移动安装包
sudo tar -zxf ~/apache-maven-3.9.6-bin.tar.gz -C /usr/local/
cd /usr/local/
sudo mv apache-maven-3.9.6/ ./maven-3.9.6
sudo chown -R qiangzi ./maven-3.9.6
二、Scala应用程序代码
1.在终端中执行如下命令创建一个文件夹 sparkapp3作为应用程序根目录:
cd /usr/local/spark-2.1.0/mycode # 进入项目目录,需提前创建
mkdir ./sparkapp3 # 创建应用程序根目录
mkdir -p ./sparkapp3/src/main/scala # 创建所需的文件夹结构
2.在 ./sparkapp3/src/main/scala 下建立一个名为 SimpleApp.scala 的文件(vim ./sparkapp3/src/main/scala/SimpleApp.scala
),添加代码如下:
/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object SimpleApp {
def main(args: Array[String]) {
val logFile = "file:///usr/local/spark-2.1.0/README.md" // Should be some file on your