Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$

最新推荐文章于 2023-03-25 23:40:13 发布

Takoony

最新推荐文章于 2023-03-25 23:40:13 发布

阅读量9.2k

点赞数 7

CC 4.0 BY-SA版权

分类专栏： bigdata

本文链接：https://blog.csdn.net/ningyanggege/article/details/86526984

bigdata 专栏收录该内容

34 篇文章

订阅专栏

本文详细介绍如何使用IntelliJ IDEA、Scala和Spark在本地环境中运行WordCount程序，包括配置SparkConf、创建SparkContext、从本地文件系统读取数据创建RDD，以及执行map和reduceByKey操作实现单词计数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用intelli idea +scala+spark，运行程序代码如下：

package cn.limbo.spark

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD

/**
  * 使用Scala开发本地测试的Spark WordCount程序
  */
object WordCount {
  def main(args: Array[String]): Unit = {
    /**
      * 第一步:创建Spark的配置对象SparkConf，设置Spark程序的运行时的配置信息
      * 例如说通过setMaster来设置程序要连接的Spark集群的Master的URL
      * 如果设置为local，则代表Spark程序在本地运行，特别适合于配置条件的较差的人
      *
      */

    val conf = new SparkConf()
    conf.setAppName("MyFirstSparkApplication")  //设置应用程序的名称，在程序运行的监控界面可以看到名称
    conf.setMaster("local")   //此时程序在本地运行，无需安装Spark的任何集群

    /**
      * 第二步:创建SparkContext对象
      * SparkContext是Spark程序所有功能的唯一入口，无论是采用Scala，Java，Python等都必须有一个SparkContext
      * SparkContext核心作用：初始化Spark应用程序运行所需要的核心组件，包括DAGScheduler，TaskScheduler，Scheduler
      * 同时还会负责Spark程序往Master注册程序等
      * SparkContext是整个Spark应用程序中最为至关重要的一个对象。
      */

    val sc = new SparkContext(conf)     //创建SparkContext对象，通过传入SparkConf实例来定制Spark运行的具体参数和配置信息

    /**
      * 第三步:根据具体的数据来源（HDFS，HBase，Local FS（本地文件系统） ，DB，S3（云上）等）通过SparkContext来创建RDD
      * RDD的创建基本有三种方式，根据外部的数据来源（例如HDFS），根据Scala集合，由其他的RDD操作产生
      * 数据会被RDD划分成为一系列的Partitions，分配到每个Partition的数据属于一个Task的处理范畴
      */

    //文件的路径，最小并行度（根据机器数量来决定）
    //val lines:RDD[String]= sc.textFile("F://spark//spark-1.6.2-bin-hadoop2.6//README.md", 1)    //读取本地文件，并设置Partition = 1
    val lines= sc.textFile("D:\\Program\\spark-2.4.0-bin-hadoop2.7//README.md", 1)    //读取本地文件，并设置Partition = 1   //类型推导得出lines为RDD
    /**
      * 第四步:对初始的RDD进行Transformation级别的处理，例如map，filter等高阶函数等的编程，来进行具体的数据计算
      *    4.1:将每一行的字符串拆分成单个的单词
      *    4.2:在单词拆分的基础上对每个单词的实例计数为1，也就是word =>(word,1)
      *    4.3:在每个单词实例计数为1基础之上统计每个单词在文件出现的总次数
      */

    //对每一行的字符串进行单词的拆分并把所有行的拆分结果通过flat合并成为一个大的单词集合
    val words = lines.flatMap { line => line.split(" ") }    //words同样是RDD类型
    val pairs = words.map { word => (word,1) }
    val wordCounts = pairs.reduceByKey(_+_)       //对相同的key，进行value的累加（包括Local和Reducer级别同时Reduce）


    wordCounts.foreach(wordNumberPair => println(wordNumberPair._1 + " : " + wordNumberPair._2))

    sc.stop()    //注意一定要将SparkContext的对象停止，因为SparkContext运行时会创建很多的对象


    /*这个程序运行之后一定会有一个错误，因为 没有hadoop环境，这个不是程序错误，也不影响任何功能*/

  }
}