2.操作题 临近毕业季，由于很多毕业生选择工作后租房居住，所以他们的住房需求非常追切。利用大数据技术，可以完善公共服务体系，保障群众基本生活，不断满足人民日益增长的美好生活需要，使人民的获得感、幸福感、安全感更加充实、更加有保障、更加持续。现有一份某省份各地区的租房信息文件house.xt，文件中共有8个数据字段。字段说明如表47所示。为了解该省份各地区的租房需求，方便租房人士查找出租的房源。请在Intellij IDEA 中进行Spark编程统计各地区的出租房数，完成编程后编译打包 Spark 工程，通过 spark-submit 提交程序至集群中运行。 表4-7租房信息数据字段说明 字段名称 说明 租房 ID 租房编号 标题 发布的租房标题 链接 网址，可查看租房信息 地区 房子所在地区 地点 房子所在城市地点 地铁站 附近的地铁站 出租房数 可出租的房子数量 日期 发布日期

<think>我们首先需要明确任务：使用Spark编程统计各地区的出租房数，并将程序打包提交到集群运行。步骤：1.在IntellijIDEA中创建Spark项目。2.编写Spark程序：读取租房信息文件，按地区分组统计出租房数量。3.打包程序（生成jar包）。4.使用spark-submit提交jar包到集群运行。根据引用[3]中的示例，我们可以参考其创建SparkConf和SparkContext的方式，但注意集群运行时设置master的方式不同（集群运行时通常不设置master，或设置为yarn）。假设数据文件house.txt的格式为（示例）：地区,出租房信息...比如：朝阳区,房源1...海淀区,房源2......我们需要按地区分组计数。具体步骤：1.创建项目：-使用IntellijIDEA新建一个Scala项目（或Java项目，但这里使用Scala更简便）。-添加Spark依赖：在build.sbt或pom.xml中配置SparkCore和SparkSQL的依赖（根据Spark版本选择）。2.编写代码：-创建一个Scalaobject，包含main方法。-在main方法中：a.创建SparkConf，设置应用名称（setAppName），集群模式下不需要设置master（spark-submit时会指定），本地测试可以设置setMaster("local[*]")。b.创建SparkContext。c.读取文件：sc.textFile(...)d.处理每一行：按逗号分割，提取地区字段（假设第一列是地区），然后使用map将每个地区映射为(地区,1)，再使用reduceByKey(_+_)进行统计。e.将结果保存到文件（或打印）。f.关闭SparkContext。3.打包：-使用IDEA的打包工具（如sbtassembly插件或mavenshade插件）将程序及其依赖打包成一个jar文件。4.提交到集群：-将打包好的jar文件和输入文件（如果集群上没有，需要先上传到HDFS）准备好。-使用spark-submit命令提交，例如：spark-submit--classcom.example.MainClass--masteryarn--deploy-modeclusteryour-jar-file.jar注意：在集群运行时，输入文件路径应该是集群上的路径（如HDFS路径）。下面给出一个示例代码框架：假设项目结构：-项目名：HouseCount-包名：com.example-主类：HouseCount代码示例：</think>### 如何在Intellij IDEA中用Spark编程统计各地区出租房数 #### 一、项目创建与环境配置 1. **创建Spark项目** - 打开IDEA → `New Project` → 选择`Scala with sbt` - 配置JDK（推荐JDK8+）和Scala SDK（推荐2.12.x） - 在`build.sbt`中添加Spark依赖： ```scala libraryDependencies += "org.apache.spark" %% "spark-core" % "3.3.0" ``` 2. **准备数据文件** - 创建`resources`目录 → 放入`house.txt`（格式示例）： ``` 朝阳区,房源A,出租 海淀区,房源B,出租 朝阳区,房源C,出售 ``` #### 二、编写Spark统计程序 ```scala import org.apache.spark.{SparkConf, SparkContext} object HouseCount { def main(args: Array[String]): Unit = { // 1. 初始化Spark配置 val conf = new SparkConf() .setAppName("RegionalHouseCount") // 集群运行时删除.setMaster("local[*]") val sc = new SparkContext(conf) // 2. 读取数据文件（集群运行时需用HDFS路径） val data = sc.textFile("house.txt") // 集群路径如："hdfs:///input/house.txt" // 3. 数据处理逻辑 val result = data .filter(_.contains("出租")) // 筛选出租房 .map(line => { val fields = line.split(",") (fields(0), 1) // (地区, 1) }) .reduceByKey(_ + _) // 按地区聚合计数 // 4. 输出结果（集群运行时保存到HDFS） result.saveAsTextFile("output") // 集群路径如："hdfs:///output" // 5. 关闭资源 sc.stop() } } ``` #### 三、打包与集群提交 1. **打包程序** - 安装`sbt-assembly`插件：在`project/plugins.sbt`中添加： ```scala addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "1.1.0") ``` - 终端执行：`sbt assembly` → 生成`target/scala-2.12/HouseCount-assembly-0.1.0.jar` 2. **集群提交** - 将JAR包和`house.txt`上传至HDFS： ```bash hdfs dfs -put house.txt /input/ ``` - 通过`spark-submit`提交任务： ```bash spark-submit \ --class HouseCount \ --master yarn \ --deploy-mode cluster \ /path/to/HouseCount-assembly-0.1.0.jar ``` #### 四、结果验证 - 查看输出目录： ```bash hdfs dfs -cat /output/part-00000 ``` 输出示例： ``` (朝阳区,15) (海淀区,9) ``` > **关键说明** > 1. 集群运行时需替换本地路径为HDFS路径（如`hdfs://namenode:9000/input`） > 2. `spark-submit`参数根据集群配置调整（如`--executor-memory 4g`） > 3. 数据清洗逻辑可根据实际文件格式调整`split`和`filter`规则[^3][^1]