qq_43365758的博客

RDD编程初级实践 文章目录RDD编程初级实践一、实验目的二、实验平台三、实验要求和步骤1.pyspark交互式编程2.编写独立应用程序实现数据去重3.编写独立应用程序实现求平均值问题总结 一、实验目的 （1）熟悉Spark的RDD基本操作及键值对操作； （2）熟悉使用RDD编程解决实际具体问题的方法。 二、实验平台 操作系统： Ubuntu16.04 Spark版本：2.4.0 Python版本：3.4.3 三、实验要求和步骤 1.pyspark交互式编程 本作业提供分析数据data.txt，该数据集包

调用MapReduce对文件中各个单词出现次数进行统计 文章目录调用MapReduce对文件中各个单词出现次数进行统计要求一、安装Ubuntu二、准备工作1.创建Hadoop账户2.设置hadoop密码 :3.为hadoop用户增加管理员权限:4.更新 apt5.安装vim6.配置SSH三.安装Java环境1.安装JDK2.验证JDK安装情况3.设置JAVA坏境变量四.安装Hadoop五.Hadoop伪分布式配置1.修改配置文件2.格式化 NameNode4.校验安装五.调用MapReduce执行WordC