MapReduce案例11——影评分析6/7（特定类型电影topN）

最新推荐文章于 2022-11-30 09:29:17 发布
最新推荐文章于 2022-11-30 09:29:17 发布
阅读量1.5k 收藏 16
点赞数
CC 4.0 BY-SA版权
分类专栏： MapReduce 文章标签： MapReduce 特定类型电影TOPN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jin6872115/article/details/79604985
本文介绍了一个基于Hadoop的大数据处理案例，通过MapReduce框架分析电影评分数据，包括找出1997年上映的Comedy类型电影中评分最高的10部电影，以及各类电影中评分最高的5部。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

题目：

现有如此三份数据：
1、users.dat    数据格式为：  2::M::56::16::70072
对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String
对应字段中文解释：用户id，性别，年龄，职业，邮政编码

2、movies.dat		数据格式为： 2::Jumanji (1995)::Adventure|Children's|Fantasy
对应字段为：MovieID BigInt, Title String, Genres String
对应字段中文解释：电影ID，电影名字，电影类型

3、ratings.dat		数据格式为：  1::1193::5::978300760
对应字段为：UserID BigInt, MovieID BigInt, Rating Double, Timestamped String
对应字段中文解释：用户ID，电影ID，评分，评分时间戳

用户ID，电影ID，评分，评分时间戳，性别，年龄，职业，邮政编码，电影名字，电影类型
userid, movieId, rate, ts, gender, age, occupation, zipcode, movieName, movieType
（6）求1997年上映的电影中，评分最高的10部Comedy类电影
（7）该影评库中各种类型电影中评价最高的5部电影（类型，电影名，平均影评分）

两个题目思路类似：先求出对应类型的平均评分，然后分组取topN即可

案例6主体代码：

/**
 * @author: lpj   
 * @date: 2018年3月16日 下午7:16:47
 * @Description:
 */
package lpj.filmCritic;

import java.io.IOException;
import java.text.DecimalFormat;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob;
import org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import lpj.filmBean.GoodMoiveGroup3;
import lpj.filmBean.GoodMovieBean3;
/**
 *
 */
public class Comedytop10MR {
	
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
//		conf.addResource("hdfs-site.xml");//使用配置文件
//		System.setProperty("HADOOP_USER_NAME", "hadoop");//使用集群
		FileSystem fs = FileSystem.get(conf);//默认使用本地
		Job job = Job.getInstance(conf);
		job.setJarByClass(Comedytop10MR.class);
		job.setMapperClass(Comedytop10MR_Mapper.class);
		job.setReducerClass(Comedytop10MR_Reducer.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		Path inputPath = new Path("d:/a/totalFilmInfos.txt");
		Path outputPath = new Path("d:/a/homework11_6_1");
		if (fs.exists(outputPath)) {
			fs.delete(outputPath, true);
		}
		FileInputFormat.setInputPaths(job, inputPath);
		FileOutputFormat.setOutputPath(job, outputPath);
		//------------------------------------
		FileSystem fs2 = FileSystem.get(conf);//默认使用本地
		Job job2 = Job.getInstance(conf);
		job2.setJarByClass(Comedytop10MR.class);
		job2.setMapperClass(Comedytop10MR2_Mapper.class);
		job2.setReducerClass(Comedytop10MR2_Reducer.class);
		job2.setOutputKeyClass(GoodMovieBean3.class);
		job2.setOutputValueClass(NullWritable.class);
		job2.setGroupingComparatorClass(GoodMoiveGroup3.class);
		Path inputPath2 = new Path("d:/a/homework11_6_1");
		Path outputPath2 = new Path("d:/a/homework11_6_2");
		if (fs2.exists(outputPath2)) {
			fs2.delete(outputPath2, true);
		}
		FileInputFormat.setInputPaths(job2, inputPath2);
		FileOutputFormat.setOutputPath(job2, outputPath2);
		//--------------------------------
		ControlledJob aJob = new ControlledJob(job.getConfiguration());
		ControlledJob bJob = new ControlledJob(job2.getConfiguration());
		aJob.setJob(job);
		bJob.setJob(job2);
		JobControl jc = new JobControl("jc");
		jc.addJob(aJob);
		jc.addJob(bJob);
		bJob.addDependingJob(aJob);
		Thread thread = new Thread(jc);
		thread.start();
		while(!jc.allFinished()){
			thread.sleep(1000);
		}
		jc.stop();
		
	}
	
	public static class Comedytop10MR_Mapper extends Mapper<LongWritable, Text, Text, IntWritable>{
		Text kout = new Text();
		Text valueout = new Text();
		@Override
		protected void map(LongWritable key, Text value,Context context)throws IOException, InterruptedException {
			//（6）求1997年上映的电影中，评分最高的10部Comedy类电影
			//用户ID，电影ID，评分，评分时间戳，性别，年龄，职业，邮政编码，电影名字，电影类型
			String [] reads = value.toString().trim().split("::");
			String moivename = reads[8];
			String year = moivename.substring(moivename.length() - 5, moivename.length() - 1);
			int rate = Integer.parseInt(reads[2]);
			String type = reads[9];
			if (year.equals("1997") && (type.equals("Comedy") || type.equals("comedy"))) {
				context.write(new Text(moivename), new IntWritable(rate));
			}
		}
	}
	public static class Comedytop10MR_Reducer extends Reducer<Text, IntWritable, Text, Text>{
		Text kout = new Text();
		Text valueout = new Text();
		@Override
		protected void reduce(Text key, Iterable<IntWritable> values, Context context)throws IOException, InterruptedException {
			int num = 0;
			int total = 0;
			double avg = 0;
			for(IntWritable in : values){
				num ++;
				total += in.get();
			}
			avg = 1.0 * total / num;
			DecimalFormat df = new DecimalFormat("#.#");
			String format = df.format(avg);
			context.write(key, new Text(format));
		}
	}
	//-------------------------求top10-------------------
	public static class Comedytop10MR2_Mapper extends Mapper<LongWritable, Text, GoodMovieBean3, NullWritable>{
		Text kout = new Text();
		Text valueout = new Text();
		GoodMovieBean3 gm = new GoodMovieBean3();
		@Override
		protected void map(LongWritable key, Text value,Context context)throws IOException, InterruptedException {
			String [] reads = value.toString().trim().split("\t");
			String moivename = reads[0];
			double num = Double.parseDouble(reads[1]);
			gm.setYear(moivename);
			gm.setNum(num);
			context.write(gm, NullWritable.get());
			
		}
	}
	public static class Comedytop10MR2_Reducer extends Reducer<GoodMovieBean3, NullWritable, GoodMovieBean3, NullWritable>{
		Text kout = new Text();
		Text valueout = new Text();
		@Override
		protected void reduce(GoodMovieBean3 key, Iterable<NullWritable> values, Context context)throws IOException, InterruptedException {
			int num = 0;
			for(NullWritable in : values){
				num ++;
				if (num <= 10) {
					context.write(key, NullWritable.get());
				}else {
					return;
				}
			}

		}
	}
}

最终结果：

Castle, The (1997)	3.9
Full Monty, The (1997)	3.9
Austin Powers: International Man of Mystery (1997)	3.7
Santitos (1997)	3.7
Liar Liar (1997)	3.5
Broadway Damage (1997)	3.5
Six Ways to Sunday (1997)	3.5
Clockwatchers (1997)	3.4
In & Out (1997)	3.3
Fierce Creatures (1997)	3.3

案例7主体代码：

/**
 * @author: lpj   
 * @date: 2018年3月16日 下午7:16:47
 * @Description:
 */
package lpj.filmCritic;

import java.io.IOException;
import java.text.DecimalFormat;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob;
import org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import lpj.filmBean.GoodMoiveGroup3;
import lpj.filmBean.GoodMoiveGroup4;
import lpj.filmBean.GoodMovieBean3;
import lpj.filmBean.GoodMovieBean4;
/**
 *
 */
public class Kindtop5MR {
	
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
//		conf.addResource("hdfs-site.xml");//使用配置文件
//		System.setProperty("HADOOP_USER_NAME", "hadoop");//使用集群
		FileSystem fs = FileSystem.get(conf);//默认使用本地
		Job job = Job.getInstance(conf);
		job.setJarByClass(Kindtop5MR.class);
		job.setMapperClass(Comedytop10MR_Mapper.class);
		job.setReducerClass(Comedytop10MR_Reducer.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		Path inputPath = new Path("d:/a/totalFilmInfos.txt");
		Path outputPath = new Path("d:/a/homework11_7_1");
		if (fs.exists(outputPath)) {
			fs.delete(outputPath, true);
		}
		FileInputFormat.setInputPaths(job, inputPath);
		FileOutputFormat.setOutputPath(job, outputPath);
		//------------------------------------
		FileSystem fs2 = FileSystem.get(conf);//默认使用本地
		Job job2 = Job.getInstance(conf);
		job2.setJarByClass(Kindtop5MR.class);
		job2.setMapperClass(Comedytop10MR2_Mapper.class);
		job2.setReducerClass(Comedytop10MR2_Reducer.class);
		job2.setOutputKeyClass(GoodMovieBean4.class);
		job2.setOutputValueClass(NullWritable.class);
		job2.setGroupingComparatorClass(GoodMoiveGroup4.class);
		Path inputPath2 = new Path("d:/a/homework11_7_1");
		Path outputPath2 = new Path("d:/a/homework11_7_2");
		if (fs2.exists(outputPath2)) {
			fs2.delete(outputPath2, true);
		}
		FileInputFormat.setInputPaths(job2, inputPath2);
		FileOutputFormat.setOutputPath(job2, outputPath2);
		//--------------------------------
		ControlledJob aJob = new ControlledJob(job.getConfiguration());
		ControlledJob bJob = new ControlledJob(job2.getConfiguration());
		aJob.setJob(job);
		bJob.setJob(job2);
		JobControl jc = new JobControl("jc");
		jc.addJob(aJob);
		jc.addJob(bJob);
		bJob.addDependingJob(aJob);
		Thread thread = new Thread(jc);
		thread.start();
		while(!jc.allFinished()){
			thread.sleep(1000);
		}
		jc.stop();
		
	}
	
	public static class Comedytop10MR_Mapper extends Mapper<LongWritable, Text, Text, IntWritable>{
		Text kout = new Text();
		Text valueout = new Text();
		@Override
		protected void map(LongWritable key, Text value,Context context)throws IOException, InterruptedException {
			//7）该影评库中各种类型电影中评价最高的5部电影（类型，电影名，平均影评分）
			//用户ID，电影ID，评分，评分时间戳，性别，年龄，职业，邮政编码，电影名字，电影类型
			String [] reads = value.toString().trim().split("::");
			String moivename = reads[8];
			int rate = Integer.parseInt(reads[2]);
			String type = reads[9];
			context.write(new Text(type + "\t" + moivename), new IntWritable(rate));
		}
	}
	public static class Comedytop10MR_Reducer extends Reducer<Text, IntWritable, Text, Text>{
		Text kout = new Text();
		Text valueout = new Text();
		@Override
		protected void reduce(Text key, Iterable<IntWritable> values, Context context)throws IOException, InterruptedException {
			int num = 0;
			int total = 0;
			double avg = 0;
			for(IntWritable in : values){
				num ++;
				total += in.get();
			}
			avg = 1.0 * total / num;
			DecimalFormat df = new DecimalFormat("#.#");
			String format = df.format(avg);
			context.write(key, new Text(format));
		}
	}
	//-------------------------求top5-------------------
	//War	Underground (1995)	3.7
	public static class Comedytop10MR2_Mapper extends Mapper<LongWritable, Text, GoodMovieBean4, NullWritable>{
		Text kout = new Text();
		Text valueout = new Text();
		GoodMovieBean4 gm = new GoodMovieBean4();
		@Override
		protected void map(LongWritable key, Text value,Context context)throws IOException, InterruptedException {
			String [] reads = value.toString().trim().split("\t");
			String type = reads[0];
			String moivename = reads[1];
			double num = Double.parseDouble(reads[2]);
			gm.setType(type);
			gm.setName(moivename);
			gm.setNum(num);
			context.write(gm, NullWritable.get());
			
		}
	}
	public static class Comedytop10MR2_Reducer extends Reducer<GoodMovieBean4, NullWritable, GoodMovieBean4, NullWritable>{
		Text kout = new Text();
		Text valueout = new Text();
		@Override
		protected void reduce(GoodMovieBean4 key, Iterable<NullWritable> values, Context context)throws IOException, InterruptedException {
			int num = 0;
			for(NullWritable in : values){
				num ++;
				if (num <= 5) {
					context.write(key, NullWritable.get());
				}else {
					return;
				}
			}

		}
	}
}

最终结果（截取部分）

Skipped Parts (2000)	Drama|Romance	4.5
Graduate, The (1967)	Drama|Romance	4.2
Children of Paradise (Les enfants du paradis) (1945)	Drama|Romance	4.2
Beautiful Thing (1996)	Drama|Romance	4.1
Brief Encounter (1946)	Drama|Romance	4.1
Talented Mr. Ripley, The (1999)	Drama|Mystery|Thriller	3.5
Client, The (1994)	Drama|Mystery|Thriller	3.4
2001: A Space Odyssey (1968)	Drama|Mystery|Sci-Fi|Thriller	4.1
Chungking Express (1994)	Drama|Mystery|Romance	3.9
Sommersby (1993)	Drama|Mystery|Romance	3.3
Flesh and Bone (1993)	Drama|Mystery|Romance	3.2
Lulu on the Bridge (1998)	Drama|Mystery|Romance	2.7

MapReduce案例----影评分析（年份，电影id，电影名字，平均评分）
anmi4282的博客
09-02 2317
题目： 1 现有如此三份数据：（这里只需用后两份） 2 1、users.dat 数据格式为： 2::M::56::16::70072 3 对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String 4 对应字段中文解释：用户id，性别，年龄，职业，邮政编码 5...
MapReduce案例11——影评分析3（特定电影不同年龄段平均评分）
jin6872115的博客
03-18 2298
题目：现有如此三份数据： 1、users.dat 数据格式为： 2::M::56::16::70072 对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String 对应字段中文解释：用户id，性别，年龄，职业，邮政编码 2、movies.dat 数据格式为： 2::Jumanji (199...
BoxOfficePerformanceAnalysis:MapReduce 程序对电影评级进行分析
06-04
票房业绩分析 MapReduce 程序来分析电影评分的考试结果 ＃＃目标： 找出数据库中已知最古老的电影是什么？ 找出所有未评级电影的名称和年份列表。 使用两个新字段生成电影数据的更新副本： numrating（电影的评分数量） avgrating（电影的平均评分） 找出评分最高的 3 部电影是什么？
HadoopMovieAnalysis:使用 Hadoop Map Reduce 框架分析电影
06-20
该项目使用 Apache Map Reduce 框架分析电影。
基于mapreduce的小型电影推荐系统
01-07
基于mapreduce的小型电影推荐系统，使用javaweb的方式实现，
MapReduce案例11——影评分析5（求特定年份最好看的10部电影）
jin6872115的博客
03-18 1950
题目：现有如此三份数据： 1、users.dat 数据格式为： 2::M::56::16::70072 对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String 对应字段中文解释：用户id，性别，年龄，职业，邮政编码 2、movies.dat 数据格式为： 2::Jumanji (199...
4 Hadoop-Mapreduce
PhoenixLuo·的博客
05-03 928
目录 4.4 MapReduce 4.4.1 MapReduce 介绍 MapReduce 设计构思 4.4.2 MapReduce 编程规范 4.4.3 WordCount(经典案例） Step 1. 数据格式准备 Step 2. Mapper Step 3. Reducer Step 4. 定义主类, 描述 Job 并提交 Job 4.4.4 MapReduce 运行模式 集群运行模式 本地运行模式 （一般做测试用） 4.4.5 MapReduce 分区 Step 1. 定义
又双叒叕来更新啦！Hadoop———MapReduce篇
5akura's Blog
07-09 769
文章目录MapReduce（计算）MapReduce概述MapReduce定义MapReduce的优缺点核心思想MapReduce计算程序运行时的相关进程官方WordCount源码MapReduce编程规范手动实现WordCountWindows上Java程序实现集群上运行序列化序列化概述自定义bean对象实现序列化接口实操实现MapReduce框架原理数据切片和MapTask并行度决定机制Job提交源码过程分析Job切片源码CombineTextInputFormat切片机制实操测试FileInputFo
性能调优专家：针对WordCount案例的MapReduce参数优化策略
![性能调优专家：针对WordCount案例的MapReduce参数优化策略]...在这一章中，我们将揭开MapReduce的神秘面纱，并通过一个经典的例子——WordCount来介绍其基础使用。 ## 1.1 MapReduce简介 MapReduce模型
Hadoop面试-HDFS，MapReduce，Yarn
niuyan666的博客
08-11 567
Hadoop面试 HDFS ###1.hdfs写流程 （1）客户端通过 Distributed FileSystem 模块向 NameNode 通信请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。 （2）NameNode 返回是否可以上传。 （3）客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。 （4）NameNode 返回 3 个 DataNode 节点，分别为 dn1、dn2、dn3。 （5）客户端通过 FSDataOutputStream 模块请求 d
基于mapreduce的小型电影推荐系统的数据集
07-01
基于mapreduce的小型电影推荐系统的数据集
数据分析之电影类型数量分析
09-04
开始学习数据分析，常用的numpy，from matplotlib import pyplot as plt，pandas要找个实例用来巩固一下知识点，方便以后复习！
基于Hadoop的电影影评数据分析
04-04
是大数据课程大作业，基于Hadoop的电影影评数据分析，需要安装Hadoop，了解MapReduce 和HDFS。
基于Hadoop的豆瓣电影影评数据分析（word文档）
最新发布
05-01
基于Hadoop的豆瓣电影影评数据分析（word文档）
MapReduce自定义分区、分组、排序-movie数据案例（案例四）
amin_hui的博客
08-25 597
数据 {“movie”:”1193”,”rate”:”5”,”timeStamp”:”978300760”,”uid”:”1”} {“movie”:”1193”,”rate”:”4”,”timeStamp”:”978300760”,”uid”:”1”} {“movie”:”1193”,”rate”:”2”,”timeStamp”:”978300760”,”uid”:”1”} {“movie...
在电影库中查找演员评分最高的5部电影
Abcdewwh的博客
08-13 4079
在电影库中查找演员评分最高的5部电影 说在前面的话：其实这个题目有四种办法可以完成，只具体说明两种分别是： 使用Hdfs的Hbase就可以实现。具体是idea这边写代码将数据写入Hbase（要先定义好表结构），java有提供api用于数据的插入，再去虚拟机进入Hbase使用命令就可以查看数据，此方法要求有一定的编程基础与前面几章的认真熟练 使用Hive。这个对数据进行初步处理再带入Hive，Hive有提供类似于sql语句的查询。此方法简便 利用pig sqoop？ 如果是自学很欢迎，如果是课程需要请关
Hadoop学习之路（二十六）MapReduce的API使用（三）
weixin_33681778的博客
03-24 395
  影评案例 数据及需求 数据格式 movies.dat　　3884条数据 1::Toy Story (1995)::Animation|Children's|Comedy 2::Jumanji (1995)::Adventure|Children's|Fantasy 3::Grumpier Old Men (1995)::Comedy|Romance 4::Waiting t...
第11章综合案例2影评大数据分析
Alicia_LX的博客
11-30 3198
记2022上半年hive学习 1. Linux Ubuntu 20.04 2. JDK1.8 3. Hadoop3.1.0 4. MySQL8.0.28 5. Hive3.1.2
MapReduce实现词频统计与数据去重及TopN分析
资源摘要信息:"在处理大数据集...关键词：MapReduce, 词频统计, 倒排索引, 数据去重, TopN, 编程模型, 大数据处理, Map阶段, Reduce阶段, MapReduce任务, 数据分析, 数据去重技术, 排序逻辑, 唯一性, 高效数据处理系统
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值