1.分区总结
(l)女如果Reduce Task的数量>getPartitiong的结果数,则会多产生几个空的输出文件part-r-Ox✉x;
(2)女如果1<Redice Task的数量<getPartition的结果数,则有一部分分区数据无处安放,会Exception;
(3)如果Reduce Task的数量=1,则不管Map Taski端输出多少个分区文件,最终结果都交给这一个
RedceTask,最终也就只会产生一个结果文件part-r-00000;
(4)分区号必须从零开始,逐一累力加。
2.案例分析
例:假设自定义分区数为5,则
(1)job.setNumReduce Tasks(1);
会正常运行,只不过会产生一个输山文件
(2)job.setNumReduce Tasks(2),
会报错
(3)job.setNumReduce Tasks(6);
大于5,程序会正常运行,会产生空文件
Partition分区
最新推荐文章于 2025-08-01 11:21:20 发布