[Fatal Error] total number of created files now is 100576, which exceeds 100000. Killing the job.

桔梗的犬夜叉

已于 2022-08-12 14:08:04 修改

阅读量994

点赞数

CC 4.0 BY-SA版权

文章标签： hive hadoop 大数据 sql

于 2022-08-12 14:04:13 首次发布

本文链接：https://blog.csdn.net/LL9504/article/details/126302982

本文介绍了解决Hive在向分区表插入数据时遇到的文件数量限制问题的方法。通过调整Hive配置参数，如增加允许创建的最大文件数、设置输入格式、调整MapReduce任务的内存分配等，有效避免了因文件数量过多导致的任务失败。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive在把一张表的数据插入到另一张分区表时，经常会报这个创建文件数超出限制的错误

解决办法：set hive.exec.max.created.files=900000; 提高最大文件数

加上如下设置即可

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
set mapred.max.split.size=256000000;   -- 256M
set mapred.min.split.size.per.node=100000000;  -- 100M
set mapred.min.split.size.per.rack=100000000;  -- 100M
set hive.merge.mapfiles = true;
set hive.merge.mapredfiles = true;
set hive.merge.size.per.task = 256000000;   -- 256M
set hive.merge.smallfiles.avgsize=16000000;   -- 16M

set mapreduce.map.memory.mb=10240;
set mapreduce.reduce.memory.mb=10240;

set mapred.reduce.slowstart.completed.maps=1;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=20000;
set hive.exec.max.dynamic.partitions=20000;
set hive.exec.max.created.files=900000;