项目场景:
SAP会计凭证同步到HIVE,单头增量每天跑5个小时以上,单身增量9000万数据才20分钟不到
问题描述
单头SQL,每天增量900万数据
set hive.tez.container.size=18192;
set mapred.max.split.size=2000000 ;
set mapred.min.split.size=1 ;
set mapred.min.split.size.per.node=2000000;
set mapred.min.split.size.per.rack=2000000;
insert
overwrite table ods.ods_s4_bkpf
select
bukrs
, belnr
, gjahr
, blart
, budat
, monat
, cpudt
, cputm
, aedat
, upddt