这篇博客探讨了ODPS的配置参数，包括mapper和reducer的数量与内存设置，以及ODPS2类型的SQL优化。通过调整这些参数，可以显著提升大数据处理的效率。
set odps.stage.mapper.split.size = 16;
set odps.sql.reducer.instances = 100;
set odps.stage.mapper.mem = 2048;
set odps.stage.reducer.mem = 2048;
set odps.sql.type.system.odps2=true;
/+ mapjoin(b)/
ODPS SQL 优化函数
set odps.stage.mapper.split.size = 16;
set odps.sql.reducer.instances = 100;
set odps.stage.mapper.mem = 2048;
set odps.stage.reducer.mem = 2048;
set odps.sql.type.system.odps2=true;
/+ mapjoin(b)/
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
扫一扫
