hive增量更新的新方案

最新推荐文章于 2025-05-07 19:53:42 发布

lijie_cq

最新推荐文章于 2025-05-07 19:53:42 发布

阅读量9.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： sqoop 文章标签： hive sqoop 增量更新

本文链接：https://blog.csdn.net/qq_20641565/article/details/53164155

sqoop 专栏收录该内容

5 篇文章

订阅专栏

之前是采用的join的方法来增量更新。详情见：
http://blog.csdn.net/qq_20641565/article/details/52763663

现在有一种新方案如下：

Select b.id,b.name,b.addr,b.updated_date 
From
(
select a.*,row_number() over(distribute by a.id sort by updated_date) as rn
from
(
        Select id,name,addr, updated_date from test
Union all
Select id,name,addr, updated_date from test_delta 
where y=’2016’ and m=’10’ and d=’09’
) a
) b
Where b.rn = 1