MapReduce如何解决数据倾斜问题

前言：数据倾斜是日常大数据查询中隐形的一个BUG，遇不到它时你觉得数据倾斜也就是书本博客上的一个无病呻吟的偶然案例，但当你遇到它是你就会懊悔当初怎么不多了解一下这个赫赫有名的事故。

当然你和数据倾斜的缘分深浅还是看你公司的业务逻辑和数据量有没有步入数据倾斜的领地。

说明：关于数据倾斜的产生原因我将结合 map 和 reduce 阶段中的 shuffle 来讲解，若是对 shuffle 有所忘记需要温故的请到MapReduce解决数据倾斜的问题 进行相关了解。另本人能力有限，仅根据自己所了解的知识回答，若有误处或不足之处望不吝指出。

一、什么是数据倾斜以及数据倾斜是怎么产生的？

简单来说数据倾斜就是数据的key 的分化严重不均，造成一部分数据很多，一部分数据很少的局面。

举个 word count 的入门例子，它的map 阶段就是形成 （“aaa”,1）的形式，然后在reduce 阶段进行 value 相加，得出 “aaa” 出现的次数。若进行 word count 的文本有100G，其中 80G 全部是 “aaa” 剩下 20G 是其余单词，那就会形成 80G 的数据量交给一个 reduce 进行相加，其余 20G 根据 key 不同分散到不同 reduce 进行相加的情况。如此就造成了数据倾斜，临床反应就是 reduce 跑到 99%然后一直在原地等着 那80G 的reduce 跑完。

简化了的 shuffle 图就是这样。

这样就能清楚看