SparkSql中的repartition 与 coalesce

repartition(numPartitions:Int)和coalesce(numPartitions:Int，shuffle:Boolean=false)
作用：对RDD的分区进行重新划分，repartition内部调用了coalesce，参数shuffle为true

例：RDD有N个分区，需要重新划分成M个分区

1. N < M 使用
   repartition(M) 或者 coalesce(M,true)
   一般情况下N个分区有数据分布不均匀的状况，利用HashPartitioner函数将数据重新分区为M个，这时需要将shuffle设置为true。
2. N > M 且 N 和M 相差不多
   coalesce(M) 或者 coalesce(M,false)
   假如N是1000，M是100)那么就可以将N个分区中的若干个分区合并成一个新的分区，最终合并为M个分区，这时可以将shuff设置为false，在shuffl为false的情况下，如果 N<M 时，coalesce为无效的，不进行shuffle过程，父RDD和子RDD之间是窄依赖关系。
3. N > M 且 N 和M 相差悬殊
   repartition(M) 或者 coalesce(M,true)
   这时如果将shuffle设置为false，父子RDD是窄依赖关系，他们在同一个Stage中，就可能造成Spark程序的并行度不够，从而影响性能，如果在M为1的时候，为了使coalesce之前的操作有更好的并行度，可以讲shuffle设置为true。

总结：返回一个减少到numPartitions个分区的新RDD，这会导致窄依赖，例如：你将1000个分区转换成100个分区，这个过程不会发生shuffle，相反如果10个分区转换成100个分区将会发生shuffle。然而如果你想大幅度合并分区，例如所有partition合并成一个分区，这会导致计算在少数几个集群节点上进行（言外之意：并行度不够）。为了避免这种情况，你可以将第二个shuffle参数传递一个true，这样会在重新分区过程中多一步shuffle，这意味着上游的分区可以并行运行。

总之：如果shuff为false时，如果传入的参数大于现有的分区数目，RDD的分区数不变，也就是说不经过shuffle，是无法将RDD的partition数变多的

SparkSql 写hive小文件

重新分区+缓存+注册为临时表，在进行查询，插入操作，此时文件为20个

val aDF =hiveContext.table("info_user").repartition(2).persist()
aDF.registerTempTable("info_user")

后记

虽然减少spark并行度会造成一些性能问题，但是在写数据的时候少量的并行度可以减少hive碎片文件 ，或者减少对传统数据库的连接池的线程数量使用。

如果有读者遇见重新分区失效，或者有其他问题，欢迎即使交流