Spark系列之：使用spark合并hive数据库多个分区的数据到一个分区中

当使用Spark读取Hive分区表时，Spark会自动识别Hive表的分区，并将数据分布到每个分区。 如果你想控制数据分布的大小，可以使用Spark的分区功能。你可以在读取Hive表时指定分区数量，以便将数据分散到更多的分区中。例如： ``` val df = spark.sql("SELECT * FROM db.table WHERE partition_col >= 1 AND partition_col <= 100") .repartition(10) ``` 这个例子中，我们选择了一个特定的分区，然后使用 `repartition()` 方法将数据分布到10个分区中。注意，这个例子中的 `partition_col` 是一个分区列名，你需要根据你的表的实际情况进行替换。 另外，你也可以使用 `coalesce()` 方法来减少分区的数量。例如： ``` val df = spark.sql("SELECT * FROM db.table WHERE partition_col >= 1 AND partition_col <= 100") .coalesce(5) ``` 这个例子中，我们使用 `coalesce()` 方法将数据压缩到5个分区中。注意，这个方法可能导致数据倾斜，因此在使用之前需要仔细评估你的数据分布情况。