Hive SQL 行转列：使用 CONCAT_WS 和 COLLECT_SET 实现

最新推荐文章于 2025-02-23 19:26:12 发布

coding远方

最新推荐文章于 2025-02-23 19:26:12 发布

阅读量1.2k

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/2301_79326857/article/details/132949892

编程专栏收录该内容

436 篇文章 ¥29.90 ¥99.00

订阅专栏

本文介绍了如何在Hive SQL中利用CONCAT_WS和COLLECT_SET函数将行数据转换为列数据，具体通过示例展示了如何处理员工技能数据，实现将每个员工的多个技能合并到一行中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在数据处理和分析中，经常会遇到将行转列的需求，即将一行中的多个值转换为一列中的多行。在 Hive SQL 中，我们可以使用 CONCAT_WS 和 COLLECT_SET 函数来实现这一操作。本文将详细介绍如何使用这两个函数进行行转列，并提供相应的源代码示例。

假设我们有以下示例表格 employees：

+-----+--------+
| id  | skills |
+-----+--------+
| 1   | Java   |
| 1   | SQL    |
| 2   | Python |
| 3   | Java   |
| 3   | SQL    |
| 3   | Hive   |
+-----+--------+

每一行表示一个员工的技能，其中 id 列表示员工的唯一标识，skills 列表示员工的技能。我们的目标是将同一个员工的多个技能合并为一行，形成以下结果：

+-----+------------------+
| id  | combined_skills  |
+-----+------------------+
| 1   | Java, SQL        |
| 2   | Python           |
| 3   | Java, SQL, Hive  |
+-----+------------------+

现在让我们来看一下如何使用 Hive SQL 中的 CONCAT_WS 和 COLLECT_SET 函数来实现这个转换。

首先，我们可以使用 GROUP B

了解本专栏