Apache Sqoop性能调整

最新推荐文章于 2024-11-08 16:46:10 发布

原创最新推荐文章于 2024-11-08 16:46:10 发布 · 2.1k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#sqoop

sqoop 专栏收录该内容

8 篇文章

订阅专栏

Sqoop 是 Apache 基础提供的一种工具，在大数据世界中通常用于异构关系数据库（RDBMS）和 Hadoop 分布式文件系统（HDFS） 之间的导入-导出数百万条记录。这种数据传输可能导致不同的加载时间，从几分钟到几个小时不等。此方案是全世界数据工程师在引擎盖下查看微调设置的情况。性能调整的目标是在更短的时间内加载更多数据，从而提高效率并减少网络超时时数据丢失的机会。
通常，Sqoop 的性能调整可以通过：

控制并行性
控制数据传输过程

控制并行性

Sqoop 适用于在Hadoop 中实现的 MapReduce 编程模型。Sqoop 并行导入大多数关系数据库的数据。每个作业的map任务数决定了其并行性。通过控制并行性，我们可以处理数据库上的负载，从而处理其性能。以下是 Sqoop 作业中利用并行性的几种方法：
更改mapper的数量
默认情况下，典型的 Sqoop作业会启动四个mappers。为了优化性能，将mapper任务（并行进程）增加到整数值 8 或 16 可以显示某些数据库中性能的增强。
通过使用 -m或参数–num-mappers，我们可以在 Sqoop 中设置并行性的程度。例如，将映射器的数量更改为 10：

sqoop import  
--connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop \
--password sqoop \
--table cities \
--num-mappers 10

需要记住的一些事情是，mapper任务的数量应该小于可能的最大并行数据库连接数。并行性程度的增加应小于 MapReduce 群集中可用的增加程度。

按查询拆分
执行并行导入时，Sqoop 需要一个条件，通过该标准可以拆分工作负载。Sqoop 使用拆分列拆分工作负荷。默认情况下，Sqoop 将标识表中的primary key （如果存在），并用作拆分列。从数据库中检索拆分列的低值和高值，并且映射任务对总范围的均匀大小的组件进行操作。
参数根据指定的mapper数量统一拆分列数据。--split-by的语法由以下方法提供：

sqoop import  
--connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop \
--password sqoop \
--table cities \
--split-by city_id

控制数据传输过程

提高性能的一个流行方法是管理我们导入和导出数据的方式。以下是几种方法：
批处理
批处理意味着在导出数据时，可以将相关的 SQL 语句分组到批处理中。
JDBC 接口公开了一个 API，用于在具有多个值集的准备语句中执行批处理。使用--batch 参数，Sqoop 可以利用此优势。此 API 存在于所有 JDBC 驱动程序中，因为它是 JDBC 接口所需的。
默认情况下，在 Sqoop 中禁用批处理。使用 --batch参数启用 JDBC 批处理。

sqoop export   
--connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop \
--password sqoop \
--table cities \
--export-dir /data/cities \
--batch

提取大小
可以一次导入的默认记录数为1000。可以使用 Fetch 大小参数覆盖这一点，该参数用于指定 Sqoop 一次可以使用以下语法导入的记录数：

sqoop import 
--connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop \
--password sqoop \
--table cities \
--fetch-size=n

其中n表示 Sqoop 一次必须获取的条目数。
根据可用内存和带宽，可以增加提取大小参数的值，即需要读取的数据量。

直接模式
默认情况下，Sqoop 导入过程使用 JDBC，它提供合理的跨供应商导入通道支持。但是，某些数据库可以通过使用特定于数据库的实用程序实现更高的性能，因为它们经过优化，可提供最佳的传输速度，同时减少数据库服务器的压力。

通过提供--direct参数，Sqoop 被迫尝试使用直接导入通道。此通道的性能可能高于使用 JDBC。

sqoop import \   
--connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop \
--password sqoop \
--table cities \
--direct

此快速导入具有多种限制。例如，并非所有数据库都有可用的本机实用程序。此模式并非适用于每个受支持的数据库。
Sqoop 仅对 MySQL 和 PostgreSQL 直接提供支持。

自定义边界查询
如之前所见，通过拆分统一分布数据以进行导入。如果列具有非均匀值，则如果单独使用拆分参数时未获得所需结果，则可以使用边界查询。
理想情况下，我们使用min（id）和 max（id）以及表名配置边界查询参数。

sqoop import \
--connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop \
--password sqoop \
--query 'SELECT normcities.id, \
                countries.country, \
                normcities.city \
                FROM normcities \
                JOIN countries USING(country_id) \
                WHERE $CONDITIONS' \
--split-by id \
--target-dir cities \
--boundary-query "select min(id), max(id) from normcities"