Hologres揭秘：优化COPY，批量导入性能提升5倍+

简介： 揭秘Hologres优化COPY的技术原理，实现批量导入性能提升5倍+

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析。它的出现简化了业务的架构，为业务提供实时决策的能力，让大数据发挥出更大的商业价值。从阿里集团诞生到云上商业化，随着业务的发展和技术的演进，Hologres也在持续不断优化核心技术竞争力，为了让大家更加了解Hologres，我们计划持续推出Hologres底层技术原理揭秘系列，从高性能存储引擎到高效率查询引擎，高吞吐写入到高QPS查询等，全方位解读Hologres，请大家持续关注！

本期我们将带来Hologers COPY导入性能优化实现性能提升5+倍方面的技术原理解读。

背景

在PostgreSQL中，COPY命令用于文本文件数据导入，其在PG生态里面有着重要的作用：

• 完美兼容PG几十种数据类型，包括自定义类型等等。
• 文本解析导入细节考虑的非常完善，也是业界标杆。
• 业务价值，业务集成的成本低，psql一条命令或者copy manager等等无需第三方的集成依赖。
• 日常开发测试中高频使用，比如tpch测试，功能验证，线上问题复现等。

Hologres完全兼容PG(PostgreSQL)生态，支持使用COPY命令导入数据，但是在PostgreSQL中，COPY的导入性能差强人意，只有20MB/s。而大数据处理场景，往往需要高性能的写入，PG的COPY写入性能不能满足实际业务。
基于此，Hologres对COPY写入性能进行了优化，以达到高性能、高可用的目的。本文将会介绍Hologres对COPY命令优化的技术原理，从而实现导入性能5倍+。

COPY瓶颈定位

在早期版本中，