PostgreSQLでスケールアウト
5 likes12,612 views
スケールするSQLシステム勉強会での講演資料です。 <https://connpass.com/event/64558/>
PostgreSQLでスケールアウト
- 1. Copyright©2017 NTT corp. All Rights Reserved. PostgreSQLでスケールアウト NTT OSSセンタ 澤田 雅彦 スケールアウトするSQLシステム (8/22)
- 2. 2Copyright©2017 NTT corp. All Rights Reserved. 自己紹介 澤田 雅彦 Twitter : @sawada_masahiko GitHub: MasahikoSawada NTT OSSセンタ勤務 PostgreSQL Contributor Freeze Map(PG9.6) Multiple Synchronous Replication(PG9.6) Quorum-based Synchronous Replication(PG10) 本日紹介する機能も開発中 PostgreSQL技術サポート PostgreSQL周辺ツールの開発
- 3. 3Copyright©2017 NTT corp. All Rights Reserved. 様々な方法がある • PostgreSQLのフォーク版 • Amazon Redshift (Amazon Web Service) • Greenplum Database (Pivotal社) • Postgres Pro (Postgres Professional社) • Postgres-XL (2nd Quadrant社) • PostgreSQL＋拡張モジュール • Citus (Citus data社) • PostgreSQLのみ • FDW-based Sharding スケールアウトするために
- 4. 4Copyright©2017 NTT corp. All Rights Reserved. Postgres-XL https://www.postgres-xl.org/overview/
- 5. 5Copyright©2017 NTT corp. All Rights Reserved. Citus https://docs.citusdata.com/en/v6.1/performance/query_processing.html
- 6. 6Copyright©2017 NTT corp. All Rights Reserved. • FDW(Foreign Data Wrapper)とは？ • PostgreSQLを”ハブ”のようにして、外部データ(他のDBMS、 NoSQL、ファイル、Webサービス等)と連携できる機能 FDW-based Sharding Oracle PostgreSQL CSV ファイル SELECT * FROM oracle_tbl WHERE amount < 100; oracle_tbl pg_tbl file_tbl PostgreSQL postgres_fdw oracle_fdw fdw_fdw
- 7. 7Copyright©2017 NTT corp. All Rights Reserved. 商用 DBMS 異種DB間連携 FDWの使い方の例 ○○部署 △△部署 △△部署のデータ も見れるようした いけど、向こうは 商用DBを使って る。データを二重 でも持つのは避け たいし・・ oracle_fdw
- 8. 8Copyright©2017 NTT corp. All Rights Reserved. • FDW-based Shardingとは？ • FDW機能とテーブルパーティショニングを組み合わせてデータ ベースシャーディングを行うというアイディア FDW-based Sharding SELECT * FROM oracle_tbl WHERE amount < 100; PostgreSQL PostgreSQL postgres_fdw postgres_fdw PostgreSQL PostgreSQL postgres_fdw
- 9. 9Copyright©2017 NTT corp. All Rights Reserved. • FDW機能の特性上、連携先はPostgreSQLでなくても良い • どちらの機能もPostgreSQLが標準機能として提供 • シャードノードを増やすことでスケールアウト可能 FDW-based Shardingの特徴① PostgreSQL PostgreSQL PostgreSQL PostgreSQL postgres_fdw PostgreSQL・・・
- 10. 10Copyright©2017 NTT corp. All Rights Reserved. • クライアントは一つのサーバにのみアクセスするだけで良い • アプリケーションの変更がいらない • WHERE句、JOIN、SORT等はシャードサーバへプッシュダウンされる FDW-based Shardingの特徴② PostgreSQL PostgreSQL PostgreSQL PostgreSQL postgres_fdw PostgreSQL・・・
- 11. 11Copyright©2017 NTT corp. All Rights Reserved. FDW-based Shardingの仕組み PostgreSQL 親テーブル 子 外部テーブル 子 外部テーブル PostgreSQLテーブル PostgreSQLテーブル postgres_fdw テーブル パーティショニン グ機能 子テーブル FDW機能
- 12. 12Copyright©2017 NTT corp. All Rights Reserved. FDW-based Shardingの仕組み PostgreSQL 親テーブル 子 外部テーブル 子 外部テーブル PostgreSQLテーブル PostgreSQLテーブル postgres_fdw 子テーブル テーブルパーティショニング機能によっ て、SELECTでは振り分けられる
- 13. 13Copyright©2017 NTT corp. All Rights Reserved. FDW-based Shardingの仕組み PostgreSQL 親テーブル 子 外部テーブル 子 外部テーブル PostgreSQLテーブル PostgreSQLテーブル postgres_fdw 子テーブル 振り分けられた先が外部テーブルなら、 外部のサーバへ処理を依頼。 ローカルにあるテーブルなら、自分で処 理する。
- 14. 14Copyright©2017 NTT corp. All Rights Reserved. • 現在PostgreSQLコミュニティにて鋭意開発中なため、い くつか制約がある(PostgreSQL 9.6現在) • パーティションテーブルの運用が面倒※ • 集約処理はプッシュダウンされない※ • クラスタリング機能(高可用性)はコミュニティから提供 されていない • 分散トランザクション機能がない など ※PostgreSQL 10で一部改善 FDW-based Shardingは鋭意開発中
- 15. 15Copyright©2017 NTT corp. All Rights Reserved. FDW-based Shardingは鋭意開発中 PostgreSQL PostgreSQL PostgreSQL PostgreSQL postgres_fdw • マルチマスター構成も組もうと思えば組める • が、一貫性のある結果が返ってくる保証はない(更新が混ざった場合) • また、耐障害性について別途作り込む必要がある PostgreSQL postgres_fdw
- 16. 16Copyright©2017 NTT corp. All Rights Reserved. • PostgreSQLもスケールアウトできる • 商用製品、OSS製品など様々 • PostgreSQLのみを使ったスケールアウト構成も可能 • 開発中でもあるので制約をよく把握して使うこと まとめ
- 17. 17Copyright©2017 NTT corp. All Rights Reserved. ご清聴ありがとうございました
- 18. 18Copyright©2017 NTT corp. All Rights Reserved. Sort Push Down -- 9.5 Sort Output: p.col Sort Key: p.col -> Append -> Seq Scan on public.p Output: p.col -> Foreign Scan on public.s1 Output: s1.col Remote SQL: SELECT col FROM public.s1 -> Foreign Scan on public.s2 Output: s2.col Remote SQL: SELECT col FROM public.s2 -- 9.6 Merge Append Sort Key: p.col -> Sort Output: p.col Sort Key: p.col -> Seq Scan on public.p Output: p.col -> Foreign Scan on public.s1 Output: s1.col Remote SQL: SELECT col FROM public.s1 ORDER BY col ASC NULLS LAST -> Foreign Scan on public.s2 Output: s2.col Remote SQL: SELECT col FROM public.s2 ORDER BY col ASC NULLS LAST =# EXPLAIN (verbose on, costs off) SELECT * FROM p ORDER BY col;