SlideShare a Scribd company logo
PostgreSQLの 
パラレル化に向けた取り組み 
2014.10.11 
(仮名)PostgreSQL勉強会 
株式会社メトロシステムズ 
花田茂
Who am I? 
• 氏名:花田茂 
• 所属:株式会社メトロシステムズ 
• 連絡:@s87 
• 経歴: 
• PostgreSQLは7.4から 
• 周辺ツール開発(pg_bulkload/pg_rman/pg_lesslog/Etc.) 
• 最近は外部テーブル関連で本体開発 
• 勉強会やOCSなどで講演 
2
パラレル化って?
パラレル化って? 
• definition of Parallel 
• (of lines, planes, surfaces, or objects) side by side 
and having the same distance continuously between 
them: parallel lines never meet | the road runs parallel 
to the Ottawa River. 
• definition of Concurrent 
• existing, happening, or done at the same time: there 
are three concurrent art fairs around the city. 
出典:アメリカ英英辞典 on OS X Mavericks 
4
パラレル化って? 
• parallel=パラレル=並列 
! 
! 
! 
• concurrent=コンカレント=並行 
5
難しいことは 
置いといて
パラレル=高速化 
• 一人でやるよりみんなでやる方が早いよね! 
• ただし… 
• 誰が何をやれば良い? 
• いつから始められる? 
• 終わったらどうすればいい? 
当然、一筋縄では 
行きません 
7
どのあたりが難しいのか? 
• 対象の決定 
• どの処理を高速化するか? 
• 問題の分割 
• どの部分をパラレルに分けるか? 
• 動作の協調 
• 処理主体(=プロセス)をどのように起動するか? 
• どうやって、各自が何をすべきか知るか? 
• 情報の受け渡し 
• 入力・出力をどのように受け渡すか? 
8
対象の決定 
• 性能改善の基本は「ボトルネック解消」 
• ボトルネック以外を速くしても効果は薄い 
• 「クリティカルパス」を明確に 
• 例)データロードの場合 
• 最大テーブルのロード 
• 例)PostgreSQLのクエリ 
• SQLパース+プラン生成+最大テーブルのスキャン 
9
対象の決定 
• パラレル化で早くなるか? 
• ボトルネックの原因がパラレル化で解消されるか? 
• リソースさえあれば分割可能な処理か? 
• 処理単位の依存関係が整理されているか? 
10
対象の決定 
• PostgreSQLでいうと? 
• クエリ実行の要素 
• プラン生成 
• テーブルスキャン 
• 結合 
• ソート 
• Etc. 
• クエリ実行要素間 
• 結合の片側をソート中にもう片方をスキャン、など 
11
対象の決定 
• PostgreSQLでいうと? 
• その他 
• WAL書き込み 
• チェックポイント 
• テーブルメンテナンス 
• VACUUM、ANALYZE、REINDEX 
• ALTER TABLE 
• バックアップ取得 
12
問題の分割 
• どう分割したら早くなるか? 
• まじめに考えると論文書けるレベルの問題がてんこ盛り 
• スーパーコンピュータの超並列処理はここを頑張ってる? 
• PostgreSQLの中の人たちの腕の見せ所 
例題:100人分のカレーを作る 
13
問題の分割 
• カレーの調理手順 
• 米を研ぐ 
• 米を炊く 
• 肉を切る 
• 肉を炒める 
• 野菜を切る 
• 野菜を炒める 
14 
! 
• 鍋に入れる 
• 煮込む 
• カレールーを入れる 
• 皿にご飯を盛る 
• 皿にカレーを盛る 
• 配膳
問題の分割 
野菜を切る 
15 
肉を切る 
野菜を炒める肉を炒める 
鍋に入れる 
米を研ぐ 
米を炊く 
煮込む 
カレールーを入れる 
皿にご飯を盛る皿にカレーを盛る配膳
問題の分割 
Seq Scan 
16 
Seq Scan 
Sort Sort 
Merge Join 
Index Scan 
Aggregate 
Sort 
Aggregate 
Limit Append Limit
PostgreSQLの 
アーキテクチャ 
17
動作の協調 
• PostgreSQLはプロセスベース 
• セッション障害がインスタンス全体に波及しない 
• オーバーヘッドはスレッドより大きい 
• インスタンスに所属するプロセスの一覧を管理 
• PGPROCという構造体の配列を共有メモリ上に配置 
• postmaster(≒インスタンス)起動時に初期化 
• PGPROCは同期機構のラッチを持つ 
18
動作の協調 
• プロセス間のやりとり 
• 共有メモリ 
• シグナル 
• プロセス間の同期 
• スピンロック:超短期間(数十命令程度)用 
• 軽量ロック:共有メモリ資源の保護 
• ラッチ:複数プロセスからセットできる真偽値 
19
動作の協調 
• MVCC 
• 概要 
• Multi Version Concurrency Control 
• 更新時に古いバージョンを残したまま新しいバージョン 
を追加することで、特定タプルの可視性を効率的に判断 
する仕組み 
• 判断材料 
• 自TXのID(XID) 
• スナップショット(アクティブなTXのリスト) 
• タプルの作成/削除TX(xmin/xmax/cmin/cmax) 
20
情報の受け渡し 
• 基本的には共有メモリを使用 
• 既存の仕組みをそのまま共有メモリに展開すれば…と思い 
ますが、一筋縄(ry 
• PostgreSQLはヒープメモリの管理に独自アロケータを 
使用 
• 細かく確保した後に「コンテキスト」という単位で一括 
解放が可能 
• 共有メモリには非対応 
• 既存ルーチンで扱うには「ヒープ→共有→ヒープ」というメ 
モリコピーが必要 
21
パラレル化への 
取り組み
パラレル化への取り組み 
• 9.2 
• スナップショットエクスポート 
• 9.3 
• pg_dumpの--jobsオプションサポート 
• pg_upgradeの--jobsオプションサポート 
23
パラレル化への取り組み 
• 9.4(予定) 
• 動的バックグラウンドワーカー 
• Allow background worker processes to be 
dynamically registered, started and terminated 
(Robert Haas) 
• 動的共有メモリ 
• Allow dynamic allocation of shared memory 
segments (Robert Haas, Amit Kapila) 
• 共有メッセージキュー 
• Add single-reader, single-writer, lightweight shared 
message queue (Robert Haas) 
24
パラレル化への取り組み 
• 9.5(予定) 
• On partitioning (Alvaro Herrera) 
• 1st class objectとしてのパーティション 
• 議論/開発継続中 
• Introducing coarse grain parallelism by 
postgres_fdw(Kyotaro Horiguchi) 
• postgres_fdwでリモートクエリを非同期実行して待機 
時間を節約 
• 設計見直しが必要 
25
スナップショットの共有 
• pg_export_snapshot()関数 
• 現在のトランザクションのスナップショットを$PGDATA/ 
pg_snapshotsに書き出すし、スナップショットIDを返す 
• ファイル名=スナップショットID 
• SET TRANSACTION SNAPSHOT ‘スナップ 
ショットID’; 
• 指定したIDのスナップショットを現在のトランザクション 
で使用する 
26
動的バックグラウンドワーカー 
• 概要 
• 9.3で導入されたカスタムバックグラウンドワーカーの拡張 
• 9.3ではインスタンス起動時にのみ起動できたが、9.4から 
は、バックエンドからのAPI呼び出しで任意のタイミングで 
起動可能 
• 動的に起動したバックグラウンドワーカーの終了は 
SIGUSR1で通知可能 
• 起動数はmax_worker_processesで制御可能 
• つまり… 
• クエリ内容に応じて特定処理のバックグラウンドワーカー 
を起動し、その終了を起動したバックエンド側で検知可能 
27
動的バックグラウンドワーカー 
• API(バックエンド用) 
• RegisterDynamicBackgroundWorker() 
• バックエンドから動的BGWorkerを登録 
• WaitForBackgroundWorkerStartup() 
• 動的BGWorkerの起動を待機 
• GetBackgroundWorkerPid() 
• BGWorkerのPIDと状態を取得 
• TerminateBackgroundWorker() 
• PostmasterにBGWorkerの停止を依頼 
28
動的バックグラウンドワーカー 
• API(BGWorker用) 
• BackgroundWorkerInitializeConnection() 
• ローカルデータベースに接続 
• BackgroundWorkerUnblockSignals() 
• BGWorkerプロセスへのシグナルブロックを解除 
29
共有メッセージキュー 
• 概要 
• 共有メモリ上に配置したプロセス間メッセージキュー 
• 書き込み一人、読み込み一人の制限 
• 書き込み/読み込みはロックフリー 
• 読み書きはそれぞれPGPROCにエントリのあるプロセス 
• 読みと書きの間はプロセスラッチで同期 
• メッセージ長は任意 
• キューは固定長でリングバッファ構造 
30
共有メッセージキュー 
• API 
• shm_mq_create() 
• メッセージキューを生成 
• shm_mq_set_receiver()/shm_mq_set_sender() 
• 読み出し/書き込みプロセスを設定 
• shm_mq_get_receiver()/shm_mq_get_sender() 
• 読み出し/書き込みプロセスのPGPROCを取得 
31
共有メッセージキュー 
• API 
• shm_mq_attach() 
• メッセージキューにアタッチしてハンドルを取得 
• shm_mq_wait_for_attach() 
• メッセージキューへのアタッチを待機 
• shm_mq_detach() 
• メッセージキューからデタッチ 
32
共有メッセージキュー 
• API 
• shm_mq_send()/shm_mq_receive() 
• 可変長のメッセージを書き込む/読み出す 
• ラッチでキューの空き/メッセージの到着を待機すること 
も可能 
33
こんなことが 
できるようになる(仮)
スキャンの分割 
• あるテーブルのスキャンを複数プロセスで分担 
• ページで分割 
• テーブルで分割(パーティション/シャーディング) 
• 課題点 
• 複数プロセスでのタプル可視性の共有 
• 結果のとりまとめ 
35
スキャンの分割 
ワーカーが 
スキャン 
36 
ページ1 
ページ2 
ページ3 
ページ4 
ページ5 
ページ6 
ページ7 
ページ8 
ワーカー 
ワーカー 
バック 
エンド 
起動 
起動 
キュー経由で 
結果を渡す
ソートの分割 
• ある結果セットのソートを複数プロセスで分担 
• ページで分割 
• テーブルで分割(パーティション/シャーディング) 
• 課題点 
• 入力の分配(HadoopでいうMap処理) 
• 結果のとりまとめ 
37
ソートの分割 
ワーカーが 
部分ソート 
38 
ワーカー 
ワーカー 
バック 
エンド 
起動 
起動 
キュー経由で 
結果を渡す 
バックエンド 
で最終ソート
集約の分割 
• 概要 
• ある結果セットの集約を複数プロセスで分担 
• MAX()/MIN()やCOUNT()は多段集約が容易 
• AVG()などはやや困難? 
• 課題点 
• 入力の分配 
• 結果のとりまとめ 
39
集約の分割 
ワーカーが 
部分集約 
40 
ワーカー 
ワーカー 
バック 
エンド 
起動 
起動 
キュー経由で 
結果を渡す 
バックエンド 
で最終集約
データロードの分割 
• 概要 
• バルクINSERTやCOPYを複数プロセスで分担 
• 文字列→内部表現変換もパラレル化できると効果大 
• 複数セッションでのINSERT/COPYと異なり1トランザ 
クションで完結 
• 課題点 
• 追加先の衝突回避 
• WALバッファのボトルネック化 
41
もう少しローレベルに
I/OとCPUの分割 
• 概要 
• I/O待ちってもったいないよね? 
• その間にCPU使う処理できるんじゃない? 
• スキャン開始時にfadvise()などでread ahead 
• postgres_fdwなどで非同期クエリ 
• 課題点 
• 先読み(投機的実行)はパイプライニングと相性が悪い? 
• effective_io_concurrencyで十分? 
• スピンドル数に基づいて同時I/O発行数を制御 
43
CPU処理の分割 
• 概要 
• スキャン結果のフィルタリング(WHERE句適用)などは 
CPU処理 
• 対象行数が多い場合はCPUでの並列処理にも限界 
• GPUでSIMDしちゃえば? 
• 課題点 
• 任意のコードをGPU側でコンパイル・実行する機能が必要 
• pg_stromが開発中 
44
残っている課題 
• パラレル実行のプラン生成 
• パラレル実行のコストを正しく見積もれるか? 
• コスト算出を現実的な時間で完了できるか? 
45
残っている課題 
• リソース制御 
• プロセス数やメモリ量、CPU使用率といったリソースを核 
処理がどこまで使用してよいか?をクラスタ全体よりも細 
かい粒度で制御する仕組みが必要 
• これがないと、リソース枯渇でシステムダウンも 
• work_memなども意味を変える必要あり? 
46
ご清聴ありがとうございました。 
Questions?

More Related Content

What's hot (20)

PDF
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon Web Services Japan
 
PPTX
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
NTT DATA Technology & Innovation
 
PPTX
がっつりMongoDB事例紹介
Tetsutaro Watanabe
 
PPTX
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
Miki Shimogai
 
PDF
[Postgre sql9.4新機能]レプリケーション・スロットの活用
Kosuke Kida
 
PDF
【CNDT2022】SIerで実践!クラウドネイティブを普及させる取り組み
Yuta Shimada
 
PDF
Infrastructure as Code (IaC) 談義 2022
Amazon Web Services Japan
 
PDF
まずやっとくPostgreSQLチューニング
Kosuke Kida
 
PDF
pg_hint_planを知る(第37回PostgreSQLアンカンファレンス@オンライン 発表資料)
NTT DATA Technology & Innovation
 
PDF
超実践 Cloud Spanner 設計講座
Samir Hammoudi
 
PPTX
Oracle Database (CDB) on Docker を動かしてみる
オラクルエンジニア通信
 
PPTX
GraphQLのsubscriptionで出来ること
Shingo Fukui
 
PDF
SageMakerでもAUTOMATIC1111したい
真吾 吉田
 
PDF
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
 
PDF
Inside vacuum - 第一回PostgreSQLプレ勉強会
Masahiko Sawada
 
PDF
20190806 AWS Black Belt Online Seminar AWS Glue
Amazon Web Services Japan
 
PDF
AWS Black Belt Online Seminar 2017 Amazon DynamoDB
Amazon Web Services Japan
 
PDF
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
Amazon Web Services Japan
 
PDF
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
Amazon Web Services Japan
 
PDF
PG-REXで学ぶPacemaker運用の実例
kazuhcurry
 
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon Web Services Japan
 
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
NTT DATA Technology & Innovation
 
がっつりMongoDB事例紹介
Tetsutaro Watanabe
 
PostgreSQLクエリ実行の基礎知識 ~Explainを読み解こう~
Miki Shimogai
 
[Postgre sql9.4新機能]レプリケーション・スロットの活用
Kosuke Kida
 
【CNDT2022】SIerで実践!クラウドネイティブを普及させる取り組み
Yuta Shimada
 
Infrastructure as Code (IaC) 談義 2022
Amazon Web Services Japan
 
まずやっとくPostgreSQLチューニング
Kosuke Kida
 
pg_hint_planを知る(第37回PostgreSQLアンカンファレンス@オンライン 発表資料)
NTT DATA Technology & Innovation
 
超実践 Cloud Spanner 設計講座
Samir Hammoudi
 
Oracle Database (CDB) on Docker を動かしてみる
オラクルエンジニア通信
 
GraphQLのsubscriptionで出来ること
Shingo Fukui
 
SageMakerでもAUTOMATIC1111したい
真吾 吉田
 
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
 
Inside vacuum - 第一回PostgreSQLプレ勉強会
Masahiko Sawada
 
20190806 AWS Black Belt Online Seminar AWS Glue
Amazon Web Services Japan
 
AWS Black Belt Online Seminar 2017 Amazon DynamoDB
Amazon Web Services Japan
 
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
Amazon Web Services Japan
 
20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL
Amazon Web Services Japan
 
PG-REXで学ぶPacemaker運用の実例
kazuhcurry
 

Viewers also liked (20)

PDF
PostgreSQL 9.6 新機能紹介
Masahiko Sawada
 
PDF
並列クエリを実行するPostgreSQLのアーキテクチャ
Kohei KaiGai
 
PDF
PostgreSQL 9.5 新機能紹介
NTT DATA OSS Professional Services
 
PDF
Djangoで業務改善したい
Satoshi Yamada
 
PDF
pgconfasia2016 plcuda en
Kohei KaiGai
 
PDF
PostgreSQL実行計画入門@関西PostgreSQL勉強会
Satoshi Yamada
 
PDF
[OSC2016沖縄]商用DBからPostgreSQLへの移行入門
Kosuke Kida
 
PDF
20170127 JAWS HPC-UG#8
Kohei KaiGai
 
PDF
PostgreSQLとPythonとSQL
Satoshi Yamada
 
PDF
bottle.pyをつかったチャットアプリ作成チュートリアル
Satoshi Yamada
 
PDF
PostgreSQL SQLチューニング入門 実践編(pgcon14j)
Satoshi Yamada
 
PDF
DeNAでのverticaを活用したアナリスト業務のご紹介
Sho Kohigashi
 
PDF
PL/CUDA - Fusion of HPC Grade Power with In-Database Analytics
Kohei KaiGai
 
PDF
bottleで始めるWEBアプリの最初の一歩
Satoshi Yamada
 
PDF
性能測定道 実践編
Yuto Hayamizu
 
PDF
PostgreSQLアーキテクチャ入門(INSIGHT OUT 2011)
Uptime Technologies LLC (JP)
 
PDF
(JP) GPGPUがPostgreSQLを加速する
Kohei KaiGai
 
PDF
PostgreSQLアンチパターン
Soudai Sone
 
PDF
PostgreSQLの実行計画を読み解こう(OSC2015 Spring/Tokyo)
Satoshi Yamada
 
PDF
PostgreSQLによるデータ分析ことはじめ
Ohyama Masanori
 
PostgreSQL 9.6 新機能紹介
Masahiko Sawada
 
並列クエリを実行するPostgreSQLのアーキテクチャ
Kohei KaiGai
 
PostgreSQL 9.5 新機能紹介
NTT DATA OSS Professional Services
 
Djangoで業務改善したい
Satoshi Yamada
 
pgconfasia2016 plcuda en
Kohei KaiGai
 
PostgreSQL実行計画入門@関西PostgreSQL勉強会
Satoshi Yamada
 
[OSC2016沖縄]商用DBからPostgreSQLへの移行入門
Kosuke Kida
 
20170127 JAWS HPC-UG#8
Kohei KaiGai
 
PostgreSQLとPythonとSQL
Satoshi Yamada
 
bottle.pyをつかったチャットアプリ作成チュートリアル
Satoshi Yamada
 
PostgreSQL SQLチューニング入門 実践編(pgcon14j)
Satoshi Yamada
 
DeNAでのverticaを活用したアナリスト業務のご紹介
Sho Kohigashi
 
PL/CUDA - Fusion of HPC Grade Power with In-Database Analytics
Kohei KaiGai
 
bottleで始めるWEBアプリの最初の一歩
Satoshi Yamada
 
性能測定道 実践編
Yuto Hayamizu
 
PostgreSQLアーキテクチャ入門(INSIGHT OUT 2011)
Uptime Technologies LLC (JP)
 
(JP) GPGPUがPostgreSQLを加速する
Kohei KaiGai
 
PostgreSQLアンチパターン
Soudai Sone
 
PostgreSQLの実行計画を読み解こう(OSC2015 Spring/Tokyo)
Satoshi Yamada
 
PostgreSQLによるデータ分析ことはじめ
Ohyama Masanori
 
Ad

Similar to PostgreSQLのパラレル化に向けた取り組み@第30回(仮名)PostgreSQL勉強会 (20)

PDF
PostgreSQLアーキテクチャ入門(PostgreSQL Conference 2012)
Uptime Technologies LLC (JP)
 
PDF
いまさら聞けないPostgreSQL運用管理
Uptime Technologies LLC (JP)
 
PDF
PostgreSQLバックアップの基本
Uptime Technologies LLC (JP)
 
PDF
Programming camp 2008, Codereading
Hiro Yoshioka
 
PDF
PostgreSQLアーキテクチャ入門
Uptime Technologies LLC (JP)
 
PDF
Programming camp code reading
Hiro Yoshioka
 
PDF
PostgreSQLのトラブルシューティング@第5回中国地方DB勉強会
Shigeru Hanada
 
PPTX
EmbulkとDigdagとデータ分析基盤と
Toru Takahashi
 
PPTX
EmbulkとDigdagとデータ分析基盤と
Toru Takahashi
 
PDF
Firefoxの開発プロセス
Makoto Kato
 
PDF
Pythonの非同期処理を始める前に
koralle
 
PPT
YAPC::Asia 2008 Tokyo - Pathtraq - building a computation-centric web service
Kazuho Oku
 
PDF
Jubatusでマルウェア分類
Shuzo Kashihara
 
PDF
Code Reading at Security and Programming camp 2011
Hiro Yoshioka
 
PPTX
Ossで作成するチーム開発環境
Tadahiro Ishisaka
 
PDF
Hadoop Summit 2016 San Jose ストリーム処理関連の報告 #streamctjp
Yahoo!デベロッパーネットワーク
 
PDF
C16 45分でわかるPostgreSQLの仕組み by 山田努
Insight Technology, Inc.
 
PDF
Apache Auroraの始めかた
Masahito Zembutsu
 
PDF
生物データベース論(並列分散計算フレームワーク)
Masahiro Kasahara
 
PPTX
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識 第3版
Katsuhiro Morishita
 
PostgreSQLアーキテクチャ入門(PostgreSQL Conference 2012)
Uptime Technologies LLC (JP)
 
いまさら聞けないPostgreSQL運用管理
Uptime Technologies LLC (JP)
 
PostgreSQLバックアップの基本
Uptime Technologies LLC (JP)
 
Programming camp 2008, Codereading
Hiro Yoshioka
 
PostgreSQLアーキテクチャ入門
Uptime Technologies LLC (JP)
 
Programming camp code reading
Hiro Yoshioka
 
PostgreSQLのトラブルシューティング@第5回中国地方DB勉強会
Shigeru Hanada
 
EmbulkとDigdagとデータ分析基盤と
Toru Takahashi
 
EmbulkとDigdagとデータ分析基盤と
Toru Takahashi
 
Firefoxの開発プロセス
Makoto Kato
 
Pythonの非同期処理を始める前に
koralle
 
YAPC::Asia 2008 Tokyo - Pathtraq - building a computation-centric web service
Kazuho Oku
 
Jubatusでマルウェア分類
Shuzo Kashihara
 
Code Reading at Security and Programming camp 2011
Hiro Yoshioka
 
Ossで作成するチーム開発環境
Tadahiro Ishisaka
 
Hadoop Summit 2016 San Jose ストリーム処理関連の報告 #streamctjp
Yahoo!デベロッパーネットワーク
 
C16 45分でわかるPostgreSQLの仕組み by 山田努
Insight Technology, Inc.
 
Apache Auroraの始めかた
Masahito Zembutsu
 
生物データベース論(並列分散計算フレームワーク)
Masahiro Kasahara
 
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識 第3版
Katsuhiro Morishita
 
Ad

More from Shigeru Hanada (12)

PDF
PostgreSQL 10 新機能 @OSC 2017 Fukuoka
Shigeru Hanada
 
PDF
PostgreSQL 10 新機能 @オープンセミナー香川 2017
Shigeru Hanada
 
PDF
Foreign Data Wrapper Enhancements
Shigeru Hanada
 
PDF
OSS-DB Gold技術解説セミナー@db tech showcase 東京 2014
Shigeru Hanada
 
PDF
PostgreSQLではじめるOSS開発@OSC 2014 Hiroshima
Shigeru Hanada
 
PDF
OSS-DB Goldへの第一歩~実践!運用管理~
Shigeru Hanada
 
PDF
PostgreSQL開発ことはじめ - 第27回しくみ+アプリケーション勉強会
Shigeru Hanada
 
PDF
9.3で進化した外部テーブル
Shigeru Hanada
 
PDF
Extending PostgreSQL - PgDay 2012 Japan
Shigeru Hanada
 
PDF
PostgreSQL 9.2 新機能 - 新潟オープンソースセミナー2012
Shigeru Hanada
 
ODP
PostgreSQL 9.2 新機能 - OSC 2012 Kansai@Kyoto
Shigeru Hanada
 
PDF
外部データラッパによる PostgreSQL の拡張
Shigeru Hanada
 
PostgreSQL 10 新機能 @OSC 2017 Fukuoka
Shigeru Hanada
 
PostgreSQL 10 新機能 @オープンセミナー香川 2017
Shigeru Hanada
 
Foreign Data Wrapper Enhancements
Shigeru Hanada
 
OSS-DB Gold技術解説セミナー@db tech showcase 東京 2014
Shigeru Hanada
 
PostgreSQLではじめるOSS開発@OSC 2014 Hiroshima
Shigeru Hanada
 
OSS-DB Goldへの第一歩~実践!運用管理~
Shigeru Hanada
 
PostgreSQL開発ことはじめ - 第27回しくみ+アプリケーション勉強会
Shigeru Hanada
 
9.3で進化した外部テーブル
Shigeru Hanada
 
Extending PostgreSQL - PgDay 2012 Japan
Shigeru Hanada
 
PostgreSQL 9.2 新機能 - 新潟オープンソースセミナー2012
Shigeru Hanada
 
PostgreSQL 9.2 新機能 - OSC 2012 Kansai@Kyoto
Shigeru Hanada
 
外部データラッパによる PostgreSQL の拡張
Shigeru Hanada
 

Recently uploaded (10)

PPTX
新卒・中途採用者向け採用ピッチ資料2025年7月版(20250702).pptx
Official74
 
PDF
SIG-AUDIO 2025 Vol.02 オンラインセミナー SIG-Audioプレゼン資料_オーディオプラグイン開発_塩澤達矢.pdf
IGDA Japan SIG-Audio
 
PDF
20250630_aws_reinforce_2025_aws_sheild_network_security_director
uedayuki
 
PDF
2023年版Web3技術の理想と現実
Syuhei Hiya
 
PDF
人気ブロックチェーン基盤「Hyperledger Fabric」最新版を動かしてみた!
LFDT Tokyo Meetup
 
PDF
生成AIパネルトーク(Interop25Tokyo APPS JAPAN M1-07,M2-07 嶋ポジショントーク)
嶋 是一 (Yoshikazu SHIMA)
 
PDF
Hyperledger Fabric公式サンプル fabric-samples徹底解説
LFDT Tokyo Meetup
 
PPTX
オープンソース界隈の利用者や技術者から見たオープンソースEDAとは? What is open source EDA from the perspecti...
Industrial Technology Research Institute (ITRI)(工業技術研究院, 工研院)
 
PDF
ABC2025S LT講演「世界の窓から Androidこんにちは2025」アプリ自動生成の将来?ロボティクスの夢再び?
嶋 是一 (Yoshikazu SHIMA)
 
PDF
Hyperledger Fabric最新v3.x系での機能強化、変更点にキャッチアップ!
LFDT Tokyo Meetup
 
新卒・中途採用者向け採用ピッチ資料2025年7月版(20250702).pptx
Official74
 
SIG-AUDIO 2025 Vol.02 オンラインセミナー SIG-Audioプレゼン資料_オーディオプラグイン開発_塩澤達矢.pdf
IGDA Japan SIG-Audio
 
20250630_aws_reinforce_2025_aws_sheild_network_security_director
uedayuki
 
2023年版Web3技術の理想と現実
Syuhei Hiya
 
人気ブロックチェーン基盤「Hyperledger Fabric」最新版を動かしてみた!
LFDT Tokyo Meetup
 
生成AIパネルトーク(Interop25Tokyo APPS JAPAN M1-07,M2-07 嶋ポジショントーク)
嶋 是一 (Yoshikazu SHIMA)
 
Hyperledger Fabric公式サンプル fabric-samples徹底解説
LFDT Tokyo Meetup
 
オープンソース界隈の利用者や技術者から見たオープンソースEDAとは? What is open source EDA from the perspecti...
Industrial Technology Research Institute (ITRI)(工業技術研究院, 工研院)
 
ABC2025S LT講演「世界の窓から Androidこんにちは2025」アプリ自動生成の将来?ロボティクスの夢再び?
嶋 是一 (Yoshikazu SHIMA)
 
Hyperledger Fabric最新v3.x系での機能強化、変更点にキャッチアップ!
LFDT Tokyo Meetup
 

PostgreSQLのパラレル化に向けた取り組み@第30回(仮名)PostgreSQL勉強会

  • 1. PostgreSQLの パラレル化に向けた取り組み 2014.10.11 (仮名)PostgreSQL勉強会 株式会社メトロシステムズ 花田茂
  • 2. Who am I? • 氏名:花田茂 • 所属:株式会社メトロシステムズ • 連絡:@s87 • 経歴: • PostgreSQLは7.4から • 周辺ツール開発(pg_bulkload/pg_rman/pg_lesslog/Etc.) • 最近は外部テーブル関連で本体開発 • 勉強会やOCSなどで講演 2
  • 4. パラレル化って? • definition of Parallel • (of lines, planes, surfaces, or objects) side by side and having the same distance continuously between them: parallel lines never meet | the road runs parallel to the Ottawa River. • definition of Concurrent • existing, happening, or done at the same time: there are three concurrent art fairs around the city. 出典:アメリカ英英辞典 on OS X Mavericks 4
  • 5. パラレル化って? • parallel=パラレル=並列 ! ! ! • concurrent=コンカレント=並行 5
  • 7. パラレル=高速化 • 一人でやるよりみんなでやる方が早いよね! • ただし… • 誰が何をやれば良い? • いつから始められる? • 終わったらどうすればいい? 当然、一筋縄では 行きません 7
  • 8. どのあたりが難しいのか? • 対象の決定 • どの処理を高速化するか? • 問題の分割 • どの部分をパラレルに分けるか? • 動作の協調 • 処理主体(=プロセス)をどのように起動するか? • どうやって、各自が何をすべきか知るか? • 情報の受け渡し • 入力・出力をどのように受け渡すか? 8
  • 9. 対象の決定 • 性能改善の基本は「ボトルネック解消」 • ボトルネック以外を速くしても効果は薄い • 「クリティカルパス」を明確に • 例)データロードの場合 • 最大テーブルのロード • 例)PostgreSQLのクエリ • SQLパース+プラン生成+最大テーブルのスキャン 9
  • 10. 対象の決定 • パラレル化で早くなるか? • ボトルネックの原因がパラレル化で解消されるか? • リソースさえあれば分割可能な処理か? • 処理単位の依存関係が整理されているか? 10
  • 11. 対象の決定 • PostgreSQLでいうと? • クエリ実行の要素 • プラン生成 • テーブルスキャン • 結合 • ソート • Etc. • クエリ実行要素間 • 結合の片側をソート中にもう片方をスキャン、など 11
  • 12. 対象の決定 • PostgreSQLでいうと? • その他 • WAL書き込み • チェックポイント • テーブルメンテナンス • VACUUM、ANALYZE、REINDEX • ALTER TABLE • バックアップ取得 12
  • 13. 問題の分割 • どう分割したら早くなるか? • まじめに考えると論文書けるレベルの問題がてんこ盛り • スーパーコンピュータの超並列処理はここを頑張ってる? • PostgreSQLの中の人たちの腕の見せ所 例題:100人分のカレーを作る 13
  • 14. 問題の分割 • カレーの調理手順 • 米を研ぐ • 米を炊く • 肉を切る • 肉を炒める • 野菜を切る • 野菜を炒める 14 ! • 鍋に入れる • 煮込む • カレールーを入れる • 皿にご飯を盛る • 皿にカレーを盛る • 配膳
  • 15. 問題の分割 野菜を切る 15 肉を切る 野菜を炒める肉を炒める 鍋に入れる 米を研ぐ 米を炊く 煮込む カレールーを入れる 皿にご飯を盛る皿にカレーを盛る配膳
  • 16. 問題の分割 Seq Scan 16 Seq Scan Sort Sort Merge Join Index Scan Aggregate Sort Aggregate Limit Append Limit
  • 18. 動作の協調 • PostgreSQLはプロセスベース • セッション障害がインスタンス全体に波及しない • オーバーヘッドはスレッドより大きい • インスタンスに所属するプロセスの一覧を管理 • PGPROCという構造体の配列を共有メモリ上に配置 • postmaster(≒インスタンス)起動時に初期化 • PGPROCは同期機構のラッチを持つ 18
  • 19. 動作の協調 • プロセス間のやりとり • 共有メモリ • シグナル • プロセス間の同期 • スピンロック:超短期間(数十命令程度)用 • 軽量ロック:共有メモリ資源の保護 • ラッチ:複数プロセスからセットできる真偽値 19
  • 20. 動作の協調 • MVCC • 概要 • Multi Version Concurrency Control • 更新時に古いバージョンを残したまま新しいバージョン を追加することで、特定タプルの可視性を効率的に判断 する仕組み • 判断材料 • 自TXのID(XID) • スナップショット(アクティブなTXのリスト) • タプルの作成/削除TX(xmin/xmax/cmin/cmax) 20
  • 21. 情報の受け渡し • 基本的には共有メモリを使用 • 既存の仕組みをそのまま共有メモリに展開すれば…と思い ますが、一筋縄(ry • PostgreSQLはヒープメモリの管理に独自アロケータを 使用 • 細かく確保した後に「コンテキスト」という単位で一括 解放が可能 • 共有メモリには非対応 • 既存ルーチンで扱うには「ヒープ→共有→ヒープ」というメ モリコピーが必要 21
  • 23. パラレル化への取り組み • 9.2 • スナップショットエクスポート • 9.3 • pg_dumpの--jobsオプションサポート • pg_upgradeの--jobsオプションサポート 23
  • 24. パラレル化への取り組み • 9.4(予定) • 動的バックグラウンドワーカー • Allow background worker processes to be dynamically registered, started and terminated (Robert Haas) • 動的共有メモリ • Allow dynamic allocation of shared memory segments (Robert Haas, Amit Kapila) • 共有メッセージキュー • Add single-reader, single-writer, lightweight shared message queue (Robert Haas) 24
  • 25. パラレル化への取り組み • 9.5(予定) • On partitioning (Alvaro Herrera) • 1st class objectとしてのパーティション • 議論/開発継続中 • Introducing coarse grain parallelism by postgres_fdw(Kyotaro Horiguchi) • postgres_fdwでリモートクエリを非同期実行して待機 時間を節約 • 設計見直しが必要 25
  • 26. スナップショットの共有 • pg_export_snapshot()関数 • 現在のトランザクションのスナップショットを$PGDATA/ pg_snapshotsに書き出すし、スナップショットIDを返す • ファイル名=スナップショットID • SET TRANSACTION SNAPSHOT ‘スナップ ショットID’; • 指定したIDのスナップショットを現在のトランザクション で使用する 26
  • 27. 動的バックグラウンドワーカー • 概要 • 9.3で導入されたカスタムバックグラウンドワーカーの拡張 • 9.3ではインスタンス起動時にのみ起動できたが、9.4から は、バックエンドからのAPI呼び出しで任意のタイミングで 起動可能 • 動的に起動したバックグラウンドワーカーの終了は SIGUSR1で通知可能 • 起動数はmax_worker_processesで制御可能 • つまり… • クエリ内容に応じて特定処理のバックグラウンドワーカー を起動し、その終了を起動したバックエンド側で検知可能 27
  • 28. 動的バックグラウンドワーカー • API(バックエンド用) • RegisterDynamicBackgroundWorker() • バックエンドから動的BGWorkerを登録 • WaitForBackgroundWorkerStartup() • 動的BGWorkerの起動を待機 • GetBackgroundWorkerPid() • BGWorkerのPIDと状態を取得 • TerminateBackgroundWorker() • PostmasterにBGWorkerの停止を依頼 28
  • 29. 動的バックグラウンドワーカー • API(BGWorker用) • BackgroundWorkerInitializeConnection() • ローカルデータベースに接続 • BackgroundWorkerUnblockSignals() • BGWorkerプロセスへのシグナルブロックを解除 29
  • 30. 共有メッセージキュー • 概要 • 共有メモリ上に配置したプロセス間メッセージキュー • 書き込み一人、読み込み一人の制限 • 書き込み/読み込みはロックフリー • 読み書きはそれぞれPGPROCにエントリのあるプロセス • 読みと書きの間はプロセスラッチで同期 • メッセージ長は任意 • キューは固定長でリングバッファ構造 30
  • 31. 共有メッセージキュー • API • shm_mq_create() • メッセージキューを生成 • shm_mq_set_receiver()/shm_mq_set_sender() • 読み出し/書き込みプロセスを設定 • shm_mq_get_receiver()/shm_mq_get_sender() • 読み出し/書き込みプロセスのPGPROCを取得 31
  • 32. 共有メッセージキュー • API • shm_mq_attach() • メッセージキューにアタッチしてハンドルを取得 • shm_mq_wait_for_attach() • メッセージキューへのアタッチを待機 • shm_mq_detach() • メッセージキューからデタッチ 32
  • 33. 共有メッセージキュー • API • shm_mq_send()/shm_mq_receive() • 可変長のメッセージを書き込む/読み出す • ラッチでキューの空き/メッセージの到着を待機すること も可能 33
  • 35. スキャンの分割 • あるテーブルのスキャンを複数プロセスで分担 • ページで分割 • テーブルで分割(パーティション/シャーディング) • 課題点 • 複数プロセスでのタプル可視性の共有 • 結果のとりまとめ 35
  • 36. スキャンの分割 ワーカーが スキャン 36 ページ1 ページ2 ページ3 ページ4 ページ5 ページ6 ページ7 ページ8 ワーカー ワーカー バック エンド 起動 起動 キュー経由で 結果を渡す
  • 37. ソートの分割 • ある結果セットのソートを複数プロセスで分担 • ページで分割 • テーブルで分割(パーティション/シャーディング) • 課題点 • 入力の分配(HadoopでいうMap処理) • 結果のとりまとめ 37
  • 38. ソートの分割 ワーカーが 部分ソート 38 ワーカー ワーカー バック エンド 起動 起動 キュー経由で 結果を渡す バックエンド で最終ソート
  • 39. 集約の分割 • 概要 • ある結果セットの集約を複数プロセスで分担 • MAX()/MIN()やCOUNT()は多段集約が容易 • AVG()などはやや困難? • 課題点 • 入力の分配 • 結果のとりまとめ 39
  • 40. 集約の分割 ワーカーが 部分集約 40 ワーカー ワーカー バック エンド 起動 起動 キュー経由で 結果を渡す バックエンド で最終集約
  • 41. データロードの分割 • 概要 • バルクINSERTやCOPYを複数プロセスで分担 • 文字列→内部表現変換もパラレル化できると効果大 • 複数セッションでのINSERT/COPYと異なり1トランザ クションで完結 • 課題点 • 追加先の衝突回避 • WALバッファのボトルネック化 41
  • 43. I/OとCPUの分割 • 概要 • I/O待ちってもったいないよね? • その間にCPU使う処理できるんじゃない? • スキャン開始時にfadvise()などでread ahead • postgres_fdwなどで非同期クエリ • 課題点 • 先読み(投機的実行)はパイプライニングと相性が悪い? • effective_io_concurrencyで十分? • スピンドル数に基づいて同時I/O発行数を制御 43
  • 44. CPU処理の分割 • 概要 • スキャン結果のフィルタリング(WHERE句適用)などは CPU処理 • 対象行数が多い場合はCPUでの並列処理にも限界 • GPUでSIMDしちゃえば? • 課題点 • 任意のコードをGPU側でコンパイル・実行する機能が必要 • pg_stromが開発中 44
  • 45. 残っている課題 • パラレル実行のプラン生成 • パラレル実行のコストを正しく見積もれるか? • コスト算出を現実的な時間で完了できるか? 45
  • 46. 残っている課題 • リソース制御 • プロセス数やメモリ量、CPU使用率といったリソースを核 処理がどこまで使用してよいか?をクラスタ全体よりも細 かい粒度で制御する仕組みが必要 • これがないと、リソース枯渇でシステムダウンも • work_memなども意味を変える必要あり? 46