【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]
1 like•879 views
2017/7/26【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編] https://info.microsoft.com/JA-Azure-WBNR-FY18-07Jul-26-AzureSQLDataWarehouse-339932_02OnDemandRegistration-ForminBody.html
![AI 時代のクラウド データ ウェアハウス
Azure SQL Data Warehouse [実践編]
日本マイクロソフト株式会社
クラウド ソリューション アーキテクト
高木 英朗](https://image.slidesharecdn.com/webinarsqldw20170726-180220004900/85/AI-Azure-SQL-Data-Warehouse-1-320.jpg)
![【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]](https://image.slidesharecdn.com/webinarsqldw20170726-180220004900/85/AI-Azure-SQL-Data-Warehouse-5-320.jpg)
![【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]](https://image.slidesharecdn.com/webinarsqldw20170726-180220004900/85/AI-Azure-SQL-Data-Warehouse-7-320.jpg)
![【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]](https://image.slidesharecdn.com/webinarsqldw20170726-180220004900/85/AI-Azure-SQL-Data-Warehouse-14-320.jpg)
![【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]](https://image.slidesharecdn.com/webinarsqldw20170726-180220004900/85/AI-Azure-SQL-Data-Warehouse-32-320.jpg)
![【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]](https://image.slidesharecdn.com/webinarsqldw20170726-180220004900/85/AI-Azure-SQL-Data-Warehouse-47-320.jpg)
【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]
- 1. AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編] 日本マイクロソフト株式会社 クラウド ソリューション アーキテクト 高木 英朗
- 2. • Azure SQL Data Warehouse のアーキテクチャを理解する • Azure SQL Data Warehouse の主要な設計ポイントを理解する • DWU サイジング時の考慮ポイントを理解する
- 3. 3 日本マイクロソフト株式会社 デジタルトランスフォーメーション事業本部 データ & クラウド AI アーキテクト技術本部 クラウドソリューションアーキテクト 高木 英朗 • チームでブログ書いています http://aka.ms/dpblog • 個人でもブログ書いています http://whata.hatenablog.com/
- 4. 4 Azure SQL Data Warehouse 概要 アーキテクチャの概要 テーブル設計のポイント サイジングのポイント Q&A
- 8. 8 コントロール ノード SQL DB コンピュート ノード コンピュート ノード コンピュート ノード コンピュート ノード SQL DB SQL DB SQL DB SQL DB Azure Premium Storage (SSD) コントロールノード ユーザーからの接続 コンピュートとストレージの調整
- 9. 9 クエリ性能のパワーを表す指標 DWH において最も重要な以下の 3 要素を数値化 • 行のスキャン性能 • ロード性能 • ノード間のコピー性能 スキャン性能 3.36M row/sec ロード性能 130K row/sec ノード間のコピー性能 350K row/sec 100 DWU あたりの参考性能 100 DWU ＝ 1 コンピュートノード DWU DW100 DW200 DW300 DW400 DW500 DW600 DW1000 DW1200 DW1500 DW2000 DW3000 DW6000 DW9000 DW18000
- 13. 13 SELECT COUNT_BIG(*) FROM FactInternetSales; SELECT SUM(*) FROM FactInternetSales; SELECT COUNT_BIG(*) FROM FactInternetSales; SELECT COUNT_BIG(*) FROM FactInternetSales; SELECT COUNT_BIG(*) FROM FactInternetSales; SELECT COUNT_BIG(*) FROM FactInternetSales; Compute Control
- 15. 15 ラウンドロビン ハッシュ 複製 (Replicated table) • 全てのディストリビューションに 均等にランダムに分散 • 指定した列のハッシュ値に基 づいて分散 • テーブルをすべてのコンピュー トのディストリビューションに配 置 DISTRIBUTION = ROUND_ROBIN DISTRIBUTION = HASH(Key) DISTRIBUTION = REPLICATE Public preview (2017/7/26 現在)
- 16. 16 均一にすべてのディストリビューションに CREATE TABLE (…) WITH DISTRIBUTION = ROUND_ROBIN Dist_DB_1 Dist_DB_2 Dist_DB_3 Dist_DB_4 ID Name City Balance 201 Bob Madison $3,000 105 Sue San Fran $110 933 Sue Seattle $40,000 150 George Seattle $60 220 Sally Mtn View $990 86 Bob New York $2,300 201 Bob … 105 Sue … 150 Geoge … 220 Sally … 86 Bob … 933 Sue … 482 John … 115 Asad … 201 Bob Madison $3,000 105 Sue San Fran $110 933 Sue Seattle $40,000 150 George Seattle $60 220 Sally Mtn View $990 86 Bob New York $2,300
- 17. 17 • 小さなディメンション向き • 大きなファクトには適さない • ローディングは最も高速 選択のポイント • 明確な結合キーが存在しない場合 • ハッシュの候補キーが不明な場合 • テーブルが共通の結合キーを他のテーブルと共有していない場合 • 結合がクエリの他の結合ほど重要ではない場合 • テーブルが初期読み込みテーブルの場合 ⇒ 可能であれば まずハッシュを検討
- 18. 18 ID UserID Name Tran 201 123 Bob $3,000 105 324 Sue $110 933 324 Sue $40,000 150 45 George $60 220 154 Sally $990 86 123 Bob $2,300 201 123 Bob $3,000 105 324 Sue $110 933 324 Sue $40,000 150 45 George $60 220 154 Sally $990 86 123 Bob $2,300 Dist_DB_1 Dist_DB_2 Dist_DB_3 Dist_DB_4 同じキーは同じディストリビューションに 123 Bob … 324 Sue … 45 Geoge … 154 Sally … 123 Bob … 324 Sue … CREATE TABLE (…) WITH DISTRIBUTION = HASH(UserID)
- 19. 19 • データの偏りを回避すること • カーディナリティが高いこと、最低 1,000 以上が望ましい • 値の偏りが大きい列でないこと（均等に分散されない） • NULL 値がないこと。NULL 値は 1 つのディストリビューションに集 まる • データ移動を最小化すること • JOIN, GROUP BY, DISTINCT, HAVING で使用される列 • 結合する両テーブルのキーのデータ型を一致させる • WHERE 句で使われていないこと
- 22. する 22 vs_key color ord 11 Red 15 32 Blue 20 54 Yellow 22 68 Purple 17 ss_key vid qty 1 2 5 3 32 10 5 6 12 7 78 7 vs_key color ord 2 Red 13 4 Blue 21 6 Yellow 27 8 Green 11 ss_key vid qty 2 11 3 4 4 11 6 54 17 8 8 1 HASH(vs_key) HASH(ss_key) 11, 15, 3 2, 13, 5 11, 15, 3 : 2, 13, 5 SELECT vs_key, a.ord ,b.qty FROM vendor_sales a JOIN store_sales b ON a.vs_key = b.vid WHERE a.color = 'Red'
- 23. しない 23 ws_key color Qty 1 Red 15 3 Blue 20 5 Yellow 22 7 Green 17 ss_key color Qty 1 Red 5 3 Blue 10 5 Yellow 12 7 Green 7 ws_key color Qty 2 Red 13 4 Blue 21 6 Yellow 27 8 Green 11 ss_key color Qty 2 Red 3 4 Blue 11 6 Yellow 17 8 Green 1 HASH(ws_key) HASH(ss_key) Red, 5 Red, 3 Red, 5 : Red, 3 SELECT a.color, b.Qty FROM web_sales a JOIN store_sales b ON a.ws_key = b.ss_key WHERE a.color = 'Red'
- 25. 25 DMS 操作 説明 ShuffleMoveOperation 結合や集計のためにマッチしたカラムで再度 HASH 分散しなおす動作 BroadcastMoveOperation 結合などのために全てのディストリビューションにデータを複製する PartitionMoveOperation コンピュートノードからコントロールノードに計算結果等を送信する動作 クエリで実行される DMS 操作は EXPLAIN 句で確認 EXPLAIN SELECT vs_key, a.ord ,b.qty FROM vendor_sales a JOIN store_sales b ON a.vs_key = b.vid WHERE a.color = 'Red'
- 26. 26 テーブルをすべてのコンピュートノードに複製 CREATE TABLE (…) WITH DISTRIBUTION = REPLICATE Public preview (2017/7/26 現在)
- 29. 29 カラムストア (デフォルト) • 大きなテーブルに適している • 列単位の I/O • 高圧縮 • ヒープと比較してデータロードは低速 • パーティション当たりの行数は 100 万行以上に保つ ヒープ クラスタ化インデックス • データを一時的に読み込む場合 やステージングなどに適している • 小さいサイズのテーブルに適して いる • 一時テーブルを使うことでさらに ロードを高速化 • (目安として) 60M 行以下の小 さなテーブルに適している • ロード時にソートがかかるため遅く なる 非クラスタ化インデックス • 1 行を選択する際に適している • セカンダリインデックスとして利用可能 • ロードが遅くなる
- 30. 30 • クラスタ化インデックス • ラウンドロビン • または、Replicated table 小さな ディメンションテーブル (< 60M 行) • ファクトテーブルと同じ設計 • カラムストア • ハッシュ (JOIN で使用するキーで分散) 大きな ディメンションテーブル
- 31. 31 • SQL Server と異なり、統計情報の自動作成/自動更新は行われない • コストベースのクエリ オプティマイザが統計を利用する • 大抵はサンプリング（既定 20%）統計で良い • JOIN, GROUP BY, WHERE で使用する列すべてに作成すること • 複数列統計は複合結合の際にパフォーマンスを向上させる可能性がある CREATE STATISTICS <統計情報名> ON <スキーマ>.<テーブル>(<カラム>)
- 33. 33 ＞160 TB 80-160 TB 60-80 TB 48-60 TB 36-48 TB 20-36 TB 16-20 TB 12-16 TB 8-12 TB 4-8 TB 0-4 TB DWU 100 200 300 400 500 600 1000 1200 1500 2000 3000 6000 データロード後の圧縮後のサイズ*1 *1: カラムストアベース圧縮前提サイズ。行ストアベースで見積る場合は上記表の５倍の値を利用 サイジングの開始点としてデータサイズを目安とする場合
- 35. 35 • クエリの同時実行 • 同時実行クエリ 32 • 同時実行スロット 増減する • リソース割り当て 同時実行スロット数が変化
- 36. 36 1024 セッション 同時実行スロットは DWU に応じて増減 リソースクラスと DWU によって使用するスロット数が増減 32 固定 同時実行クエリ largerc mediumrc mediumrc smallrc
- 37. 37 使用可能なメモリ（MB）/ ディストリビューション DWU 100 DWU 200 DWU 300 DWU 400 DWU 500 DWU 600 DWU 1000 DWU 1200 DWU 1500 DWU 2000 smallrc 100 mediumrc 100 200 200 400 400 400 800 800 800 1600 largerc 200 400 400 800 800 800 1,600 1,600 1,600 3,200 xlargerc 400 800 800 1,600 1,600 1,600 3,200 3,200 3,200 6,400 消費量 DWU 100 DWU 200 DWU 300 DWU 400 DWU 500 DWU 600 DWU 1000 DWU 1200 DWU 1500 DWU 2000 同時実行クエリの最大数 32 同時実行スロットの最大数 4 8 12 16 20 24 40 48 60 80 リソースクラス smallrc 1 mediumrc 1 2 2 4 4 4 8 8 8 16 largerc 2 4 4 8 8 8 16 16 16 32 xlargerc 4 8 8 16 16 16 32 32 32 64 各クエリで使用可能なメモリ割り当て量 使用される同時実行数
- 38. 38 0 100 200 300 400 500 600 700 800 900 1000 1 2 3 4 5 6 7 8 9 10 系列1 最大トランザクションサイズ制限は DWU によって変化する SQL Data Warehouse のトランザクション https://docs.microsoft.com/ja-jp/azure/sql-data-warehouse/sql-data-warehouse-develop-transactions
- 39. 39 PolyBase BCP SQLBulkCopy ADF SSIS ロード パフォーマンス 低速 DWU 増加による パフォーマンス向上 ○ × × × 同時ロードによる パフォーマンス向上 × ○ ○ ○ ロード時のデータの加工や クレンジングの自由度 × × ○ (ADF 使用時) ◎ 高速 低速
- 40. 40 DWU 100 200 300 400 500 600 1000 1200 1500 2000 3000 6000 リーダー 8 16 24 32 40 48 80 96 120 160 240 480 ライター 60 60 60 60 60 60 60 60 120 120 240 480 DWU のスケーリングでパフォーマンスを調節 DWU に応じて実行するスレッド数が変化 Azure SQL Data Warehouse loading patterns and strategies https://blogs.msdn.microsoft.com/sqlcat/2017/05/17/azure-sql-data-warehouse-loading-patterns-and-strategies/
- 41. 41
- 42. 42 0 5000 10000 15000 20000 25000 1 2 3 4 5 6 7 8 9 10 11 12 系列1 1 ノード (100DWU) あたり 399GB の Local Disk x コンピュートノード数
- 43. 43
- 45. • Azure SQL Data Warehouse のアーキテクチャを理解する ✓ コントロールノード、コンピュートノード、ストレージが分離 ✓ クエリが分散して実行される • Azure SQL Data Warehouse の主要な設計ポイントを理解する ✓ テーブル設計においてデータの配置方法が重要 ✓ データの偏りを避けること、データの移動を避けること ✓ 統計情報を作成すること • DWU サイジング時の考慮ポイントを理解する ✓ データサイズを DWU 検討の開始点とする方法 ✓ DWU の変更によって変化する要素に注目する
- 46. 46 ドキュメント https://azure.microsoft.com/ja-jp/documentation/services/sql-data-warehouse/ チュートリアル https://azure.microsoft.com/ja-jp/documentation/articles/sql-data-warehouse-get-started-provision/ https://www.microsoft.com/ja-jp/cloud-platform/documents-search?svid=Service_38 https://feedback.azure.com/forums/307516-sql-data-warehouse ブログ Microsoft Japan Data Platform Tech Sales Team Blog データ プラットフォーム製品のプリセールスチームによるブログサイト https://blogs.msdn.microsoft.com/dataplatjp/