Microsoft Ignite Fall 2021 Data Platform Update Topics
Download as PPTX, PDF•0 likes•1,383 views
https://msdevjp.connpass.com/event/229730/
Microsoft Ignite Fall 2021 Data Platform Update Topics
- 1. Fall 2021 Data Platform Update Topics Speaker Jiayi Yang | Yuji Masaoka
- 3. Yuji Masaoka (まっぴぃ) Recruit Co., Ltd. 所属 情シス担当 Microsoft Azure / Microsoft 365 を管理 Japan Azure Cosmos DB User Group オーガナイザー Twitter: @mappie_kochi 好きなもの/最近のマイブーム Perfume / (某) 夢の国に行くこと Microsoft Learn のレベル上げ 最近の悩み Perfume と某ネズミがいる国への年間投資額 がすごいことに気づいてしまった点…
- 4. Jiayi Yang Microsoft 所属 Cloud Solution Architect(CSA) Data & AI Team お客様にAzure Data PlatformのProjectをleadしています 最近はAzure IoTやCognitive ServiceのProjectも参加しています Exam MCP 121+ Japan SQL Server User Group オーガナイザー(会員数:1191+) Twitter: @yangjiayi82 好きなもの/最近のマイブーム 世界の山ちゃんの幻の手羽先（ついに最近、食べ始めた） ライザップを通う（トレーナーにめっちゃ怒られている）↑ SIXPAD PowersuitでHome GYM！ 最近の悩み キッズ二人の子育てと仕事をうまく両立できること
- 5. Microsoft Ignite Fall 2021 Update Topics Azure Data & AI Artificial Intelligence Azure OpenAI Service in preview Announcement: Cognitive Service for Language Azure Machine Learning managed endpoints Announcement: Azure Arc enabled Machine Learning - inference public preview Analytics Database templates are in public preview in Azure Synapse Real-time analytics for telemetry, time series and log data are now in public preview Azure Synapse Link for Dataverse is now generally available Hardware-accelerated clusters will be available in public preview for Apache Spark in Azure Synapse starting next week Azure Database SQL Server 2022 private preview Azure SQL Managed Instance – Hybrid Distributed Availability Groups and Larger Databases Azure Cosmos DB - Provisioned throughput spending limit – GA, Partial records update – preview, Azure Synapse Link for Azure Cosmos DB custom partitions – preview Azure Database for MySQL – Flexible Server GA Azure Managed Instance for Apache Cassandra – GA Azure Arc-enabled SQL Managed Instance – direct connected mode GA, and reserved instance pricing
- 6. Azure Synapse Analytics Database Template Public Preview データ統合や分析のプロセス簡素化 と エコシステム形成 を目的に特定ビジネス領域向けスキーマをテンプ レートとして提供する。 テンプレートは独自カスタムが可能。 データレイクを実体とした論理DWHとして構成される（形式はCSVもしくはParquetが指定可能） 。 6業界（Retail, Consumer Goods, Banking, Fund Management, Property and Casualty Insurance）をサ ポート。随時追加される予定。 Public preview: Industry-aware analytics with database templates in Azure Synapse | Azure updates | Microsoft Azure Database templates in Azure Synapse Analytics - Microsoft Tech Community Azure Synapse database templates concepts - Azure Synapse Analytics | Microsoft Docs
- 7. Synapse Data Explorer Public Preview Azure Synapse Data Explorer (プレビュー) とは - Azure Synapse Analytics | Microsoft Docs Azure Synapse Analytics の コンピューティング プール あらゆる分析シナリオに最適化された ベスト オブ ブリードの分析エンジン SQL プール Spark プール Data Explorer プール SQL Data Warehouse SQL データ レイクの探索 ビッグ データ処理 予測分析 ビッグデータ インタラクティブ テレメトリ分析 (監視、ログ分析、 時系列、IoT) ワークロードの最適化 製造、コネク テッド カー、車 両管理 自動車 Web 分析、IoT 分析 小売 セキュリティ分析、 脅威検出、SIEM セキュリティ IoT デバイ ス 分析 医療
- 8. Public Preview ＜価格＞ 価格 - Azure Synapse Analytics | Microsoft Azure ＝ コンピュート時間 ＋ 永続データ量 ＋ NW転送 （≠クエリ課金）
- 9. Synapse Link for Dataverse GA CDMのデータとメタデータをストレージへス ナップショットコピー ＆ Synapse Spark テー ブル として構成 <Link 手順> Azure Synapse Workspace で Azure Synapse Link for Dataverse を作成する - Power Apps | Microsoft Docs
- 10. Custom partitioning (Synapse Link for Cosmos DB) Public Preview クエリフィルターとして頻繁に使用されるキーをパーティションキーとして分析ストア データ を分割しクエリのパフォーマンスを向上させる 構成は Synapse Spark上で投入する <パーティション 定義> <パーティションク エリ> プレビュー – Azure のコスモス DB 用の Azure シナプス リンクでのカスタム パーティション分割のサポート - Azure Cosmos DB ブログ分析 (microsoft.com)
- 11. Announcing SQL Server vNext Jiayi Yang (He/Him) Microsoft | Cloud Solution Architect | Data & AI/ML
- 12. SQL Server 2016 すべての組込み ・ミッションクリティカルなパフォーマンスと可用性 ・常に暗号化されたセキュリティ SQL Server 2017 あらゆるプラットフォームで利用可能 ・LinuxまたはWindows ・R と Python のサポートを備えた AI 組み込み SQL Server 2019 インテリジェントなデータベースの パフォーマンス、セキュリティ、および管理の強化 SQL Server に組み込まれた継続的な革新により、 投資に対する高いリターンが実現
- 13. データの実践者は 自分のデータでより多くのことをしたいと考えている 管理された ビジネス継続性 運用データに関する ほぼリアルタイム分析 時間のかかる コード変更を伴わない パフォーマンスの向上
- 15. 過去10年間で最も安全6 0 50 100 150 200 250 300 350 400 450 500 脆弱性 (2010-2020) SQL Server 2022 Azure を活用したパフォーマンスとセキュリティの業界リーダー All TPC Claims as of 10/06/2021. 1 http://www.tpc.org/4087; 2 http://www.tpc.org/3374; 3 http://www.tpc.org/3380; 4 http://www.tpc.org/3362; 5 http://www.tpc.org/3364; 6 National Institute of Standards and Technology Comprehensive Vulnerability Database 業界をリードする パフォーマンスと可用性 #1 OLTP performance1 #1 Non-Clustered DW performance on 1TB2, 3TB3, 10TB4, and 30TB5 主な機能 Azure Arc-enabled data services Azure SQL エッジからクラウド Azure SQL Edge 最も一貫したデータ プラットフォーム データ・エステート 全体の可視性 データマップ データインサイト Azure Purview データカタログ Azure SQL MIと 双方向のHA/DR Azure を通じた ビジネス継続性 オンプレミス運用データ に対するシームレスな分析 組み込みのクエリ インテリジェンス マルチライト レプリケーション Azure Purviewとの統合 SQL Server ledger Azure Synapse Link
- 16. SQL Server 2022 プライベートプレビューの新機能(コンセプト)一覧(Page1) Azure SQL Managed Instance Disaster Recovery (requires a Managed Instance running in your Azure subscription) Synapse Link for SQL Server Azure Purview Integration SQL Server Ledger Azure Active Directory Authentication Security Improvements Large Memory and Concurrency Scalability Multi-write Replication Accelerated Database Recovery Improvements Redesigned Snapshot Backups XML Compression
- 17. SQL Server 2022 プライベートプレビューの新機能(コンセプト)一覧(Page2) Data Virtualization for any Data Lake (Polybase vNext) Object Storage Backup and Restore Query Store Read Replica Support Query Store Hints Intelligent Query Processing NextGen JSON Data Enhanced T-SQL Surface Area Time Series Support
- 18. 無料オンライン PASS データ コミュニティ サミットからオンデマンドで SQL Server 2022 の詳細なセッションを見る passdatacommunitysummit.com SQL Server 2022 早期導入プログラムに申し込むために登録し、最新情報を入手 aka.ms/EAPSignup SQL Server 2022 の詳細 aka.ms/sqlserver2022 SQL Server 2022 の技術的な詳細を見る aka.ms/sqlserver2022mechanics リファレンス
- 20. John Macintyre – 製品担当ディレクター 2021 年 5 月 19 日
- 21. Japan Azure Cosmos DB User Group https://bit.ly/jcdug-slack
- 22. Welcome Japan SQL Server User Group PASS Local Group(Previous) Azure Rock Star Program Azure Data Tech Groups https://sqlserver.connpass.com/ https://www.meetup.com/ja-JP/jssug-japan/ Join us #JSSUG
- 23. Azure Data Tech Groups https://www.meetup.com/ja-JP/pro/azuredatatechgroups/
- 24. Azure Data and AI Tech Lunch Talk About twice a month 12:15～12:45 #JSSUG
Editor's Notes
- #2: 皆さん、こんばんは。 本日ミニセッションを担当するMasaokaとYangです。 どうぞよろしくお願い致します。
- #3: 最初に、自己紹介をさせてください。 まずは、政岡さんどうぞ。
- #6: Updateはたくさんありますが、本日は、いくつかのUpdate内容を抜粋して、ご紹介していきます
- #10: Azure Synapse Workspace で Azure Synapse Link for Dataverse を作成する - Power Apps | Microsoft Docs https://docs.microsoft.com/ja-jp/powerapps/maker/data-platform/azure-synapse-link-synapse Azure Synapse AnalyticsのSynapse Link for Dataverseの挙動を確認してみた – Qiita https://qiita.com/ryoma-nagata/items/881c0e72cbc344d0816f Microsoft Dataverse と Azure Synapse Link for Dataverse でデータ分析をはじめる (zenn.dev) https://zenn.dev/ymasaoka/articles/get-started-with-synapse-link-for-dataverse PowerPlatformで作る在庫管理アプリ①～Dataverse編～ | cloud.config Tech Blog (cloud-config.jp) https://tech-blog.cloud-config.jp/2021_08_25_powerplatform_by_make_inventory_control_app1/
- #12: 次期VersionのSQL Serverの情報を皆さんにお届けします。
- #13: Microsoftはずっと長年にわたって、SQL Serverというプロダクトを投資しています。 それは、SQL Serverをずっと進化させてあげているわけです。 まず、歴史の話を見てみましょう。 SQL Serverは、もうすでに32年の歴史があります！最初は16bit版のSQL ServerはOS/2上で動作されていましたが、1993年からVer4.21aで、WindowsNT上で動作することになります。その後、Ver7から、Sybase SQL Serverのソースコードをほぼ書き換え、そして、Ver2000になりました。 SQLOSを劇的に変えたのは、Ver2005の時でした。そこでRDMBSというツール製品ではなく、Data Platformという位置づけになって、Ver2008からBIを強化して、Ver2012からMemoryアーキテクチャやX64対応でさらに強くになって、Ver2014からインメモリテクノロジーを加え、Ver2016からPolyBase Gen1、DWH連携、Azure連携となり、Ver2017からLinuxをサポートし、最新のVer2019では、SQL Server Everywhereという位置づけで、KubernetesやAKSでコンテナ展開し、BDCを利用したさらに強くなったSQL Serverとなっています。 ここで注目してほしいのは、 SQL Server 2016 と SQL Server 2017 から、さらに、SQL Server 2019 のリリースには、インテリジェント なデータベースのパフォーマンス、セキュリティ、および管理の強化が含まれています。 SQL Server 2019を使っているお客さんの中で、2019 の機能の上位には、データ仮想化、高速データベースの復旧、インテリジェント クエリ処理のPolybaseがあります。
- #14: では、実際のSQL Serverを使っている方は、自分のデータをいかに、たくさんのことを実現させたいということです。 全体として、データの実践者は、データをより多く使い、時間とお金を節約したいと考えています。 その中で、まず、ビジネス継続性が必要です。 そして、ほぼリアルタイムの運用分析で回答を迅速に得ることを望んでいます。 最後に、常により速いパフォーマンスを望んでいますが、自分自身で変更を加える必要は一つではありません。それは、データベースをVerUpする際に、ソースコードの書き換えや、パフォーマンスを上がるように、コードの書き換えを避けたいということです。 その三つのキーワードを軸にして、次期のSQL Serverを開発しています。
- #15: 14
- #16: それから、SQL Server 2022のコンセプトを見ていきましょう。 まず左から、SQL MIを使って、ディザスタ リカバリのためにAzureに接続します。そのやり方はとても簡単で、最新版のSSMSで、数クリックでSQL MIとリンクできるようになります。SQL MIのセットアップは場合によって、面倒なネットワーク設定もあったりしますが、とてもシンプルでできるようになります。そして、SQL MIのバックアップを使って、SQL Server 2022にリストアすることもできます。 それから、ETLプロセスを省いたAzure Synapse Linkのことですが、Change feedを使って、Synapse側にあるDedicated SQL Poolに同期してくれて、そして、Spark Pool、Data Explorer Pool、Power BIなどで、リアルタイムのシームレスで分析ストアのデータマートを使ったり、Reportingすることができます。 Azure Purviewと統合することで、しかも緊密に統合することで、さらに新しいデータガバナンスが生まれます。そして、セキュリティ制御をかけることができるようになります。 次ですが、もう言うまでもないと思いますが、SQL Serverは市場で最も脆弱性の低いデータベースであることを表しています。 セキュリティ面では、SQL Server Ledgerによる革新的なブロックチェーンのセキュリティで、データ改ざんを防止します。 もともと、Azure SQL DatabaseのLedgerの機能ですが、それは、ブロックチェーンテクノロジーをSQL Serverに落とし込んでいるということです。 最後の一つの特徴としては、レプリケーションテクノロジーを活用して、二つ異なるサーバー間で同じデータベースに変更を加えることができるようになります。それは、LWW（Last Write Wins）と呼ばれるアルゴリズムで、実現できるようになります。 ほかの新機能はざまざまはありますが、詳細に関しては、その後でご紹介する#JSSUGのCommunityに参加して、皆さんにお伝えします。 <クリック>x2 少しまとめますと、 SQL Server 2022 は、まだ製品のクラウド接続のリリースの中で最も多く、Synapse Link および Azure Purview と統合され、お客様がデータからより深い洞察、予測、ガバナンスを大規模に実現できるようにします。 クラウド統合は、ダウンタイムのない高可用性と災害復旧 (HA/DR) ライブマイグレーションと、クラウド分析への ETL (抽出、変換、ロード) 接続により、これまで以上に簡単に操作できるように、データベース管理者は柔軟性と最小限の影響でSQL Serverを管理できます。 パフォーマンスとスケーラビリティは、組み込みのインテリジェンスを介して自動的に強化されます。 Linux、Windows、Kubernetesを含む言語やプラットフォーム間で選択肢と柔軟性があります。 もちろん、SQL Server2022はSQL Server 2019と同じく、SQL Server Everywhereという位置づけで、ブランディングされていきます。
- #18: MicrosoftがSQL Server2022をパブリック公開された後に、、JSSUGのCommunityで順次に詳細情報を皆さんにお届けします。
- #19: 特に、運用環境でのWindows または Linux での SQL Server 2022 の採用に関心がある場合は、SQL Server EAP を登録しておいたほうがいいでしょう。 SQL Server 2022チームのPMはBuddyさんです。Buddyさんを通して、エンジニアリングチームの方と会話でき、そして、新機能は一番早く試すほか、フィードバックも可能です。 そして、RC版以降はMicrosoftから完全なサポートをうけることもできます。とにかく、EAPのベネフィットはたくさんがありますので、SQL Server 2022の導入を考えている企業はEAPの登録はお勧めします。
- #25: Azure における Data & AI の領域を主なトピックとする、カジュアル＆フリースタイルなショートセッションです。月2回、12:15〜12:45 にお届けします。ランチを食べながらお気軽にご参加ください。