Elastic stack_&_cloud_7.11_updates-summary
0 likes•303 views
https://www.meetup.com/ja-JP/Tokyo-Elastic-Fantastics/events/276099873/
![Runtime fields
新しいフィールド タイプ
Defined by a script
グロック/正規表現、あるいはダイナミックルックアップ
Evaluated at query time
マッピングに追加するか、クエリを指定
Works like a regular field
検索、集計、通常のフィールドと同じように視覚化
変換とエンリッチメントに使⽤できる
データが取り込まれた時点で値を追加する
“runtime_mappings”: {
“day_of_week" : {
"type" : "long",
"script" : {
"source" :
"emit(doc[ʻtimestampʼ].value.getDayOfWeek())"
}
}
}
新しいデータ ソース
変更の処理
新しいワークフローを有効にする
Good for](https://image.slidesharecdn.com/elasticstackcloud7-210225203841/85/Elastic-stack_-_cloud_7-11_updates-summary-10-320.jpg)
![● スキーマの柔軟性: フィールドの追加と変更
● ランタイムからインデックスへ、インデックスからランタイムへフィールドを移動する
● クエリパフォーマンスへの影響を軽減するためのインデックス付きフィールドへの依存
● 任意のフィールドと同様に消費される
Runtime fields
Elasticsearch 読み取り時のスキーマ
"runtime_mappings": {
"duration": {
"type": "double",
"script": {
"source": """if(params._source['duration'] == null){return}
else if(doc['browser'].value == "Firefox") {emit(params._source['duration'] / 1000)}
else {emit(params._source['duration'])}"""
}
}
}
OODA
Loop
STANDARD | GA](https://image.slidesharecdn.com/elasticstackcloud7-210225203841/85/Elastic-stack_-_cloud_7-11_updates-summary-13-320.jpg)
Elastic stack_&_cloud_7.11_updates-summary
- 1. Elastic Stack ＆ Cloud 7.11 アップデートダイジェスト版 鈴⽊ 章太郎 Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト 内閣官房 IT 総合戦略室 政府 CIO 補佐官
- 2. Elastic Technical Product Marketing Manager/Evangelist 内閣官房 IT 総合戦略室 政府 CIO 補佐官 元 Microsoft Technical Evangelist Twitter : @shosuz Shotaro Suzuki
- 3. Elastic Stack and Cloud 7.11 Release Agenda Elasticsearch 7.11 Elastic Stack 7.11 1 Kibana 7.11 2 3 Elastic Enterprise Search 7.11 4 Elastic Observability 7.11 5 Elastic Security 7.11 6 Elastic Cloud 7.11 7
- 4. Elastic 7.11 リリースのハイライト • コスト、パフォーマンス、インサイト、柔軟性の最適化を強⼒に⽀援する各種新機能が搭載 • ⼀般提供 (GA) を開始した Searchable Snapshots • Schema on read (ベータ版) Elastic Enterprise Searchの新しい Web クローラー（ベータ） • Elastic オブザーバビリティの Service Health と Host のDetail View を表⽰する機能 • Elastic セキュリティの事前構築済み検知ルール、機械学習ジョブ、カスタマイズ可能なアラート通知、 アナリストの⼀元的な作業スペース • Elastic Cloud でも複数のリリースアナウンス • Elastic Cloud でSearchable Snapshotsの強⼒なサポートを開始 • データと機械学習ノードの⾃動スケールに関するアナウンス • クラスター横断検索（CCS）とクラスター横断レプリケーション（CCR）の強化による可⽤性と検索 パフォーマンスの向上
- 5. Elasticsearch と Kibana のライセンスオプションを変更 • Apache 2.0 によりライセンス提供される コードから、Elastic License と SSPL に基づ くデュアルライセンス提供に移⾏ • また Elastic は⼤幅なアップデートを通じ て、Elastic License を⼀層シンプルかつ寛 容なライセンスに • Elastic の配布パッケージ、ならびに無料・ 有償を含む全機能のソースコードは Elastic License v2 の下に使⽤許諾され、また⼀連 のコアな無料機能群のソースコードは SSPL v1 によっても使⽤許諾される • この変更は、Elastic コミュニティの圧倒的 ⼤多数のユーザーに、⼀切の影響を与え ません https://www.elastic.co/jp/blog/license-change-clarification https://www.elastic.co/jp/blog/why-license-change-AWS
- 7. Elastic Stack リリースのハイライト • 安価なオブジェクトストアに格納する Searchable Snapshots に 新登場の Cold ティアを組み合わせ、より多くのデータを保持・検索 • ランタイムフィールドで活⽤できる Schema on read が登場 • Elastic Stack と外部システムを横断する新しいアラートフレームワークで 通知の作成と管理、監視を実現
- 8. Searchable Snapshots と Cold ティア • 安価なオブジェクトストアに格納する Searchable Snapshots に新登場の Cold ティア を組み合わせ、より多くのデータを保持・検索 • Searchable Snapshots • AWS S3 や Microsoft Azure Storage、Google Cloud Storage など、ローコ ストオブジェクトストレージに格納されたスナップショットのデータを検索できる • Elasticsearch クラスターのストレージコストと、検索パフォーマンス、データから取得す るインサイトの深さを天秤にかけていた従来とは、まったく異なるアプローチ • Searchable Snapshots はストレージコストを⼤幅に減少に引き下げ、また新登場 の Cold ティア機能をサポート • Cold ティアは今回 GA 移⾏し、Elastic Cloud でも提供を開始 • パフォーマンスへの影響を最⼩限に抑えながら、インフラコストを最⼤50％削減
- 9. Schema on read (7.11でベータリリース） • ランタイムフィールドで、クエリ時にインデックスのスキーマを定義可能に • スキーマの作成中に新規データや新規のワークフローを発⾒できる • コストとパフォーマンスのトレードオフ関係について選択しつつ、新しいインサイトの発⾒をもたらす⽐類ない柔軟 性も確保できる • Elasticsearch は超⾼速の分散型検索・分析エンジン • データを格納するインデックスがディスク書き込み時に構造化インデックスとして作成されるアプローチ、い わゆる “Schema on write”のおかげ • 構造を整理するには、Elasticsearch でデータがどう表現されるかについての理解と準備が⽋かせない • その分、スピード、スケール、関連性という⼤きなメリットを享受できる • しかし時には、データスキーマを事前に計画するのではなく、データを新しい切り⼝で探索、調査するアプローチ が必要となることもある • そこで今回、検索時にランタイムフィールドに Schema on read を⽤いて流動的なデータストラクチャーを作 成する⽅法が登場 • この⽅法はフレキシブルで、最初にインサイトを取得するまでの時間を短縮できる • 他⽅で総合的なパフォーマンスではトレードオフとなる部分もある • そのため、検索シナリオに応じてユーザーが Schema on read と Schema on write をすばやく切り替え ることができるようになっている
- 10. Runtime fields 新しいフィールド タイプ Defined by a script グロック/正規表現、あるいはダイナミックルックアップ Evaluated at query time マッピングに追加するか、クエリを指定 Works like a regular field 検索、集計、通常のフィールドと同じように視覚化 変換とエンリッチメントに使⽤できる データが取り込まれた時点で値を追加する “runtime_mappings”: { “day_of_week" : { "type" : "long", "script" : { "source" : "emit(doc[ʻtimestampʼ].value.getDayOfWeek())" } } } 新しいデータ ソース 変更の処理 新しいワークフローを有効にする Good for
- 11. インデックスの エラーを修正する 新しい インデックス付き フィールドの追加 ⼀時フィールドの 使⽤ クエリ時にインデックス が作成されていない 新しいフィールドを 照会する (ログ形式の変更等) Runtime Fields ユースケース データ準備中 の反復 クエリのコンテキスト内 でのみフィールドを 定義して使⽤する ランタイム フィールドを 含むインデックス付き フィールドをシャドウし て、エラーを直ちに 修正する コンバージョンを前後 にしてインデックスを 時間の経過とともに 調整する OODA Loop STANDARD | BETA
- 12. Runtime fields in Index Templates インデックス テンプレート マッピング エディタ UI サポート OODA Loop STANDARD | GA
- 13. ● スキーマの柔軟性: フィールドの追加と変更 ● ランタイムからインデックスへ、インデックスからランタイムへフィールドを移動する ● クエリパフォーマンスへの影響を軽減するためのインデックス付きフィールドへの依存 ● 任意のフィールドと同様に消費される Runtime fields Elasticsearch 読み取り時のスキーマ "runtime_mappings": { "duration": { "type": "double", "script": { "source": """if(params._source['duration'] == null){return} else if(doc['browser'].value == "Firefox") {emit(params._source['duration'] / 1000)} else {emit(params._source['duration'])}""" } } } OODA Loop STANDARD | GA
- 14. 新しい Alert フレームワーク が GA • 脅威検知、アプリケーションパフォーマンス警告、 物理アセットの追跡まで、データインサイトに基 づいて判断するには、重⼤な変更が⽣じたとき にタイムリーにアラートが届く仕組みが不可⽋ • このようにタイムリーなアラートを Elastic Stack に提供する新しいアラートフレームワー クは7.11リリースで⼀般公開 (GA) に移⾏ • このアラートインターフェースは Elastic セキュリ ティと Elastic オブザーバビリティに直接組み 込まれている PagerDuty や ServiceNow、 Microsoft Teams といったプラットフォームと のサードパーティアラート統合に対応する形で 拡張 • また各種アラートは、ロールベースのアクセス制 御機能を使って簡単に管理可能 Kibana 7.11ブログ記事およびElasticsearch 7.11ブログ記事
- 15. Alerting • Kibana をアクション可能にするコア • 重要なサードパーティプラットフォーム と統合 • ...どのように動作するかを Elastic に任せる • Elastic Stack における Alerting OODA Loop
- 16. Alerting GA に伴うプロダクトサポート✅ グループ化されたアラートの種類✅ 「発⽣」と「回復」アラートロジック✅ Microsoft Teams コネクタ✅ 強化 OODA Loop
- 17. Alerting OODA Loop BASIC Free and Open2 GOLD PLATINUM ENTERPRISE アラートの作成 ✅ ✅ ✅ ✅ アクション: インデックスとログ記録 ✅ ✅ ✅ ✅ アクション: 電⼦メール, WebHook, Jira, Microsoft Teams, Page duty, Slack ✅ ✅ ✅ アクション: IBM Resilient, ServiceNow® ITSM ✅ ✅ 2 Elastic License
- 18. 匿名アクセス
- 19. 匿名アクセス • コラボレーションの柔軟性が向上 • これ以上複雑なリバースプロキシ なし • RBAC を使⽤した完全な制御 なぜこれが重要なのか OODA Loop STANDARD | GA
- 20. 匿名アクセス • 待望の顧客要求に応える • コンプライアンスと規制ニーズを持 つ 組織をサポート なぜこれが重要なのか OODA Loop GOLD | GA
- 21. ドリルダウン
- 22. ドリルダウン • ダッシュボードのドリルダウン = GA • レンズテーブルの URL ドリルダウン • コンテキストメニューの URL ドリル ダウン 強化 OODA Loop
- 23. ドリルダウン • ワークフローを合理化する • ダッシュボードを意思決定に基づい て⾏動する場所にする • 他の重要なプラットフォームへの 直接フックを可能にする Kibana のドリルダウン OODA Loop
- 24. ドリルダウン OODA Loop BASIC Free and Open2 GOLD PLATINUM ENTERPRISE ダッシュボードのドリルダウン ✅ ✅ ✅ ✅ URL ドリルダウン ✅ ✅ ✅ 2 Elastic License
- 25. Maps
- 26. Maps • Elastic Map Server • Geo Alert : 封じ込め • トラックレイヤー • パーセンタイルによるレイヤースタイ リング 強化 OODA Loop
- 27. Maps: Elastic Maps Server • エアギャップ環境 • 連邦/公共部⾨ • 最も要求された機能 なぜこれが重要なのか OODA Loop ENTERPRISE | BETA
- 28. Maps: Geo alerts • 資産の追跡/管理 • 新しいアラートタイプ: 封じ込め • ベータ⚠ • なぜこれが重要なのか OODA Loop GOLD | BETA
- 29. Maps: Tracks layer • ルートとパスを視覚化する • 時系列位置データ(GPS、 センサーなど) • なぜこれが重要なのか OODA Loop GOLD | GA
- 30. Maps: Style layer by percentile 簡単な視覚分析 地理空間解析でデータ分布を表⽰ する柔軟性 なぜこれが重要なのか OODA Loop STANDARD | GA
- 31. Lens カラーパレット グラフのラベルをカスタマイズする ドラッグで、データ テーブル、円グラフ、 および TRE マップのフィールドの順序 を変更する CSV エクスポート 強化 OODA Loop STANDARD | GA
- 32. Lens • パワー、柔軟性、使いやすさから、 Kibana 内のデフォルトの視覚化 ツール • ユースケースには関係なく、データ アナリストに好評 Kibana Lens OODA Loop STANDARD | GA
- 33. Tags • タグを作成し保存したオブジェクト に割り当てる • タグを⼀元管理 • タグを⼀括で割り当て、削除する • Kibana ナビゲーション検索でタグ を使⽤する 強化 STANDARD | GA OODA Loop
- 34. Tags • Kibana でコンテンツを整理する ための素晴らしい機能 • 数百、数千の資産を持つお客様 にとって重要 • Kibana の検索と観測可能性の ⼒を拡張 • タグ付けは.. OODA Loop STANDARD | GA
- 36. Machine Learning: 7.11 の新機能 • スペース対応 ML Job • 新しい変換タイプ: 最新 • データ フレーム分析 UI マップ ビュー • データビジュアライザーの新しい レイアウトデザイン 強化 OODA Loop
- 37. Machine Learning: スペースあたりの ML ジョブの管理 • ML ジョブは 1 つ以上のスペース に追加できる • 異常検出とデータフレーム分析 ジョブ • 注意: カレンダー、フィルタルール、 推論モデルは、すべてのスペースに 表⽰される • なぜこれが重要なのか OODA Loop PLATINUM | GA
- 38. Machine Learning: 変換タイプ - 最新 • 最新のイベント (最終購⼊、最終 トランザクションなど) を追跡する 場合に必要 • 最新のドキュメントを新しいコピー 先のインデックスにコピーできる • 最新の状態を記録する • 例: 前回エージェントが報告し た⽇時、最後のログイン、 最新のアクション • なぜこれが重要なのか OODA Loop PLATINUM | GA
- 39. Machine Learning: データフレーム分析 UI マップ ビュー • ジョブ、インデックス変換、モデルの 接続ビューを提供 • データ フレーム ジョブ パイプライン の表⽰に役⽴ちます。 • 依存関係を⼿動で追跡する必要 があるお客様の負担を軽減 なぜこれが重要なのか OODA Loop PLATINUM | GA
- 40. Machine Learning: データ ビジュアライザー テーブル ビュー • インデックスを視覚化して、より多く の結果を表⽰し、ナビゲートしやす くする • ML ジョブを作成する前にフィール ドとインデックスを確認する • 詳細を掘り下げる • なぜこれが重要なのか OODA Loop STANDARD | EXPERIMENTAL
- 42. Searchable Snapshots - Now GA in 7.11 • S3 およびその他のオブジェクト・ストアの 使⽤法を変換する • 3 つのクラウド プロバイダーすべて • オンプレミス ● ECK と ECE ● 複数のオブジェクト ストア(MinIO,など) • • スナップショットをより効果的に活⽤ • 無制限のデータ量を検索する • 新しい Cold Tier、Frozen Tier に パワーを与える オブジェクトストアを最⼤限活⽤する OODA Loop ENTERPRISE | GA
- 43. Cold Tier - Now GA and in Elastic Cloud OODA Loop ENTERPRISE | GA
- 44. Cold Tier vs AWS UltraWarm ⼤きなトレードオフ Cold Tier AWS UltraWarm 移植性 ✔ ● All three cloud providers ● On-premises ● ECK and ECE ● Multiple object stores (MinIO, etc.) ✘ ● Only available on AWS ES ● Not part of OpenDistro クエリ実⾏可能性 ✔ ● Async search ● Kibana streaming results ● Cold Tier optimizations ✘ ● Timeouts ● Infrastructure not in place to manage long running queries サポート ✔ ● Makers of Elasticsearch ● Large number of Cold Tier improvements after AWS fork ✘ ● To be determined… ● High risk, no relationship with Elastic OODA Loop
- 46. geo_line Aggregation geo_points + timestamp = geo_line なぜこれが重要なのか ● ⼀連の場所からパスへ ● 資産追跡を頻繁に要求する ● 有料ライセンス geo 機能 ● geo_points セットの集計 ● GeoJSON ラインストリング内 ● フィールドによるソート (timestamp 等) OODA Loop GOLD | GA
- 48. セキュリティ構成の変更を監査する rest Transport new event type ... security_config_change ● ユーザーの作成と削除 ● パスワードの変更 ● ロールとロール マッピングの作成と削除 ● API キーの作成と無効化 • ユーザーは、すべての呼び出しに対して要求本⽂をキャプ チャせずに、⾼レベルのセキュリティ イベントを監査できる • 各エントリは、関連する詳細を識別し、さらに分析を実⾏ するために使⽤できる構造化データとして使⽤できるように する
- 50. Event Query Language (EQL) ● ':' 演算⼦のワイルドカードサポート ● ':' 演算⼦のリスト宣⾔ ● ベンチマークおよびテストカバレッジの向上 ● その他のクエリの最適化 ● 検出エンジンで EQL ルールをテストする GA Release! OODA Loop STANDARD | GA
- 52. Web クローラーが新登場 • ユーザーは パワフルな Web クローラーを使って コンテンツをインジェストすることも可能に • Web クローラーはパブリックにアクセス可能な Web サイト情報を取得し、コンテンツを、 使 われている App Search エンジンで⼿軽に検 索可能に • App Search の他のインジェスト⽅法と同様、 スキーマの推論はインジェスト時に実⾏ • 1クリックでほぼリアルタイムにアップデート できる • ユーザーはコードを書かずにクリックだけで Web クローラーをカスタマイズ • 除外するページやコンテンツ、語句などの ルールを Web クローラーに指⽰ • エントリーポイントを指定可能 Elastic App Searchに新しいWebクローラーが登場
- 53. Box に保存したコンテンツ検索のサポートを拡充 • Workplace Search の コンテンツソースとして Box のサポートを開始 • 事前構築済みのコネク ターにはドキュメントレベル の権限機能が搭載 • 適切なユーザーに適切な コンテンツを表⽰ • Google Drive や Dropbox に Box が コンテンツソースサポート 対象に追加
- 54. Jira Cloud と Confluence Cloud 向けに きめ細やかなアクセス制御の提供を開始 • Elastic Workplace Search は、Atlassianの Jira Cloudと Confluence Cloud でドキュメントレベルの権限サポートを開始 • Elastic Workplace Search から権限を引き継ぎ、同じものを前出の ソースアプリケーションに設定できる エンタープライズサーチ7.11リリースブログ
- 56. Elastic APM の新しいサービスヘルスビュー • 最新のクラウドネイティブなアプリケーション は、典型的には数百のマイクロサービスの 上に成り⽴つ • したがってインシデント調査のワークフロー には、個々のサービスのパフォーマンスとヘ ルスをピンポイントで速やかに特定する能 ⼒が不可⽋ • 今回登場した“サービス概要ページ”は、 サービスのヘルスに関するすべての情報を ⼀元的に要約して表⽰ • これにより、開発者や SREs はパフォーマ ンスの問題のトラブルシューティングをより ⼿軽に実⾏することが可能になる Elasticオブザーバビリティ7.11ブログ記事
- 57. Elastic Metrics の新しいホスト詳細ビュー • Elastic Metrics アプリのリソース ヒートマップは、インフラストラクチャー 内のトラブルを発⾒し、後続の調査 ステップを絞り込む上で役⽴つ • Metrics UI の新しいビューを使うと、 ⾼次のビューから簡単に移動して、 個々のホストで何が起きているか調 査することができる • ヒートマップのタイルをクリックするとポッ プアップウインドウが開き、主要なホス トのメトリック、ホストで⽣成されたロ グ、ホストで実⾏中のプロセス、ホス トのメタデータの時系列チャートなど、 主要な情報を確認できる Elasticオブザーバビリティ7.11ブログ記事
- 58. Elastic Common Schema（ECS）の 新しいロギングライブラリ • アプリケーションのトラブルシューティングのワークフ ローには、アプリケーションのログとトレースを相関 付け、コンテクストを失うことなく画⾯を移動でき る操作性が不可⽋ • APMエージェントが捉えたトレースコンテクストが アプリケーションログに⾃動で挿⼊され、ログから スムーズな分析に必要な相関関係をトレースす ることができる • ECS のロギングライブラリには、log4j をはじめと する⼈気のロギングフレームワーク向けプラグイン • 開発者はこれを使って、ネイティブなワークフロー を変更することなく、ECS 準拠の JSON 形式 でアプリケーションログを書き出すことができる • ECS ロガーは APM エージェントが捕捉した関 連するトレースコンテクストを⾃動でログに書き込 む • 開発者は特別な作業を⾏うことなく、“オブザーブ 可能な”アプリケーションを開発することが可能 Elasticオブザーバビリティ7.11ブログ記事
- 59. Elastic Security
- 60. 加速されたアラート管理ワークフロー • MITER ATT＆CK®サブテクニカルコンテキスト • ルールアクションの拡張セット Elastic セキュリティ7.11リリースブログ
- 61. しきい値ルールと ML ルールのルール例外 • ユーザーは、ML ルールとしきい値 ルールの例外を作成可能に • 統⼀されたルール管理エクスペリ エンスをサポート • 基になる ML ジョブを変更せずに ML ルールの例外条件を作成可 能に Elastic セキュリティ7.11リリースブログ
- 62. 7.11 で刷新された Timeline ワークスペース • タイムラインワークスペースの更新 • タブ付きタイムライン情報 • タイムラインの切り替えと更新 • 全画⾯表⽰ Elastic セキュリティ7.11リリースブログ
- 63. ElasticON Enterprise Search Japan (4/14) https://www.elastic.co/elasticon/enterprise-search/japan
- 65. Elastic Cloud アップデート • S3 などのオブジェクトストアに 検索可能スナップショットを⼊れ て使える Cold ティアが新登場 • データの⾃動スケールと機械学 習ノードを活⽤したクラウドのス ケールと運⽤合理化 • リージョンとクラウドプロバイダー を横断してデータを複製、検索 Elastic Cloud 7.11の最新情報ブログ
- 66. アプリケーション開発 オンデマンド ウェビナー特集 https://www.microsoft.com/ja-jp/events/top/apps-innovation-webinars.aspx • Elastic の Search API を Visual Studio Code でコーディングする (1) - (3) • Elastic Cloud で Azure Kubernetes Serviecs の様々な Log/Metrics/APM を 可視化する • ASP.NET Core 3.x Web アプリのログを Elastic Cloud で収集・分析してみよう︕
- 68. Cloud Native Days 2021 (3/11-) https://event.cloudnativedays.jp/cndo2021/talks/921
- 69. ElasticON Enterprise Search Japan (4/14) https://www.elastic.co/elasticon/enterprise-search/japan
- 70. Elastic 7.11 新機能 ソリューション/プロダクト別ブログ記事 • Elastic Stack ‒ Elasticsearch 7.11.0リリース（ブログ記事） ‒ Kibana 7.11.0リリース（ブログ記事） • Elasticのソリューション ‒ Elasticエンタープライズサーチ7.11.0リリース（ブログ記事） ‒ Elasticオブザーバビリティ7.11.0リリース（ブログ記事） ‒ Elasticセキュリティ7.11.0リリース（ブログ記事） • Elastic Cloud ‒ Elastic Cloud 7.11.0の最新情報（ブログ記事） ‒ Elastic Cloudの無料トライアルを開始
- 71. Thank You for your attention! elastic.co