![メトリクスとラベル
16
PrometheusはラベルとメトリクスをKeyにして値を引いてくる
node_cpu_seconds_total {instance=“localhost:9100“} 0.9
メトリクス名 ラベル
Key Value
ü 上記例はCPUの利用時間を取得するnode_cpu_seconds_totalの例
ü 実際にはrate (node_cpu_seconds_total[5m])のような形でPromQLクエリを実行して値を取得
※ node_cpu_seconds_total で絞り込みをかけるときには
instanceラベル以外にもCPU番号ラベル、CPUのモード(idleなど)を表すラベルも使う
© 2022 IBM Corporation](https://image.slidesharecdn.com/tunaconkurosaway-221030222435-12a811f8/85/TUNA_con_kurosaway-pdf-16-320.jpg)
![Grafana UI はPromQLが全てであると思った理由
17
どのようなものを図にしたいか
例：CPU Busyの値を下記のような形で知りたい場合のNode Exporterの実装
各CPUの使用時間を表すPromQLであるnode_cpu_seconds_totalがあるのでそれを使う
言葉でCPUコアNの使用率の式は
コアNの総使用時間 コアNのidle時間
コアNの総使用時間
で表現され、
これを合計してコア数で割るとCPU Busyの平均値が出る
これをPromQLで表現する場合は以下の形となる。時間の代わりにcount関数を使用
(((count(count(node_cpu_seconds_total{instance="$node",job="$job"})by(cpu)))
- avg(sum by (mode)(rate(node_cpu_seconds_total
{mode='idle',instance="$node",job="$job"}[$__rate_interval])))))
/ count(count(node_cpu_seconds_total{instance="$node",job="$job"}) by (cpu))* 100
© 2022 IBM Corporation](https://image.slidesharecdn.com/tunaconkurosaway-221030222435-12a811f8/85/TUNA_con_kurosaway-pdf-17-320.jpg)
TUNA_con_kurosaway.pdf
- 1. Grafana + Prometheusで SNS分析用のダッシュボードを作る 日本アイ・ビー・エム株式会社 テクノロジー事業本部 カスタマーサクセス カスタマーサクセスマネージャー 黒沢 勇 2022/10/21
- 2. 注釈 © 2022 IBM Corporation 2 今回のお話の主題はダッシュボードの作り方、 作るにあたっての考え方です。 SNS分析に関する手法はあんまりでません。 なぜなら私がSNS分析をするほど バズるツイートをまだしていないからです この取り組みは 私がいつインフルエンサーになってもいいように 前準備をすることが目的です
- 3. Who Are you? 3 自己紹介 氏名:黒沢 勇 出身:神奈川県川崎市 現職: IBM CSM 趣味: 自宅ラボ、ゲーム、積みプラモ 得意技術：仮想化、k8s、クラウド管理自動化可視化 8月に肋骨を折ってニュースで報道されました 気になる方は横浜 釣り船 事故で検索してみてください。 お見舞い待ってます。 Twitter: https://twitter.com/Torlek96 Linkedin: https://www.linkedin.com/in/kurosaway © 2022 IBM Corporation
- 4. そもそも監視はなんのために行うか？ 4 Container Web App DB VM Cloud Service On-prem DC システム Ø 監視は以下の要件が満たせればok ü システムの正常性を確認 ü システムが異常になりそうな予兆を検知 ü 将来の拡張に備えた参考情報を取得 Ø 最近はシステムの状況を把握している状況を “Observability”があると呼ぶ Server Storage Network Cloud Service ICMP, SNMP, Metric Alert, Log API, Service Assurance... etc © 2022 IBM Corporation
- 5. ObservabilityとCloud Native Trail map 5 よくみるトレイルマップを出してみる Ø クラウドネイティブになりたいなら このマップに従って進むと良いとされている (個人的に1がコンテナ化よりはCI/CDが先な気がする) Ø Observabilityは4番目にある (コンテナ化-> CI/CD -> Orchestration -> Observability) • コンテナ化してCI/CDが進み、 オーケストレーションされた結果 Observabilityが必要になるとも読み取れる • CI/CDやオーケストレーションが進んだ結果 システムコンポーネントが増えたり減ったりするので、 従来監視とは違う考え方が必要になる © 2022 IBM Corporation
- 6. 今回のモチベーション 6 Grafana触ってみたい OSSの限界値が 知りたい SNS分析はじめたい 弱み強みが知りたい (自社の可視化製品と比較) 意外と触っている人が 少なかった どういうワードがバズっている のか、バズりの推移を知りたい © 2022 IBM Corporation
- 7. 主な監視の方式 7 メトリクス ログ トレーシング 監視対象が 何を行ったのかを文で記述 ex: プロセスAをUser BがKillした 数値データとして 監視対象の情報を取得 ex: CPU使用率、電源on/off ユーザのリクエストに対して、 どのコンポーネントがどれだけ の時間をかけたか表示 © 2022 IBM Corporation
- 8. Prometheusとは 8 ü オープンソースの監視システムの一種 ü Sound Cloud 社のエンジニアによって2012年に開発 ü Google社のBorgmonにインスパイアを受けて開発 • BorgmonはBorg (k8sの前身)の監視システムとして開発 • Borgmonは分散システムのモニタリング用として最適化 (この特徴をPrometheusは継承) ü 2016年にCNCFのプロジェクトメンバーとして追加 ü 2018年にCNCFのGraduated Project化 (CNCFが十分成熟したとみなした) © 2022 IBM Corporation
- 9. Prometheusは何を取得するためのものか？ 9 メトリクスを取得するためのツールである © 2022 IBM Corporation
- 10. おすすめの書籍 10 Docs/Gitを眺めるだけでは全体感を知るのは厳しい 私もこれから読むレベルですが内容が少し高度らしいです 基礎から学べるとの文言に偽りなし。 © 2022 IBM Corporation
- 11. まずは分析ツールを用意する 11 今回はVMwareの星野大先輩のコードを拝借してデータを得る (Cloud Native dayのObservabilityの裏側というセッションで大体の内容はわかります) https://github.com/cloudnativedaysjp/social-analysis コードはこちらから https://youtu.be/dRNHK6uElTc セッション動画 直近100件のtweetのRT、Favを取得し、 それに辞書ベースでポジティブな言葉が含まれていればスコアが+となり、 ＋のスコアをPrometheusのメトリック形式で出力を行う 例 social_twitter_retweets{queryString="#o11y2022",screenName="cloudnativedays",tweetId="1477776728152240129",} 4.0 social_twitter_retweets{queryString="#o11y2022",screenName="cloudnativedays",tweetId="1476023933744910340",} 6.0 social_twitter_sentiment{queryString="#o11y2022",screenName="cloudnativedays",tweetId="1477776728152240129",} 0.0 social_twitter_sentiment{queryString="#o11y2022",screenName="cloudnativedays",tweetId="1476023933744910340",} 1.0 social_twitter_favorites{queryString="#o11y2022",screenName="cloudnativedays",tweetId="1477776728152240129",} 5.0 social_twitter_favorites{queryString="#o11y2022",screenName="cloudnativedays",tweetId="1476023933744910340",} 9.0 © 2022 IBM Corporation
- 12. とりあえずダッシュボードを作ってみた 12 © 2022 IBM Corporation
- 13. 各パネルの機能説明 13 Positive スコアの最大値 Positive スコアの最低値 RTの最大値 いいねの最大値 スコアの時間ごとの平均値推移 スコアの時間ごとの平均値推移 RTの時間ごとの平均値推移 いいねの時間ごとの平均値推移 各パラメータのヒートマップ 各パラメータのランキング 誰のどのTweetがスコア、RT、いいねが高かったか © 2022 IBM Corporation
- 14. ここで黒沢に電流走る 14 Prometheus + Grafana は PromQLを使いこなすことが全てである © 2022 IBM Corporation
- 15. PromQL 15 ü PromQLについて • Prometheus Query Languageの略 • その名の通りPrometheusの独自クエリ • ブラウザ上で簡単に投げて値を確認できる • SQLでは冗長になるメトリクスを簡単に記述可能 • 数式で入力すれば欲しいデータがすぐ手に入る 例:メモリの使用率 1- (node_memory_MemFree_bytes / node_memory_MemTotal_bytes) この数式を考えるのが全てである （数式を思いつくのが全て） © 2022 IBM Corporation
- 16. メトリクスとラベル 16 PrometheusはラベルとメトリクスをKeyにして値を引いてくる node_cpu_seconds_total {instance=“localhost:9100“} 0.9 メトリクス名 ラベル Key Value ü 上記例はCPUの利用時間を取得するnode_cpu_seconds_totalの例 ü 実際にはrate (node_cpu_seconds_total[5m])のような形でPromQLクエリを実行して値を取得 ※ node_cpu_seconds_total で絞り込みをかけるときには instanceラベル以外にもCPU番号ラベル、CPUのモード(idleなど)を表すラベルも使う © 2022 IBM Corporation
- 17. Grafana UI はPromQLが全てであると思った理由 17 どのようなものを図にしたいか 例：CPU Busyの値を下記のような形で知りたい場合のNode Exporterの実装 各CPUの使用時間を表すPromQLであるnode_cpu_seconds_totalがあるのでそれを使う 言葉でCPUコアNの使用率の式は コアNの総使用時間 コアNのidle時間 コアNの総使用時間 で表現され、 これを合計してコア数で割るとCPU Busyの平均値が出る これをPromQLで表現する場合は以下の形となる。時間の代わりにcount関数を使用 (((count(count(node_cpu_seconds_total{instance="$node",job="$job"})by(cpu))) - avg(sum by (mode)(rate(node_cpu_seconds_total {mode='idle',instance="$node",job="$job"}[$__rate_interval]))))) / count(count(node_cpu_seconds_total{instance="$node",job="$job"}) by (cpu))* 100 © 2022 IBM Corporation
- 18. 現在を知りたいか、 過去からの推移を知りたいかで見た目は選ぶ 18 現在の値を知りたい 過去からの推移を知りたい 平均値を時間ごとにしりたいのでGraphを使う 各値の個数が知りたいのでHeatmapを使う 今やばいものランキングを知りたいのでGraphを使う 今の状態がやばいのか知りたいのでStatやGuageを使う © 2022 IBM Corporation
- 20. ここで問題点 20 検索にひっかかりやすいワード（例えば “DX” ）を入力し、 なおかつ時間レンジを広く取るとPrometheusが落ちる Prometheusのログを見ると runtime: out of memory: cannot allocate 4194304-byte block (2422571008 in use) fatal error: out of memory メモリ不足になっとるやんけ！！！！ 48GBメモリ積んだ仮想マシンなのに！！ おそらくTwitter IDや、Usernameなど固有のラベルがあるのが問題 あとはTwitterを一度に100件検索してるので一気に情報が引っ張られるため？ (Prometheusはラベルの種類が増えるとストレージやメモリを食うらしい) これは今後改善の余地あり。うまくPrometheus形式の形に出力してあげないとまともに見れなくなります。 © 2022 IBM Corporation
- 21. 今後やりたいこと 21 先を読む O11yの実現 落ちないクエリの実装 ログの可視化 Prometheusが不得意な部分を コードでカバーする メトリクスとアラートを駆使し て先の予測をグラフで立てる Grafana Lokiを試す © 2022 IBM Corporation
- 22. IBM Cloud Pak for Watson AIOps は、AIを活⽤して、システム環境全体でデータを解析することで、IT運⽤データのサイロを 解消することができます。 IBM Cloud Pak for Watson AIOps モニタリング チケット・データ (例: ServiceNow ITSM) メトリックと イベント APM トポロジー トレース (例: ServiceNow ITOM) ログ・データ 不具合と DevOps ツールチェーンのデータ ⾮構造化 構造化 従来の⽅法では、 各データ・サイロ内でしか AIと機械学習を活⽤できません。 説明可能なAIで ⾃動化 収集 検知 実⾏ 決定 データサイロを超えて あらゆるデータタイプから 予測とアドバイス AIの洞察 Watson AIOps がもたらす決定的な 違いはAIと機械学習を使⽤して、 多様なデータソース にわたって 異常を検出・推論できることです。 データ・サイロを解消することで、 Watson AIOps は隠れた問題を 明らかにしていきます。
- 23. 23