OSC2014.Enterprise Zabbix-JobScheduler連携ツールHyClopsJobMonitoringによる運用システムOSS化の実現
5 likes2,633 views
12/12 OSC2014.Enterpriseで発表した資料です。 HyClops JobMonitoringの紹介です。
![参考情報: ローレベルディスカバリ
Zabbix Server
ディスカバリルール
/ /data
定期的に探索
アイテムプロトタイプ
アイテム
vfs.fs.size[{#FSNAME},free]
{
"data":[
{
"{#FSNAME}":"/",
"{#FSTYPE}":"ext3"},
{
"{#FSNAME}":"/data",
"{#FSTYPE}":"ext3"},
・・・省略
}
アイテム
vfs.fs.size[/,free]
vfs.fs.size[/data,free]
活用例：
JobSchedulerに登録されているJob一覧情報に基づいてアイテム自動登録とか](https://image.slidesharecdn.com/osc2014enterprisezabbix-jobscheduleross-141212003524-conversion-gate01/85/OSC2014-Enterprise-Zabbix-JobScheduler-HyClopsJobMonitoring-OSS-13-320.jpg)
![参考情報: ZabbixAPI
■ できること
- Zabbixに対する操作(設定変更、ホスト追加、グループ作成等)実施
- Zabbixで管理している監視結果の取得(history,event,IT service情報)
■ APIの形式: JSON-RPC
- URL: http://<zabbix-server>/zabbix/api_jsonrpc.php
- メソッド: host.create、host.update、item.get、history.getなど
- パラメータ: メソッド毎に必要なパラメータを渡す
host.getの例
レスポンス
{
"auth": "xxxxxxx",
"method": "host.get",
"params": {
"output": "extend",
"filter": {"host":"Zabbix server"}
},
"jsonrpc": "2.0",
"id": 1
}
{
"jsonrpc":"2.0",
"result":[{
"maintenances":[],
"hostid":"10084",
"host":"Zabbix server",
・・・略
}],
"id":1
}
リクエストパラメータ](https://image.slidesharecdn.com/osc2014enterprisezabbix-jobscheduleross-141212003524-conversion-gate01/85/OSC2014-Enterprise-Zabbix-JobScheduler-HyClopsJobMonitoring-OSS-14-320.jpg)
![JobSchedulerのJob定義の例
Standalone Jobの書き方
<?xml version="1.0" encoding="ISO-8859-1"?>
<job order="no" stop_on_error="no">
<script language="shell"><![CDATA[
#!/bin/bash
FILE=/tmp/demo_job.log
echo `date`": Executed demo_main Job" >> $FILE
sleep 2
]]></script>
<run_time let_run="yes" repeat="60"/>
</job>
任意の実行処理が記述可能
実行タイミングを指定可能](https://image.slidesharecdn.com/osc2014enterprisezabbix-jobscheduleross-141212003524-conversion-gate01/85/OSC2014-Enterprise-Zabbix-JobScheduler-HyClopsJobMonitoring-OSS-18-320.jpg)
![HyClopsJMの機能詳細
閾値変更例
CPUのロードアベレージのトリガー閾値を変更したい場合
閾値変更Job
(HyClops_JM_Trigger_switch
)
復帰Job
(HyClops_JM_Trigger_ret)
パラメータに以下を指定
trigger_name
Processor load is too high on {HOST.NAME}
trigger_cond
{localhost:system.cpu.load[percpu,avg1].avg(5m)}>10
パラメータの指定なし
閾値変更Jobで変更されたものを全て元に戻す](https://image.slidesharecdn.com/osc2014enterprisezabbix-jobscheduleross-141212003524-conversion-gate01/85/OSC2014-Enterprise-Zabbix-JobScheduler-HyClopsJobMonitoring-OSS-34-320.jpg)
![HyClops JMのセットアップ方法
2. HyClops JobMonitoringを入手
https://github.com/tech-sketch/hyclops_jm
$ curl -O https://github.com/tech-sketch/hyclops_jm/archive/[version no.].tar.gz
$ tar zxvf hyclops_jm-[version no.].tar.gz](https://image.slidesharecdn.com/osc2014enterprisezabbix-jobscheduleross-141212003524-conversion-gate01/85/OSC2014-Enterprise-Zabbix-JobScheduler-HyClopsJobMonitoring-OSS-38-320.jpg)
OSC2014.Enterprise Zabbix-JobScheduler連携ツールHyClopsJobMonitoringによる運用システムOSS化の実現
- 1. Zabbix-JobScheduler連携ツール HyClops JobMonitoringによる 運用システムOSS化の実現 TIS 株式会社 戦略技術センター 池田 大輔 2014/12/12 OSC2014.Enterprise@Tokyo
- 2. 自己紹介 池田 大輔 TIS株式会社 戦略技術センター @ike_dai https://www.facebook.com/ikedai Zabbix,AWS,fluentd,Chef,JobScheduler... 名前 所属 Twitter Facebook 興味 ThinkIT連載「自動化時代のインフラ環境稼働テスト「Serverspec」入門」 (http://thinkit.co.jp/book/2014/08/01/5149) 技術評論社HP : http://gihyo.jp/book/2014/978-4-7741-6288-1 Amazon : http://www.amazon.co.jp/dp/4774162884
- 3. TISエンタープライズOSSサポートサービス OSSの利用をトータルにバックアップ 保守サポート コンサルティングマイグレーション
- 4. TISエンタープライズOSSサポートサービス 対象OSS アプリケーション 稼働基盤 運用基盤 インフラ基盤 ※今後サポート対象予定
- 5. TISエンタープライズOSSサポートサービス 対象OSS アプリケーション 稼働基盤 運用基盤 インフラ基盤 ※今後サポート対象予定 ※TISはZabbix社の認定パートナーです。
- 6. 運用を取り巻く状況の変化 システムの仮想化・クラウド化が加速 管理対象機器の大規模化管理対象機器の動的な変化 手動運用でカバーできるシステムが減少 “運用自動化”が益々求められる状況で より安定したシステムを低価格で迅速に提供
- 7. OSSを運用環境に取り入れる 多くのOSSは用途に特化した形で提供 監視ジョブ管理 ログ管理 Zabbix Nagios ・・・ インシデント 管理 JobScheduler ・・・ rsyslog Fluentd サーバ・・・ 構成管理 Chef Ansible ・・・ Redmine OTRS ・・・
- 8. OSSを運用環境に取り入れる APIをベースに各ツール連携することがポイント 監視ジョブ管理 ログ管理 Zabbix Nagios ・・・ インシデント 管理 JobScheduler ・・・ rsyslog Fluentd サーバ・・・ 構成管理 Chef Ansible ・・・ Redmine OTRS ・・・ API
- 10. OSS統合監視ソフトウェアZabbix OSS統合監視ツール (GPL ver.2) ラトビアのZabbixSIA社が開発 2014/12/12時点の最新安定版2.4.2 (2014/11/5リリース) 監視対象機器 - Linux - Windows - NW機器 等 監視方法 - Zabbix Agent監視 - SNMP監視 - IPMI監視 - エージェントレス監視 等 監視内容 - リソース監視 - 死活監視 - ICMPPing - プロセス - Web監視 - ログ監視 - HW監視 - SQL監視 等
- 11. Zabbixは監視手法が豊富 snmp server snmp server 任意の情報をpush型でZabbixに登録 SNMP Trap SNMP ssh server ssh server Zabbix Agent 仮想化HV Cloud ODBC DB JMX Java アプリ 仮想環境API クラウドAPI Zabbix Sender Zabbix Server SSH接続による 内部コマンド実行監視 ZabbixAgent による内部監視 (リソースやログ等) ODBCによるDB監視 Zabbix Java GatewayによるJava監視 外部チェックスクリプト監視機能によるAPI監視
- 12. Zabbixは自動化機能が充実 監視設定パターン化監視設定自動化運用自動化 テンプレート機能ZabbixAgent自動登録機能 ローレベルディスカバリ機能 アクション機能 監視設定をサーバの用途毎、 種別毎等まとめる機能 Agent起動時に自身の情報を Zabbix Serverに自動連携 監視対象サーバ内の情報を収集し、 その内容に合わせて自動設定 条件を設定してあらかじめ登録し た運用作業処理実行コマンドを 自動実行 Zabbix API機能 プログラムからZabbixの設定や 監視結果情報取得を実現
- 13. 参考情報: ローレベルディスカバリ Zabbix Server ディスカバリルール / /data 定期的に探索 アイテムプロトタイプ アイテム vfs.fs.size[{#FSNAME},free] { "data":[ { "{#FSNAME}":"/", "{#FSTYPE}":"ext3"}, { "{#FSNAME}":"/data", "{#FSTYPE}":"ext3"}, ・・・省略 } アイテム vfs.fs.size[/,free] vfs.fs.size[/data,free] 活用例： JobSchedulerに登録されているJob一覧情報に基づいてアイテム自動登録とか
- 14. 参考情報: ZabbixAPI ■ できること - Zabbixに対する操作(設定変更、ホスト追加、グループ作成等)実施 - Zabbixで管理している監視結果の取得(history,event,IT service情報) ■ APIの形式: JSON-RPC - URL: http://<zabbix-server>/zabbix/api_jsonrpc.php - メソッド: host.create、host.update、item.get、history.getなど - パラメータ: メソッド毎に必要なパラメータを渡す host.getの例 レスポンス { "auth": "xxxxxxx", "method": "host.get", "params": { "output": "extend", "filter": {"host":"Zabbix server"} }, "jsonrpc": "2.0", "id": 1 } { "jsonrpc":"2.0", "result":[{ "maintenances":[], "hostid":"10084", "host":"Zabbix server", ・・・略 }], "id":1 } リクエストパラメータ
- 15. OSSジョブ管理ソフトウェアJobScheduler OSSジョブ管理ツール (GPL ver.2) ドイツ ベルリンのSOS社が開発 2014/12/12時点の最新安定版1.7.4321 (2014/11/17リリース) 対応プラットフォーム - Linux - Windows - Solaris - AIX - HP-UX ジョブ実行方法 - JS単体でのジョブ実行 - JS Agentによる リモートサーバへのジョブ実行 - SSH接続による リモートサーバへのジョブ実行 対応可能処理 - フロー(JobChain)実行 - スケジュール実行 - 多重実行・排他制御 - 先行・後続制御 - 優先度設定 - ジョブ実行監視 - メール通知 等 ※ JS = JobScheduler ※ JS Agent = JobScheduler Agent
- 16. JobSchedulerの基本構成 JOC JOE ※Jobエディタ Job Job Chain JobScheduler Agent JobScheduler Agent SSH Server ※Job管理WebGUI Job Job Chain DB ※Job実行履歴、 Jobスケジューリング情報 等 Schedule Process Class Schedule Process Class JobScheduler Engine
- 17. JobSchedulerのJobの考え方 Standalone Job Job Chain Order Job Order Job Schedule • Standalone Job – 単体で稼動するジョブを定義 • Job Chain – 複数ジョブを順序関係を考慮して 組み合わせるジョブ(order job)を定義 • Schedule – ジョブの稼動予定を定義 • ジョブ定義は様々な記述が可能 – ShellScript, Windows bat,Java, JavaScript,VBScript, javax.script, Perl JobSchedulerの特徴 ● ジョブ関連の全ての定義がXMLファイルで管理 ● 様々な操作を簡単に行えるようにする機能が提供されている ○ ファイル操作、ファイル転送、DB制御、SQL操作、レポーティング機能 などなど
- 18. JobSchedulerのJob定義の例 Standalone Jobの書き方 <?xml version="1.0" encoding="ISO-8859-1"?> <job order="no" stop_on_error="no"> <script language="shell"><![CDATA[ #!/bin/bash FILE=/tmp/demo_job.log echo `date`": Executed demo_main Job" >> $FILE sleep 2 ]]></script> <run_time let_run="yes" repeat="60"/> </job> 任意の実行処理が記述可能 実行タイミングを指定可能
- 19. JobSchedulerのJobChain定義の例 JobChainの書き方 Before_Job Main_Job After_Job Start <?xml version="1.0" encoding="ISO-8859-1"?> Success Error <job_chain orders_recoverable="yes" title="test_jobchain" visible="yes"> <job_chain_node state=”Before_Job” job=”/path/to/before_job” error_state="Error" next_state=”Main_Job”/> <job_chain_node state=”Main_Job” job=”/path/to/main_job” error_state="Error" next_state="After_Job"/> <job_chain_node state=”After_Job” job=”/path/to/after_job” error_state="Error" next_state="Success"/> <job_chain_node state="Success"/> <job_chain_node state="Error"/> </job_chain>
- 20. JobSchedulerのSchedule定義の例 Scheduleの書き方 <?xml version="1.0" encoding="ISO-8859-1"?> <schedule title="demo schedule" valid_to="2014-12-31 23:59:59"> <period single_start="10:30"/> <weekdays > <day day="6"> <period single_start="04:00"/> </day> </weekdays> </schedule> 毎日10:30 毎週土曜 4:00
- 21. 参考情報: JobScheduler API 内部API ジョブの中でJobSchedulerに対する操作が可能 ※例:ジョブAの実行に失敗したらジョブBのジョブスケジュールを変更 WebAPI 外部ツールからJobSchedulerに対する操作が可能 ※例:Zabbixの監視結果で障害が発生したらとあるジョブCを実行
- 22. JobScheduler単体だとできないこと ● ジョブの失敗時の通知は単純なメール送信のみ ● ジョブの実行結果はテキストとして保存されているのみ (表示はテキストベースの一覧表示) ● ジョブ管理に特化したツールであるため監視機能はない
- 23. HyClops JobMonitoring OSS公開 高機能な監視を実現するZabbix 高機能なジョブ管理を実現するJobScheduler
- 24. HyClops JobMonitoring 概要 ● ジョブ実行状況をZabbixにて監視するツール ● ZabbixやJobScheduler自体の改変はせずそのまま利用可能 ● Zabbixの監視機能、JobSchedulerのジョブ実行機能を活用 ● JobScheduler利用時に不足する監視機能をZabbixで補う ● 2014年12月10日 OSSとして公開 公式サイトURL: http://tech-sketch.github.io/hyclops_jm GitHubリポジトリ: https://github.com/tech-sketch/hyclops_jm
- 25. HyClops JobMonitoring 3つのメリット その1. ジョブの失敗や遅延情報をZabbixでキャッチアップ TimeLimit! Zabbix 通知をZabbixのアクション設定に基づいて実行できるため、より柔軟な対応が可能に
- 26. HyClops JobMonitoring 3つのメリット その2. ジョブ実行時の状態の推移をZabbixで管理 1ヶ月前 Finish! 1時間 現在 ZabbixのDBにて推移状況を管理できるのでジョブ実行の分析が可能に 各ジョブの実行時のサーバリソースの状況と紐付けての管理も可能に Finish! 3時間
- 27. HyClops JobMonitoring 3つのメリット その3. ジョブ実行時の高負荷に備えた監視設定変更 平常時のCPU負荷Job実行時のCPU負荷 閾値閾値 Jobの実行によりあらかじめ想定される負荷への対応が可能
- 28. HyClopsJMの機能詳細 ジョブ失敗状況の検知 Zabbix HyClops JM JobScheduler Engine 実行 Error終了 メールを フック Zabbix連携処理mail送信 より柔軟な通知 ※JobScheduler Agent毎に管理 Zabbix Sender Zabbixアクション設定 Zabbixトリガー設定 Job稼働ステータス Jo監b視稼ア働イステテムータス 監視アイテム
- 29. HyClopsJMの機能詳細 ジョブ失敗通知設定例 時間軸 JobChain1 失敗 JobChain1 失敗 JobChain1 失敗 JobChain1 失敗 Skip! Skip!
- 30. Job定義 HyClopsJMの機能詳細 ジョブ稼働時間の監視 Zabbix ホスト server-01 server-02 アイテム JobA稼働時間 Job1稼働時間 Job3稼働時間 JobScheduler Engine server-01 JobScheduler Agent server-02 JobScheduler Agent HyClops JM 定義情報をもとに 設定自動連携 実行ログを解析し 稼働時間自動登録 自動登録 Job2稼働時間 Job4稼働時間 JobA JobChain1 Job1 Job2 JobChain2 Job3 Job4 ローレベルディスカバリ Zabbix Sender
- 32. HyClopsJMの機能詳細 トリガー閾値の自動変更 Zabbix 閾値変更Job メインJob 復帰Job Jobテンプレート 閾値変更Job テンプレート 復帰Job テンプレート 既存トリガー 無効化 Job実行中のみ 有効なトリガー 新規作成 例: CPU使用率>70%なら障害 例: CPU使用率>90%なら障害 Zabbix API
- 33. HyClopsJMの機能詳細 トリガー閾値の自動変更 Zabbix 閾値変更Job メインJob 復帰Job Jobテンプレート 閾値変更Job テンプレート 復帰Job テンプレート 既存トリガー 有効化 Job実行中のみ 有効なトリガー 削除 例: CPU使用率>70%なら障害 例: CPU使用率>90%なら障害 Zabbix API
- 34. HyClopsJMの機能詳細 閾値変更例 CPUのロードアベレージのトリガー閾値を変更したい場合 閾値変更Job (HyClops_JM_Trigger_switch ) 復帰Job (HyClops_JM_Trigger_ret) パラメータに以下を指定 trigger_name Processor load is too high on {HOST.NAME} trigger_cond {localhost:system.cpu.load[percpu,avg1].avg(5m)}>10 パラメータの指定なし 閾値変更Jobで変更されたものを全て元に戻す
- 35. HyClopsJMのデモ 1. ジョブ追加に伴い自動的にZabbixに監視アイテム登録 2. トリガー変更ジョブ組み込みによる動的な閾値変更 デモ環境構成 AWS EC2インスタンスにZabbix ServerとJobScheduler Engineを導入 EC2 Zabbix Server Job Chain Job Chain アイテム自動登録 Job Job JobScheduler Engine 追加
- 36. HyClopsJMのデモ 1. ジョブ追加に伴い自動的にZabbixに監視アイテム登録 2. トリガー変更ジョブ組み込みによる動的な閾値変更 デモ環境構成 AWS EC2インスタンスにZabbix ServerとJobScheduler Engineを導入 EC2 Zabbix Server トリガー変更 Job Chain トリガー変更ジョブ組み込みJobChain Run! Job Chain Job Job JobScheduler Engine
- 37. HyClops JMのセットアップ方法 1. 稼働に必要なものをインストール ・Zabbix、JobScheduler、PostgreSQL、Fabric、Python ・自動インストールするためのChefRepoも公開 https://github.com/tech-sketch/hyclops_jm-chef-repo $ git clone https://github.com/tech-sketch/hyclops_jm-chef-repo.git $ cd hyclops_jm-chef-repo $ vi config/config.json { "postgresql": { "version": "9.3" }, "zabbix": { "version": "2.2" }, "jobscheduler": { "version": { "major": "1.7" } } } $ ./install_middleware.sh
- 38. HyClops JMのセットアップ方法 2. HyClops JobMonitoringを入手 https://github.com/tech-sketch/hyclops_jm $ curl -O https://github.com/tech-sketch/hyclops_jm/archive/[version no.].tar.gz $ tar zxvf hyclops_jm-[version no.].tar.gz
- 39. HyClops JMのセットアップ方法 3. 設定ファイルを編集 hyclops_jm.conf # HyClops JobMonitoring user jm_user = hyclops_jm # HyClops JobMonitoring用OSユーザ jm_passwd = hyclops_jm # 上記ユーザのパスワード # JobScheduler configuration js_id = scheduler # JobSchedulerのscheduler id js_user = scheduler # JobSchedulerのインストールユーザ js_passwd = scheduler # 上記ユーザのパスワード js_host = 127.0.0.1 # JobSchedulerの実行ホストのIP js_port = 4444 # JobSchedulerの待ち受けポート # Zabbix configuration zbx_host = 127.0.0.1 # Zabbixの実行ホストのIP zbx_login_user = Admin # Zabbix Web UIにログイン可能な管理者ユーザ zbx_login_passwd = zabbix # 上記管理者ユーザのパスワード zbx_external_scripts_dir = /usr/lib/zabbix/externalscripts # Zabbixの外部チェック用スクリプトの格納ディレ クトリ # Database super user db_user = postgres # PostgreSQLのスーパーユーザ db_passwd = # 上記ユーザのパスワード db_host = 127.0.0.1 # PostgreSQL実行ホストのIP db_port = 5432 # PostgreSQLの待ち受けポート pgsql_version = 9.3 # PostgreSQLのバージョン
- 40. HyClops JMのセットアップ方法 4. HyClops JobMonitoringインストール $ sudo fab -c hyclops_jm.conf install セットアップはこれで完了 あとは自動的にジョブの情報がZabbixに連携
- 41. Zabbix JobScheduler Database for HyClops JM Fig.1 Architecture Fabric script script script script ・・・API API Get job elapse job Job item and host sync job Collaborate with API Trigger with job error script mail alias Zabbix Host Template App JobScheduler Template App HyClops JM Scheduled job execute fabric script Trigger modify job template Auto registration Config Database
- 42. まとめ ● ZabbixやJobSchedulerは非常に高機能なOSS ● HyClops JobMonitoringは ○ 各ツールの機能を活用しつつ不足する部分を補うことで 相乗効果を創出 ○ 以下の機能を実現 ■ ジョブ実行時間の監視 ■ ジョブ失敗の検知 ■ ジョブ実行時の負荷状況に応じた動的な監視設定 ● 今後の予定 ○ 追加機能開発を行い更なる有効な連携を実現 試してみたいという方はご連絡を！！ 展示ブースにてデモもお見せできます！
- 43. お問い合わせはこちらまで TIS株式会社 OSSサポートサービス担当窓口 [email protected] ご清聴ありがとうございました。