モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
0 likes•2,082 views
Jenkins Day Japan 2021の講演資料です https://cloudbees.techmatrix.jp/jenkins-day-japan2021/
![● 2016年時点で、まず最初に候補に上がる
CI/CDプラットフォーム [要出典]
● 自前で運用することを選ぶ
(オンプレ環境にもクラウド環境にも使いたいため)
16
自動化のために選んだJenkins
モノタロウの中の人に
アイコンを作ってもらったよ](https://image.slidesharecdn.com/jenkins-jenkinsdayjapan2021-220224094019/85/Jenkins-Jenkins-Day-Japan-2021-16-320.jpg)
モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例 - Jenkins Day Japan 2021
- 1. モノタロウの開発・リリースサイクルを 支えるJenkinsの活用事例 株式会社MonotaRO 金谷敦志 1 2021.12.10 © 2020 MonotaRO Co., Ltd. All Rights Reserved.
- 2. 自己紹介 - 金谷敦志 2 ● 2014年にMonotaROに入社 ● ECサイト開発とDevOps普及活動を行い、現 在はエンジニアリングマネージャー ● 現職は3社目だが3社すべてでJenkins導入に 関わっており、今も片手間でJenkinsを運用 し続けている (Twitterなどはこちら)
- 3. 目次 3 ● モノタロウのご紹介 ● Jenkins導入前の開発・リリースに関する課題 ● コンテナを活用した柔軟な自動テスト環境 ● インフラの変化にも追従するリリースジョブの設計 ● まとめ
- 4. TL;DR 4 ● ビジネスと組織の成長のために脱・人力が必要 ● Jenkinsは脱・人力に必要なCI/CDプラットフォーム ○ Jenkinsfile + マルチブランチパイプライン + コンテナは便利 ● Jenkins活用によりエンジニア組織の成長もできた
- 5. モノタロウのご紹介 5
- 7. 7 間接資材購買 – モノタロウ以前 人的コスト 時間がかかる 商品がほしい 複数・多種な 営業に連絡 見積 価格交渉 発注 納期確定 納品 いくら？？ いつ届くの！？
- 8. 8 間接資材購買 – モノタロウ以後 商品がほしい 翌日届く すぐ届く 価格交渉なし 購買に関わるコストを大きく下げる
- 9. 企業における間接資材の調達プロセスをテクノロジーとデータ で圧倒的に簡単にする モノタロウの提供している価値 One Price One Stop Easy to Buy 価格透明性がある 必要なもの全部ある すぐ見つかる、買える 9
- 11. エンジニア絶賛募集中 11 本社は関西ですが、東京も幅広い職種を募集しています どのような人たちがどのような業務をしているかは下記を チェック！！ ● モノタロウ：採用情報：TOP ● MonotaRO Tech Blog ● Software Design 連載 - Pythonモダン化計画 ● 株式会社MonotaRO（モノタロウ）｜note
- 13. 開発における課題 ※2016年時点 レガシーシステム上で開発を続け、手厚い手動テストで 品質を担保するしかない状況 ● Pythonで独自実装フレームワーク/ライブラリ ● 多めのコピペ ○ (あるリポジトリのコード重複率 50%…) ● 自動化されたテストがない ● 仕様書も断片的にしかない 13
- 14. ※2016年時点 複数のホストにデプロイする手間と 確認する手間の発生 ● サイトを動かすホストは3種類 ● それぞれデプロイ方法が違う ● デプロイ順序を守る必要あり ● 本番リリース後の手動テストを 関係者全員で実施 14 リリースに関する課題
- 16. ● 2016年時点で、まず最初に候補に上がる CI/CDプラットフォーム [要出典] ● 自前で運用することを選ぶ (オンプレ環境にもクラウド環境にも使いたいため) 16 自動化のために選んだJenkins モノタロウの中の人に アイコンを作ってもらったよ
- 19. ● チェック項目を順次拡充したい ● ブランチ・プルリクエスト単位で 実行したい ● テストに必要なツールをJenkins ホストに直接入れるのは避けたい 19 自動テスト環境に関する課題と解消方法 Jenkinsfile マルチブランチパイプライン コンテナによるテスト環境構築 で解決できるよ！
- 20. ● Jenkinsジョブのビルド手順を書いたスクリプト ● マルチブランチパイプラインでは必須 ● 構文はDeclarative・Scriptedの両方あるがどちらも実行には問題なし 20 Jenkinsfile pipeline { agent { docker { image 'node:dubnium-jessie' } } stages { stage('eslint') { steps { sh script: 'npm ci && npm run lint -- -f checkstyle -o eslint_result.xml', returnStatus: true checkstyle pattern: 'eslint_result.xml', defaultEncoding: 'UTF-8' } } } } DeclarativeかScriptedかは ビルド手順の複雑さで 使い分けるのがいいよ
- 21. ● ジョブ実行時に、実行するコンテナのイメージを作ることもできる ● 毎回だと時間がかかりそうだが、割とビルド時のキャッシュが効く 21 Jenkinsfile pipeline { agent { dockerfile { filename 'Dockerfile' dir 'tools/unittest_b2b' additionalBuildArgs '--build-arg https_proxy=.....' args '-e https_proxy=..... -m "1024M" ' } } stages { // 省略 } }
- 22. ● Branches and Pull Requests ○ GitHub, Bitbucket等に合わせたプラグインを使う ○ 所定の場所にあるJenkinsfileでビルド実行 22 マルチブランチパイプライン
- 24. ● OSイメージにPythonや各種ツールを入れた ユニットテスト用イメージを作成 ● ビルド実行毎にコンテナイメージをビルド ● ユニットテスト・カバレッジレポートを生成 24 ユニットテスト ライブラリ更新だけのプルリクもちゃ んとユニットテストするよ See also: Software Design連載 2021年8月号 Python製のレガシー＆大規模システムをどうリファクタリングするか
- 25. ● mysqlコンテナは起動時にスキーマ生成とデータ投入を実行 ○ MySQL公式のDockerイメージは /docker-entrypoint-initdb.d にある シェルやSQLのスクリプトをファイル名順で順次実行する ● mysqlコンテナとpythonコンテナをsidecarパターンでリンク 25 結合テスト sidecarパターンのコード例は 弊社エンジニアもコントリビュートしてい るよ Using Docker with Pipeline See also: Software Design連載 2021年9月号 「テストが無い」からの脱却
- 26. ● 受け入れテスト実行環境を 入れたイメージを使用 ○ Robot Framework ○ Chromium ○ Chrome driver 26 受け入れテスト chrome(chromium)に --headless オプションを付けると Jenkins内でも動かせるHeadless モードになるよ See also: Software Design連載 2021年11月号 Robot FrameworkでE2Eテストを自動化する
- 27. ● 普段の開発を進めながら、多くの大規模変更を無事に 行うことができた ○ Python 3対応 ○ mod_pythonからの脱却 ○ ソースコードのUTF-8化 ● スナップショットテストもJenkinsで運用できた ○ Software Design連載 2021年10月号 スナップショットテストの 可能性を追求する 27 結果 (ビジネス側)
- 28. 28 結果 (エンジニア組織側) ● エンジニアが自動化できるマインドに移行 ● 自動化できることが分かり、応用する人が出てきた ○ 受け入れテストをRPAに応用する人が出現 ○ 未適用リポジトリへのCI導入が加速 ○ チェック対象も増加 (PythonのBlack適用など) Jenkinsさんに支えられ、エンジニア組織の成長ができた
- 31. 31 リリースジョブの設計に必要な3つのこと ● 事故らずジョブ実行できる仕組み ● ワークフロージョブとタスク実行ジョブ ● 実行ログの記録 安全性の確保は大事だよ
- 32. ● 認証は社内の仕組みと合わせる (Google認証やLDAPなど) ● 認可はRole-based Authorization Strategy ○ ユーザーは何かしらのロールに所属 ○ ロールはマッチするジョブに関する操作権限を持つ 32 事故らずジョブ実行できる仕組み (認証/認可) ジョブ名重要なのでJenkins管理者のみが ジョブを作れるようにしたよ。 担当の運用負担が増えるよ …
- 33. ● 環境ごとにJenkinsを用意する ○ 色で実行環境を識別 ○ 実行環境ごとの権限設定 33 事故らずジョブ実行できる仕組み (環境分離)
- 34. ● タスク実行ジョブ ○ 1つの仕事をこなすジョブ ● ワークフロージョブ ○ タスク実行ジョブをどのような 順番で処理するかを決めるジョブ 34 ワークフロージョブとタスク実行ジョブ 社内でもそう呼んでいるわけでは ないけど、このように名前を付け てみたよ
- 35. ● 1つの仕事をこなすジョブ ○ ○○サーバーへのデプロイ ○ △△キャッシュのクリア ● リリース担当が直接実行することは稀 内部的に実行するジョブを小さく保つメリット ● テストしやすい ● ジョブを再利用しやすい 35 タスク実行ジョブ ジョブの実行数が多くなるデ メリットがあるよ
- 38. 38 ワークフロージョブとタスク実行ジョブ stage('ContentsSync' ) { build job: "b2b_release_monotarocontents_${deployTarget}" } stage('Release') { parallel( ecap: { build job: "b2b_release_ecap_${deployTarget}" }, cd: { build job: "b2b_release_cd_${deployTarget}" } ) } ● ワークフロージョブの中でタスク実行ジョブを呼ぶ
- 39. ● リリース実施内容が分かる ○ 誰が？ ○ いつ？ ○ どのような変更内容で？ ○ リリースした結果どうなった？ 39 実行ログの記録
- 40. 40 結果 (ビジネス側) ● リリース作業できる人が増えた ● リリース起因の問題の発見、収束の時間が短くなった ● 結果、リリース回数が増えた ○ その後意図的に減らすなどありました。詳細は Software Design 2021年12月号 Pythonモダン化計画をチェック!!
- 41. 41 結果 (エンジニア組織側) ● リリース作業内容を変更せずに リリースの仕組みを進化させることができた ○ Jenkins経由でシェルスクリプト実行 ○ リリースジョブのワークフロー化 ○ 時間短縮のためのジョブ並列化 ○ 一部システムのリリースCodeDeployに変更 いつものワークフロージョブの中で実行す るタスク実行ジョブの差し替えで、一部リ リース内容の変更も簡単にできるよ
- 42. まとめ 42
- 43. まとめ 43 ● ビジネスと組織の成長のために脱・人力が必要 ● Jenkinsは脱・人力に必要なCI/CDプラットフォーム ○ Jenkinsfile + マルチブランチパイプライン + コンテナは便利 ● Jenkins活用によりエンジニア組織の成長もできた ● 活用はまだまだ続く ご清聴ありがとうございました
- 44. 44 © 2020 MonotaRO Co., Ltd. All Rights Reserved.