俺の Kubernetes Workflow with HashiStack
- 1. 俺のKubernetes Workflow with HashiStack Toru Makabe Cloud Solution Architect at Microsoft
- 2. 自己紹介 CODE EDITOR apiVersion: selfIntroduction/v1 name: “真壁 徹(まかべ とおる)” company: name: “日本マイクロソフト株式会社” role: “クラウド ソリューションアーキテクト” love: “Cloud Computing & Craft Beer”
- 3. お伝えしたいこと 本日のお品書き ▪ Kubernetes における構成管理の課題 ▪ 俺のGitOps (Terraform & Flux) ▪ 俺のWorkflow (Terraform Cloud & Visual Studio Code & GitHub Actions) ▪ Now Challenging… Consul Service Mesh on Kubernetes
- 6. Kubernetesの環境、 何を使って作っていますか? Terraform CLI by Cloud Provider Provisioning Tool by Cloud Provider (e.g. Azure Resource Manager Template) Other
- 9. Kubernetes クラスター 外部リソース (データストア、 シークレットストア、 監視サービス、etc) 仮想マシン ネットワーク ストレージ Azureが提供するプロビジョニングツールの カバー範囲 Kubernetes リソース (Deployment、DarmonSet、StorageClass、 Secret、ConfigMap、etc)
- 10. Kubernetes リソース (Deployment、DarmonSet、StorageClass、 Secret、ConfigMap、etc) Kubernetes クラスター 外部リソース (データストア、 シークレットストア、 監視サービス、etc) 仮想マシン ネットワーク ストレージ Terraformの カバー範囲
- 12. だがしかし
- 14. Kubernetes クラスター 仮想マシン 外部リソース (データストア、 シークレットストア、 監視サービス、etc) Kubernetes リソース – Platform寄り (Ingress Controller、DaemonSet、 StorageClass、Secret、ConfigMap、etc) Kubernetes リソース – App寄り (Deployment、Ingress、Secret、 ConfigMap,、etc) ネットワーク ストレージ 分離!!
- 15. Kubernetes クラスター 仮想マシン 外部リソース (データストア、 シークレットストア、 監視サービス、etc) Kubernetes リソース – Platform寄り (Ingress Controller、DaemonSet、 StorageClass、Secret、ConfigMap、etc) Kubernetes リソース – App寄り (Deployment、Ingress、Secret、 ConfigMap,、etc) ネットワーク ストレージ Terraformの カバー範囲 管理者向けの “Bootstrap”ツールと 位置付ける
- 16. Kubernetes クラスター 仮想マシン 外部リソース (データストア、 シークレットストア、 監視サービス、etc) Kubernetes リソース – Platform寄り (Ingress Controller、DaemonSet、 StorageClass、Secret、ConfigMap、etc) Kubernetes リソース – App寄り (Deployment、Ingress、Secret、 ConfigMap,、etc) ネットワーク ストレージ Terraformの カバー範囲 ここを どうする？
- 18. Kubernetes クラスター 仮想マシン 外部リソース (データストア、 シークレットストア、 監視サービス、etc) Kubernetes リソース – Platform寄り (Ingress Controller、DaemonSet、 StorageClass、Secret、ConfigMap、etc) Kubernetes リソース – App寄り (Deployment、Ingress、Secret、 ConfigMap,、etc) ネットワーク ストレージ Terraform Flux & Helm Operator GitHub(*) 継続的な pull & apply 構築時のapply (*)経験上Bootstrapはレポジトリを分けることが多い
- 19. それぞれの位置づけ Terraform - Bootstrapping 一度作成したらあまり変更しない or したくないリソース GitOpsの準備を整える Flux & Helm Operator – GitOps Continuous Configuration Bootstrap後にGitHubから構成をpull、適用し続ける Fluxの他にはArgo CDも人気がある印象 GitHub - Single Source of Truth ここさえ見れば構成が分かる、と信頼できる情報源 Kubernetesクラスターを直接操作せず、変更はGitHubへ
- 20. 作成・設定・維持対象リソース例 Flux & Helm Operator User Application (e.g. Deployment, Service, HPA, ConfigMap) Cache Utilities & Tools (e.g. Kured, Prometheus) Terraform Azure Virtual Network Azure Public IP Address (For Ingress) Azure Kubernetes Service Azure Monitor Integration Kubernetes Storage Class Flux & Helm Operator Ingress Controller (e.g. NGINX) Service Mesh (e.g. Consul)
- 21. 作成・設定・維持対象リソース例 ▪ 一度作成したら変更したくない or させたくないリソース ▪ 管理者に操作権限を限定させたい リソース ▪ Flux & Helm Operatorが動き出 す前に作成を完了したいリソース ▪ 作成、設定順序を意識するリソー ス Terraform Azure Virtual Network Azure Public IP Address (For Ingress) Azure Kubernetes Service Azure Monitor Integration Kubernetes Storage Class Flux & Helm Operator Ingress Controller (e.g. NGINX) Service Mesh (e.g. Consul)
- 22. 作成・設定・維持対象リソース例 Flux & Helm Operator User Application (e.g. Deployment, Service, HPA, ConfigMap) Cache Utilities & Tools (e.g. Kured, Prometheus) ▪ 継続的に変更するリソース ▪ アプリ開発者にも権限を委譲した いリソース ▪ 作成、設定順序を意識しない、宣 言的構成管理、Kubernetes Way に沿ったリソース ▪ Bootstrapで構成する強い理由が ないリソース (Terraformでは Kubernetes YAMLマニフェスト をHCLに書き換える必要があるた め)
- 23. 俺のWorkflow (Terraform Cloud & Visual Studio Code & GitHub Actions)
- 24. 俺の開発環境 もろもろの要件&条件 ▪ 開発端末はプロジェクトに合わせてWindowsもmacOSも使う ▪ いくつかの端末を使い分ける ▪ オフィスでもお客様先でも家でもコードを書く ▪ コードは一元管理したい ▪ Terraformのステートも一元管理したい ▪ 開発環境の設定も一元管理したい
- 25. Windows 10 WSL 2 VS Code Remote Dev. Ext. Terraform Ext. GitHub Settings Sync Ext. macOS VS Code Terraform Ext. Settings Sync Ext. Terraform Cloud Git Terraform Git Terraform State Code & VS Code settings 俺の開発環境 いつでも どこでも Terraform ▪ Terraform Cloudでステートを管理 ▪ VS Codeの設定を複数端末で同期(Settings Sync拡張を利用) – 同期機能は標準提供される予定(現在はInsidersで提供)
- 26. Terraform Visual Studio Code Extension ▪ v2からHashiCorpが開発をリード ▪ HCL 2やTerraform Language Server対応など意欲的 ▪ v2への移行に伴い、ややIssueが 多めですが、前向きにフィードバ ックして育てていきましょう https://github.com/hashicorp/vscode-terraform
- 27. 俺のTerraform CI & Review プルリク時にGitHub Actionsでplanし、レビューやマージ判断に活用 GitHub Pull Request Trigger GitHub Actions • terraform fmt • terraform init • terraform plan Result applyの自動化は、あまりやっていません (技術的には可能ですが、リスクを考慮)
- 28. 俺のKubernetes Workflow 全体像 Dev/Test Production Apps Flow Bootstrap GitOps 参考: Azure Kubernetes Service インフラ ブートストラップ開発フロー&コードサンプル 2020春版
- 29. Now Challenging… Consul Service Mesh on Kubernetes
- 31. Consul Connect Service Mesh on k8s 激しく期待を込めて検証中
- 32. 俺のConsul Connect Service Mesh on k8s 絶賛検証中 Consul Server Consul Client Consul Connect & Envoy NGINX Ingress Controller Backend App Frontend App Consul Connect & Envoy Consul Connect & Envoy 構成管理4人衆 可観測性コンビ
- 34. おねだり‼ Consul Server Consul Client Consul Connect & Envoy NGINX Ingress Controller Backend App Frontend App Consul Connect & Envoy Consul Connect & Envoy 構成管理4人衆 可観測性コンビ 代表的なIngress Gatewayだけで構 わないので、もっ と楽に設定したい Helmで設定可 能な属性が増 えると幸せ より容易な 統合手段があ ると嬉しい
- 35. まとめ
- 36. お伝えしたかったこと ▪ Kubernetes における構成管理の課題 ▪ 俺のGitOps (Terraform & Flux) ▪ 俺のWorkflow (Terraform Cloud & Visual Studio Code & GitHub Actions) ▪ Now Challenging… Consul Service Mesh on Kubernetes