インフラ領域の技術スタックや業務内容について紹介
0 likes649 views
「インフラ領域の技術スタックや業務内容について紹介」 2022/08/24【23卒/24卒エンジニア】オンライン勉強会 「オンプレ環境とクラウドのハイブリッド運用の活用事例」 #MicroadDevs
インフラ領域の技術スタックや業務内容について紹介
- 1. インフラ領域の技術スタック や業務内容について紹介 株式会社マイクロアド システム開発部 基盤開発グループ チーフエンジニア 永富 安和 ( @yassan168 ) #MicroadDevs 2022年【23卒/24卒エンジニア】オンライン勉強会 「オンプレ環境とクラウドのハイブリッド運用の活用事例」
- 2. #MicroadDevs 今日の話の流れ 1. どの様な技術を使っているか 2. 業務内容について 3. 基盤開発グループの体制について 4. マイクロアドのインフラの魅力 5. 基盤開発グループのミッション 6. 業務を行う上で大切にしていること 2
- 3. #MicroadDevs どの様な技術を使っているか（その１） 環境 オンプレミス、AWS、GCP ネットワーク環境 ＆ネットワーク機器 IP Clossネットワーク WhiteBox Switch（Cumulus Linux）、Arista、Juniper 言語 Python、Golang、Java バージョン管理 Git (GitHub Enterprise) コラボレーションツール Slack、JIRA、Confluence、Google Workspace、Workplace 基盤開発グループで用いている技術は以下の通り 3
- 4. #MicroadDevs どの様な技術を使っているか（その２ ミドルウェア） ） プロビジョニング OS→ MAAS（Metal-As-A-Service）、クラウド→ Terraform 構成管理→ Ansible、AWX（Red Hat Ansible Automation PlatformのOSS版） RDBMS MySQL、PostgreSQL KVS Redis 分散処理基盤 CDH (Cloudera's Distribution including Apache Hadoop) HDFS、Hive、Impala、Spark（Spark Streaming）、Flume、Kafka 仮想化基盤 OpenStack Docker、Kubernetes（Rancher、RKE2） 監視基盤 Prometheus・VictoriaMetrics/Grafana、Elasticsearch/Kibana、 Datadog バッチ Digdag（Treasure Dataが主体で開発するOSSのワークフローエンジン） その他 Fluentd、Nginx 4
- 5. #MicroadDevs 業務内容について 国内最大級のデータプラットフォームのシステムインフラの設計・構築・運用 主な業務概要 1. 約1,400台の物理サーバをデータセンターで運用 2. IP Closネットワークの設計・構築・運用 3. Docker、Kubernetes、OpenStack を用いた仮想基盤の設計・構築・運用 4. Hadoopエコシステムを活用したデータ基盤の設計・構築・運用 5. バッチやCIで用いるクレデンシャルやアクセス権限の管理 6. 運用の自動化や監視の強化などインフラ環境の改善 7. 新しい技術の検証、導入 8. パブリッククラウド（GCP・AWS）の運用管理 9. 既存システムにおけるパフォーマンスチューニング 5
- 9. #MicroadDevs Docker、Kubernetes、OpenStack を用いた仮想基盤の設計・構築・運用 例）DigdagとDockerコンテナを用いたバッチサーバ PostgreSQL S3 Docker Daemon Digdag Server Host 01 Aジョブ用 Cジョブ用 ・・・ Digdag Server Docker Daemon Digdag Server Host XX Bジョブ用 Dジョブ用 ・・・ Digdag Server Aジョブ用 イメージ Bジョブ用 イメージ ジョブをコンテナ化しているのでどちらかのDigdag Serverで動く ホストの 縮退が可能 S3のファイルを フラグ的に使って ジョブ間の依存を解決 管理情報を参照 9
- 10. #MicroadDevs Hadoopエコシステムを活用したデータ基盤の設計・構築・運用 データセンター内にHadoopクラスタを構築。 必要なリソースを見積もり、将来を見越しながら運用している。 Cloudera Manager ログ転送 広告配信サーバ等 各種サーバ 管理・監視 オンプレ GCP BigQuery Impala 参照 参照 利用 データ基盤概要 10
- 11. #MicroadDevs バッチやCIで用いるクレデンシャルやアクセス権限の管理 クレデンシャルの管理 クレデンシャルとは、DBのアクセス情報やAWS S3アクセストークンなどの事。 開発する上で必要になるがクレデンシャルの中身は簡単に見えるようにしたくない。 そこで、Ansibleを用いてクレデンシャルを暗号化し、変数として扱えるようにして バッチから利用出来るようなしくみを構築して運用しています。 アクセス権限の管理 以下に対してどの様に権限を付与するか検討し、必要最小限の権限を付与する。 ● 各種サーバへのSSHリモートアクセス ● 開発向けWebサービス（GitHub Entrerprise、Jenkins、コンテナレジストリetc） ● AWS・GCPの各種サービス 11
- 12. #MicroadDevs 運用の自動化や監視の強化などインフラ環境の改善 繰り返し発生する作業のうち、手順化出来ている作業はコード化して 自動化出来るようしくみを構築して、手作業によるミスを無くすようにしてます。 例えば以下 ● クレデンシャルの管理 ● SSHリモートアクセス管理 ● ミドルウェアのインストール ● 監視のアラート設定 また、構築したシステムを監視出来るようにPromethuesを使って、 取得出来るメトリクスを増やし、異常を補足できるようにアラートを設定しています。 12
- 14. #MicroadDevs パブリッククラウド（GCP・AWS）の運用管理 各種サービスを適切に利用できるように整備する。 ● オンプレ環境と接続するためのネットワーク設定 ● VPC管理 ● IAM、サービスアカウントといったアクセス権限の管理 ● 利用するサービスのリソースの作成 ○ VMインスタンス、S3・GCSバケット、GKEクラスタなどなど 大事にしていること ● 安全に利用できること ● コスト ● 最小権限の原則に基づいて権限を考慮すること 14
- 15. #MicroadDevs 既存システムにおけるパフォーマンスチューニング 以下のような理由でパフォーマンス改善を行うこともあります ● 構築時の想定と異なる利用した影響でパフォーマンスが落ちる ● 要求するスペックが上がる ● ダッシュボードを見た際に想定よりパフォーマンスが悪い などなど チューニングの際は、観点となるメトリクスをGrafanaのダッシュボードを見なが ら、改善していきます。 15
- 17. #MicroadDevs マイクロアドのインフラの魅力 その１ 広告に由来する大規模データとトラフィックを支える巨大なインフラ環境に携われる ● 秒間30万件のリクエストを 100 msec 以下で捌く広告配信システム ● メインのデータレイクは約40TB/日の書き込み、総量が約2ペタバイト 基盤開発グループ視点での魅力 ● 上記を支える約1,400台の物理サーバをデータセンターで運用 ● AWS、GCPなどのパブリッククラウドサービスも併用 ● Ansibleなどによる自動化で、容易かつ再現性のあるインフラ構築を実現 17
- 18. #MicroadDevs マイクロアドのインフラの魅力 その２ 広範なインフラ領域の様々な業務に取り組むことができる 近年に行った新規導入、検証、各種改善の例 ● データセンターの移設 ● IP Closネットワークの導入 ● Rancher（& RKE2）によるKubernetes環境の導入 ● CentOS以外のOSとしてUbuntuの導入 ● Prometheus及びLong-term StorageとしてのVictoriaMetricsの利用 ● GrafanaダッシュボードのIaC運用の導入 18
- 22. #MicroadDevs 振り返り 1. どの様な技術を使っているか 2. 業務内容について 3. 基盤開発グループの体制について 4. マイクロアドのインフラの魅力 5. 基盤開発グループのミッション 6. 業務を行う上で大切にしていること 22
- 23. 補足（MicroAd Developers Blog） ● ケーブリングを改善した話 https://developers.microad.co.jp/entry/2022/06/27/100000 ● strongSwanとFRRでオンプレとGCPをVPN接続 https://developers.microad.co.jp/entry/2022/05/30/100000 ● CDH (Hadoop) 入門 https://developers.microad.co.jp/entry/2021/09/21/063000 ● redis threadedI/Oの検証 https://developers.microad.co.jp/entry/2021/06/28/063000 23
- 24. 補足（MicroAd Developers Blog） ● Ansible AWXでMySQLの構成管理を行う https://developers.microad.co.jp/entry/2019/06/07/190000 ● MAASを導入した話 https://developers.microad.co.jp/entry/2020/09/29/063000 24
- 25. 補足（SlideShare） ● Cumulus Linuxを導入したワケ https://www.slideshare.net/microad_engineer/cumulusug20191120 ● Hadoopデータ基盤とMulti-CloudなML基盤への取り組みの紹介 https://www.slideshare.net/microad_engineer/camphorinfra20191005 25