2020 AWS Summit - 如何有效管理 AWS 的成本結構與系統架構
1 like•643 views
该文档探讨在矩阵型组织中管理AWS成本结构和系统架构的策略。重点包括制定资源标签规范以提高成本可见性，并管理组织与技术架构的复杂关系，确保资源的合理分配。最终目标是实现可扩展、可管理的云基础设施，以支持企业的快速增长和业务扩展。
2020 AWS Summit - 如何有效管理 AWS 的成本結構與系統架構
- 1. 1
- 2. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Rick Hwang Sr. Technical Manager @ 91APP 在矩陣型組織裡， 如何有效管理 AWS 的成本結構與系統架構 How to Manage Cost and Services for Multiple AWS Accounts in Matrix Organization 2
- 4. 4 公司介紹
- 5. 5 台灣最大&成長最快 品牌新零售解決方案公司 - 為零售企業打造線上電商&門市OMO循環 - 2013年成立，前Yahoo!、興奇科技經營團隊創辦 - 總部在台北，馬來西亞/香港分公司 - 公司同仁逾400人 - 連續四年榮獲「創新商務獎/最佳商業模式」 - 獲選「勤業眾信亞太區高科技高成長前500強」 (Ranked 152th,Deloitte Technology Fast 500 Asia Pacific) 虛實融合OMO最佳夥伴
- 7. ● Sr. Manager @ 91APP ● 經營管理 ● Cloud / AWS ● DevOps / SRE ● Distributed Systems ● 音樂 吉他 鍵盤 編曲 ● 哲學 科幻 金庸 喇賽 ● Complete Think、喝咖啡聊音樂、譯 著：分散式系統設計 Rick Hwang 7
- 8. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 一、背景與現象 8
- 9. 背景：矩陣型組織與敏捷開發模式 數個功能型部門 (Functional Teams) 200+ 人的團隊 ● PM、PO、HD ● Backend、DBA ● Frontend、Mobile ● QA、QE ● Infra、Security、Data ● Architect 數個團隊 (Mission Teams)、 數個產品線別： ● OMO ● E-Commerce ● User Experience Optimization ● Enterprise Service ● CRM ● Globalization Team ● … etc 9
- 10. 10+ 20+ 40+ Accounts VPCs Services / 個 / 個 / 個 背景：產品系統與系統架構 5 6 產品線 業務市場 / 個 / 個 10
- 11. 現象一：業務的驅動 1. 市場變了，調整業務方向 2. 調整團隊的組織架構，但與系統關係卻 已脫勾 3. 已經在運行的系統服務不易改變 4. 業務驅動，屬於外在顯性需求 人 (組織) 物 (架構) 事 (業務) 11
- 12. 1. 內部增加基礎服務，部署多環境， 像是導入 EKS、Service Mesh、 KMS、EFS，技術架構複雜。 2. 系統架構與業務脫鉤，收入與支 出不對稱 3. 技術驅動，屬於內在隱性需求 現象二：與系統的連結 人 (組織) 物 (架構) 事 (業務) 12
- 13. 13 部門 A 部門 B 部門 C 部門 D 部門 E 團隊 A 團隊 B 團隊 C 團隊 D 組織 (人) → 部門 業務 (事) -> 團隊 系統 (物) -> 服務 服務 A 服務 B 服務 C 服務 E 服務 F 服務 D 服務 G
- 15. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 二、目標與方向 15
- 17. ● 網路基礎架構 ● 組織權限管理策略 ● 配置管理 ● 產出物管理 ● CI / CD 規模化 目標一：讓業務可以規模化 17 微服務的基礎建設 - Service Discovery - Andrew Wu 從零開始的 Configuration Management - Levi Chen 談產出物管理 (Artifacts Management) - Rick Hwang
- 18. 目標二：成本可管可控 ● 資源使用率 ● 資源管理策略 ● 資源歸屬 ● 成本結構與分析 18
- 19. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Peter Drucker “If You Can’t Measure It, You Can’t Improve It.” 19
- 20. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 三、嘗試與改變 20
- 21. 嘗試一：定義 AWS Resource Tag 規範 了解成本結構與歸屬，將 Tag 規範制度化，依照三個維度圈： 1. By Mission Teams (團隊) 2. By Departments (部門) 3. By Services (服務) 21 ● Tagging Best Practices - Implement an Effective AWS Resource Tagging Strategy ● Tagging AWS resources
- 22. 結構問題： 1. 團隊隨業務改變而調整 2. 部門與業務連結太弱 3. 服務與業務跟團隊有關係 問題 22 技術問題： 1. 資源數量多，標記 Tag 需要人工判斷 2. 有些 AWS 服務的 Tag 是隱藏的，像 是 CloudWatch Log 3. 有些成本無法 Tag，像是資料傳輸
- 24. 24 部門 A 部門 B 部門 C 部門 D 部門 E 市場 A 市場 B 市場 C 市場 D 組織 (人) → 部門 市場 (事) -> 團隊 系統 (物) -> 服務 服務 A 服務 B 服務 C 服務 E 服務 F 服務 D 服務 G 服務 A 服務 B 服務 F 服務 E 服務 G 服務 G 服務 G 調整：市場 + 服務 (系統) 弱化用組織分帳
- 25. 實際執行 資源歸屬 = 成本報表 25 制定 Resource Tag 規範 依服務歸屬，規範制度化 某服務比上個月少了 多少錢！ 大家開始注意成本 結構問題
- 26. 嘗試二：人員管理 26 10+ Accounts / 個數 200+ 產品研發團隊 / 個 40+ Services / 個 5 產品線 / 個 6 業務市場 / 個
- 27. 問題 公司變大了，人變多了，有那麼多 AWS 帳號與 IAM 。 這麼多人，有人進來，也有人出去，怎麼確保人員異動時， 權限都能夠快速地增加、乾淨的移除？ 27
- 28. 技術解 28 + Federated Single Sign-On to AWS Using Google Suite
- 29. Authorization Authentication Group1 Group2 Group3 Policy 1 Policy 2 Policy 3 Policy 4 Accounting User: First Name, Last Name, Email … etc 29 Policy: Actions, Resources, Conditions Group：Service / Team / Organization
- 30. 可否支援多 AWS 帳號？ 如何綁定 G Suite User 與 IAM Role @ AWS Account 的綁定？ 如何管理綁定的權限與授權？ 如何大量異動與調整？ 可否針對 G Suite 的使用者群組設定？ 使用者登入後的 Session 時間？ 支援 IAM Programmatic User？ 評估與成果 30
- 31. 嘗試三：可擴展的基礎網路架構 資料交換範圍廣大的服務，需要一個良好的網路架構來支撐，像是： ● 資料分析平台 ● 使用者認證服務 (SSO、Auth) ● 內部持續交付流水線 ● 內部配置管理服務 31
- 32. Account B Account C Account D Account A TPE Office Main Main VPC B Main VPC B Main Main Main VPC B Main Account E Main Tokyo Singapore Oregon Account F Main VPC B Main Main 32
- 33. 連線數 = n * (n-3) / 2 33 多邊形對角線 https://www.shuxuele.com/geometry/polygons-diagonals.html
- 34. ● 資料中心節點數 = n ● 連線數 = n * (n-3) / 2 + n ● 假設資料中心節點數 = 13 ● 理論值最大的拓墣連線 = 78 問題 1. 網路拓墣複雜度變高，造成管理與溝通成本很高 a. 不易清楚現況，釐清現況費時 b. 管理複雜度高，造成溝通成本 34
- 35. Region A Region B Region C 星狀：TX GW -> VPC 網狀：TX GW -> TX GW 星狀：TX GW -> On-Prem Transit Gateway 35 目標：網狀 → 星狀 Office
- 36. Account B Account C Infra Account A TPE Office Main Main VPC B Main Main Main VPC B Main Account E Main Tokyo Singapore Oregon Account F Main VPC B Main Main 36
- 37. 1. 透過 Transit Gateway 簡化網路拓墣結構，降低複雜度，提 高可管理、可控性 2. 提高網路架構擴展性 解法 37
- 38. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 四、總結摘要 38
- 39. Resource Tag 規範、標準化程序 資源歸屬 = 成本報表 39 制定 Resource Tag 規範 依服務歸屬，規範制度化 某服務比上個月少了 多少錢！ 大家開始注意成本 結構問題
- 40. 發展中的企業：成本管理策略 人 (組織) 物 (架構) 事 (業務) 40 成 本 二、對齊系統與業務的 關係 三、組織與架構的管理，善 用 AWS 管理機制 一、找到組織跟任務共識 四、Infra 超前部署
- 42. ● Building a Scalable and Secure Multi-VPC AWS Network Infrastructure ● Tagging Best Practices - Implement an Effective AWS Resource Tagging Strategy ● 微服務的基礎建設 - Service Discovery ● 從零開始的 Configuration Management ● 談產出物管理 (Artifacts Management) 相關資訊 42
- 43. Thank you! © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 43 Rick Hwang Sr. Technical Manager @ 91APP