사례들로 알아보는 컨테이너, 언제 어떻게 쓰면 좋을까? – 김성수 AWS 솔루션즈 아키텍트, 허준 AWS 어카운트 매니저, 이창명 선데이토즈 CTO:: AWS Cloud Week - Industry Edition
0 likes•153 views
컨테이너를 활용할 수 있는 Workload는 정해져 있는 걸까? 이제는 주변에서 쉽게 보고 들을 수 있는 컨테이너, 하지만 정작 내가 쓰려면 어떻게 써야 할지 감을 잡기 어려운 것도 사실이죠. 유명 게임, 웹 서비스에서 컨테이너를 어떻게, 왜 쓰게 되었는지를 알아봅니다. 그리고 컨테이너에 올리는 작업의 특성을 파악하면 활용할수 있는 팁들까지, 실사례를 통해서 알아봅니다!
사례들로 알아보는 컨테이너, 언제 어떻게 쓰면 좋을까? – 김성수 AWS 솔루션즈 아키텍트, 허준 AWS 어카운트 매니저, 이창명 선데이토즈 CTO:: AWS Cloud Week - Industry Edition
- 1. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 사례들로 알아보는 컨테이너, 언제 어떻게 쓰면 좋을까? 김성수 솔루션즈 아키텍트 AWS 허준 어카운트 매니저 AWS 이창명 CTO 선데이토즈
- 2. Agenda • EKS Discussion • Anipang4 Game Service on EKS
- 3. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
- 4. Container in AWS Amazon Elastic Container Service for Kubernetes Amazon EC2 Container Registry Amazon Elastic Container Service AWS Fargate
- 6. EKS 전형적인 EKS 아키텍쳐의 모습
- 7. NodePort • Exposes the service on each Node’s IP at a static port. • Routes to a ClusterIP service, which is automatically created. • from outside the cluster: <NodeIP>:<NodePort> • 1 service per port • Uses ports 30000-32767
- 8. AWS VPC CNI Plugin ENI Secondary IPs: 10.0.0.1 10.0.0.2 10.0.0.1 10.0.0.2 ENI 10.0.0.20 10.0.0.22 Secondary IPs: 10.0.0.20 10.0.0.22 ec2.associateaddress() VPC Subnet – 10.0.0.0/24 Instance 1 Instance 2 VPC
- 9. EKS에서 네트워킹 CNI를 사용할때 사용 할수 있는 인스턴스당 사용 가능한 POD갯수 (Number of network interfaces for the instance type × (the number of IP addressess per network interface - 1)) + 2 c5d.large 29 c5d.2xlarge 58 c5d.4xlarge 234 c5d.9xlarge 234 c5d.12xlarge 234 c5d.18xlarge 737 c5d.24xlarge 737 c5d.metal 737
- 10. 사용할 수 있는 IP대역 Primary CIDR range ➔ RFC 1918 addresses ➔ 10/8, 172.16/12, 192.168/16 Secondary CIDR ranges ➔ non-RFC 1918 address blocks ➔ 100.64.0.0/10 와 198.19.0.0/16 를 추가적으로 사용가능
- 12. 사용자의 추이 동접자수 DesiredCount 100 0 50 10 20 30 40 60 70 80 90 5 30 10 15 20 25 Target 동접자수 DesiredCount 동접자수 DesiredCount 100 0 50 10 20 30 40 60 70 80 90 5 30 10 15 20 25 Target 동접자수 DesiredCount
- 13. AWS Fargate : 오직 태스크에만 집중하세요! 간단하고, 쉬우며, 효율적인 서버리스 컨테이너! =프로비저닝, 확장 또는 관리할 EC2 인스턴스가 없음 VPC, ELB, IAM, CloudWatch 등과 통합된 ECS Native API CPU, 메모리 사용량에 따라 지불
- 14. Availability Zone 1 Master Master Availability Zone 2 Availability Zone 3 Master Workers Workers Workers Customer Account AWS Managed 한눈에 살펴보는 EKS 아키텍쳐
- 15. Helm이란? • Helm은 Kubernetes 애플리케이션 관리를 지원합니다. • Helm 차트는 가장 복잡한 Kubernetes 애플리케이션을 정의, 설치 및 업그레이드하는 데 도움이됩니다. • 차트를 쉽게 만들고, 버전을 만들고, 공유하고, 게시 할 수 있습니다. • Helm 사용하면 더 이상 복사 및 붙여 넣기가 필요하지 않습니다. https://github.com/kubernetes/helm
- 16. EKS 직접 알아보기 EKS Workshop link https://www.eksworkshop.com/ Github roadmap link https://github.com/aws/containers-roadmap/ Roadmap kanban link https://github.com/aws/containers-roadmap/projects/1
- 17. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. :Running a Multiplayer game at scale
- 18. Current Deployment System Overview
- 19. Limitations • Self-developed / managed • Low Operational Efficiency • Too Complicated for Monitoring • Endless Maintenance Issues
- 20. Why? • Micro Service • Few Workers • Light Startups • Too early to Container
- 21. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
- 23. Architectural Needs • 실시간 클러스터 구성과 관리 • 확장성 대응 • 지속적 배포 , 롤 아웃 및 롤백 • 모니터링 일관성 유지 • 무중단 운영
- 24. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
- 25. Kubernetes container Orchestration • 설계의 설정 스키마 파일화 • 다양한 배포 방식 지원 • 많은 레퍼런스 자료 • Namespace • AutoScaling
- 26. EKS Elastic KubernetesService on AWS • 적용이 간단하고 편리함 • 서비스 디스커버리 자동화 • 지속적인 개발 & 배포 운영 비용 최소화 • ALB, Route53 등 AWS와 결합
- 28. Anipang4 : Realtime Service • StatefulSet 사용 • Deploy Pod들의 통신 • Pod들의 상태 유지 • ALB Ingress Controller • LB, Target Group, Domain 등록 자동화 • Domain에 의한 서비스 별 노드 그룹 분리
- 29. Anipang4 : Realtime Deployment • AWS CodePipeline • CodeCommit에 Push • Build후 ECR에 Image Push • ECR -> EKS 배포 자동화 기능 없음 • Cli 이용한 스크립트로 직접 배포 • Helm을 통한 배포 • Blue / Green State 변경
- 30. Anipang4 Realtime Monitoring • 서비스 초기 • CW에 API등록 후 서버 상태 모니터링 • Scale In/Out AWS CLI로 관리 • 모니터링 • 실시간 접속 수 • Node Health • CPU / Memory / Network 등 System 상태 • 현재 Prometheus 도입
- 31. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
- 32. 결정 고민 • 새로운 개념들 • StatefulSets ?? • Job ?? • Pod ?? • DaemonSet ?? • Node ?? • NodeGroup ?? • 매우 다양한 설계 방법들 배포 방식 • 유사한 사례가 없어 적합한 방법을 찾기까지의 험난한 과정
- 33. 무중단 배포 & 운영 필요 • 게임 특성 • 계속하여 유저가 실시간 서버에 접속해 있어야 할 필요 없음 • 대전 플레이 한 사이클에 최대 4분 정도 플레이 • 기존 선데이토즈 리얼타임 게임 서비스 역시 무중단으로 4년 운영 경험 • Blue / Green 배포 구성 – Nginx Ingress • 기존 유저 Blue 그룹에 남아 있다면 • Green Label Pod 에 새 이미지를 배포 • 신규 참여 유저들은 Green 그룹으로 이동하여 Match • 기존 유저 들은 Blue 그룹에서 Match 종료 후 Green으로 이동
- 34. Service ( App ) Clustering • 추가되는 Node, Pod들 간의 자동 연결에 대한 고민 • Kubernetes DNS Service Discovery • Pod 추가 / 제거 -> CoreDNS • 기존 Pod의 서비스 들이 인지하고 스스로 연결하도록 구성
- 35. 레퍼런스의 부재 • 게임서비스에 K8S 적용 사례 없음 • 잘 설계된 구성인지 검증 의문 • 개발이 잘 되었지만 실제 라이브 환경에서도 신뢰할 수 있을지 의문 • 시나리오 테스트와 AWS Korea 지원으로 극복
- 36. EKS 아직도 Beta?? • 기본적인 안정성은 충분함 • 추가적인 Feature들이 나올 것으로 예상 • AWS의 일부 서비스와 더 긴밀하고 편한 연결들 지원 필요 • 설정과 관리가 쉬운 모니터링 툴도 제공 되길 희망
- 37. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
- 38. Anipang4 Realtime Monitoring • Gitops • flux / helm-operator로 코드 배포 자동화 • 배포 내용 확인 및 프로세스 일관화
- 39. Game Server Monitoring • Prometheus, Grafana • pod, node resource 사용량 모니터링
- 40. Game Server AutoScaler • Cluster AutoScaler • Metric-Server로 resource 감시로 pod scale-in / out 수행 • Requested pod 수에 맞게 node 조절
- 41. Benefits • 빠르게 발전하는 K8S • Helm 을 비롯한 다양한 오픈소스들 ▪ Flux , Prometheus ,. etc • Ops의 비용 / 시간 절감 • Yaml manifests 활발한 K8S 커뮤니티
- 42. Benefits • Self Monitoring , Healing • 동접 유저와 트래픽 증가 시 유연하고 빠르게 확장 ▪ Yaml 적용 만으로 몇 분 내에 가능 • 무중단 & 무사고 운영 중 안정성 & 확장성
- 43. Benefits • 직접 Kubernetes 운영에 대한 부담 하락 • AWS 서비스 안정성 • 적극적인 AWS 기술 지원 EKS on AWS !!
- 44. Key Takeaways • Difficulties • 기존 인프라 위에 완전히 새로운 서비스 구성의 어려움 • 유사 사례 레퍼런스의 부재 • 안정성 확보에 대한 의심 • 운영에 대한 불안감 • Solution • 시나리오 수립과 케이스 검증으로 안정성 확보 • 한정된 인적 & 물리적 리소스로 안정적인 운영 중 • 배포에 대한 부담 거의 없음 • 계속하여 기존 인프라 구성도 EKS 구성으로 변경 예정
- 45. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
- 46. 감사합니다 © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.