좌충우돌 Data Engineering 학습기
- 1. 좌충우돌 Data Engineering 학습기 데이터 문맹에서 GCP 데이터 엔지니어 자격증 취득까지 이동민
- 2. 이 동 민
- 3. Data 공부 꼭 해야하나요?
- 4. 제 경우엔 그랬습니다
- 5. Data 시대
- 6. 나의 현실 SELECT * FROM CUSTOMER WHERE CID = :cid 간단한 C/R/U/D SQL Query 거의 데이터 문맹 수준
- 7. 빅데이터, 머신러닝 맛보기 더 늦기 전에 ㅠㅠ
- 8. 어떤 맛을 볼래? Data 2종 셋트 Data Science Data Engineering
- 9. Data Science 어려운 맛 무서운 맛 님 수학 잘함?
- 10. Data Engineering 맛보기 Data Science는 다음 기회에.. 아디오스..
- 11. Data Engineering 란? ● 다양한 형태의 데이터를 수집, 변환, 적재하는 시스템을 설계, 구현, 운영 ● 많은 양의 데이터를 처리 할 수 있도록 확장성, 유연성, 효율성, 보안, 모니터링을 제공하는 데이터 프로세스 시스템 구축 ● 만들어진 머신러닝 모델을 활용하고 학습시키고 배포
- 12. Data Engineering 의 진화 ● 데이터 파이프라인 구축, 운영에 필요한 인프라까지 관리 BEFORE ● Serverless, Auto Scailing, Managed Services NOW ● 다양한 서비스를 이용한 Data-flow 구축하여 분석 목적뿐 아니라 여러 운영 환경에 데이터 제공 ● 넓은 학습 범위, 가파른 Learning curve ● 데이터 분석을 위한 서포팅 역할에 중점 ● Cloud Engineer + Data Engineer = Cloud Data Engineer
- 13. 기왕 공부하는거 자격증도 취득하자 Cloud + Data Engineering 학습
- 14. Why Google Cloud Platform? 업계 1위 AWS, 업계 2위 Azure도 있는데
- 15. 2018년 11월 AWS Korea region 장애 Multi-vendor 클라우드 구성의 중요성
- 16. 영어는 기본이고 제 2 외국어로 중국어 할래 스페인어 할래 ? 이런 느낌 . . AWS + Azure ? AWS + G C P ? 희소성 높아보이는 GCP(스페인어 ?) 할께요 .
- 17. 세계에서 2번째로 많은양의 데이터를 검색하는 Youtube 그런 Google이 사용하는 Cloud Infra Daily uploads in 2017 > 1 Petabyte(13.3 years of HDTV) Google 꺼임
- 18. 세계에서 가장 많은양의 데이터를 검색하는 검색엔진 그런 Google이 사용하는 Cloud Infra daily processing in 2008 > 20 Petabytes 갓 구글..
- 19. 강력한 기계학습 라이브러리 Google이 만들어서 오픈소스로 공개 갓 구글..
- 20. 8주 후 ..
- 22. 어떻게 준비했나요?
- 23. OutLine 기반으로 학습계획 세우기 ● Section 1: 데이터 처리 시스템 디자인 ● Section 2: 데이터 처리 시스템 구축 및 운영 https://cloud.google.com/certification/guides/data-engineer-2/ ● Section 3: 머신러닝 모델 운영 ● Section 4: 솔루션 품질 보장 지난 3월 29일 시험 Outline 및 문제 유형 변경 머신러닝, 모니터링 비중 높아짐
- 24. 다양한 동영상 강의 플랫폼 활용
- 25. Data Engineering on Google Cloud Platform Specialization (https://www.coursera.org/specializations/gcp-data-machine-learning?) • Google Cloud 에서 만든 공식 강의 • Data Engineering 자체에 초점이 맞춰진 강의 • 총 5개 Course • Google Cloud Platform Big Data and Machine Learning Fundamentals • Leveraging Unstructured Data with Cloud Dataproc on Google Cloud Platform • Serverless Data Analysis with Google BigQuery and Cloud Dataflow • Serverless Machine Learning with Tensorflow on Google Cloud Platform • Building Resilient Streaming Systems on Google Cloud Platform
- 26. Preparing for the Google Cloud Professional Data Engineer (https://www.coursera.org/learn/preparing-cloud-professional-data-engineer-exam) • Google Cloud 에서 만든 공식 강의 • GCP Data Engineering Exam 준비에 초점이 맞춰진 강의 • 약 13시간 분량, 모의시험 제공 • 요약 정리 강의. 이것만으로 시험 준비하기엔 조금 빈약함.
- 27. Google Cloud Certified Professional Data Engineer (https://linuxacademy.com/google-cloud-platform/training/course/name/google-cloud-data-engineer) • 시험 Outline을 모두 커버하는 이론 + 실습 강의 • 자체 리눅스 클라우드 서버 제공 Google Cloud SDK 설치부터 Terminal 환경에서 다양한 GCP command-line 실습 가능 • 모의고사 제공 • Google Cloud Platform SandBox 제공 (4시간 뒤 초기화) 3/29 변경 전 시험 Outline 인 것이 함정
- 28. Flash Card 기능 제공 시험 전에 30분정도 훑어보기에 좋다.
- 29. Credit 걱정없이 GCP를 마음껏 사용해보자
- 30. 다양한 퀘스트와 Hands-on lab을 제공
- 31. 추천 퀘스트 목록 • Data Engineering • Google Cloud Solutions II: Data and Machine Learning • NCAA® March Madness®: Bracketology with Google Cloud • Machine Learning APIs • Scientific Data Processing
- 32. 학습자료가 너무 비싸요 강의 3개(각 $49) + 퀵랩($55) = $202(monthly)
- 33. Coursera Financial Aid 신청하기 (https://reoim.tistory.com/entry/Coursera-%EC%9C%A0%EB%A3%8C%EA %B0%95%EC%9D%98-financial-aid-%EC%8B%A0%EC%B2%AD%ED%95 %98%EA%B8%B0)
- 34. Google Cloud 강의 한달 무료 이용 쿠폰 http://bit.ly/2REhaSB
- 35. Data Engineer 시험 준비 강의 25% 할인 쿠폰 http://bit.ly/2WgYtHg
- 36. 퀵랩 Data Engineering 퀘스트 무료 쿠폰 http://bit.ly/2umWmpp
- 37. 퀵랩 1달 쿠폰 + Cloud Architecture 퀘스트 http://bit.ly/cj-ace Access Code 3b-onair-94
- 39. Google 에서 지원하는 스터디 모임 그룹장 1, 그룹원 4명 이상 스터디 그룹 신청 퀵랩 1달 이용권, Coursera 강의등 학습자료 무료제공 쿠버네티스, 머신러닝 스터디잼 저는 2가지 모두 진행 하였습니다. 2달 Qwiklabs 무료이용
- 41. 수료하면 선물도 줍니다.
- 42. 자격증 취득. 드디어 끝!? 끝이 아닌 시작
- 43. Next 19에서 발표된 내용만 122+ 개 기술발전 속도가 내 학습 속도보다 빠르다 Data 직접 관련 내용만 9개
- 44. 빠르게 발전하는 데이터 기술 폭 넓은 시야와 빠른 학습 능력, 유연성을 위한 노오력 점점 더 다양해지는 클라우드 서비스 엔지니어로 계속 먹고 살려면 .. ㅠㅠ
- 45. 이런 기술의 황금기에 엔지니어로 일하고 있어 행복합니다 • Cloud + Data Engineering 맛보기겸 자격증 공부 추천 • 동영상 강의 활용하기 • Qwiklabs 활용하기 • 스터디잼등 스터디 그룹으로 공부하기 • 엔지니어는 은퇴할때까지 평생 공부 ㅠㅠ 정리하자면 • 시험 OutLine으로 계획 세우기 클라우드, 빅데이터, 머신러닝 공부할 게 너무 많지만
- 46. 감사합니다.