Crawling with AWS Lambda
- 2. 목차 • 김승호 소개 • 스닙팟 회사 소개 • 스닙팟 구조 소개 • Serverless Crawler 구현기 • 마무리
- 3. 김승호 • 현 스닙팟(Snippod) 백엔드 개발자(Dev Ops?) • Python 3년차 2년 4개월.. • 이전엔 Linux Device driver 개발, 게임 백엔드 개발 5년차 C/C++ 개발자 였습니다. • 지금은 Python이 더 편합니다. 그런데 Node.js가 더 좋은것 같아요… • AWS 2년 4개월
- 4. Snippod • 스닙팟 스니팝, 스니포드, 스닙폿, 스냅팟 등등 아닙니다. • #HASHTAG NETWORK • #해시태그 네트워크를 통한 정보 공유 서비스 주제별로 링크를 공유 하는 서비스 • www.snippod.com • 앱 출시 예정 • 경쟁사 • 사실은 Reddit…
- 5. Snippod Stack • Back end: Python Django, Node.js • Front end: Javascript React • AWS Elastic Beanstalk • RDS, DynamoDB • Lambda
- 6. Snippod Architecture 아주 아주 micro architecture 추구
- 7. REST RDB
- 11. Serverless Architecture 구조를 좀 더 micro 하게 만들어 줍니다!! 돈을 더 아낄 수 있습니다!!
- 15. Crawler 프로젝트 • RSS 나 여러 best 사이트들의 링크 추출 기능이 필요
- 16. Snippod • 스닙팟 스니팝, 스니포드, 스닙폿, 스냅팟 등등 아닙니다. • #HASHTAG NETWORK • #해시태그 네트워크를 통한 정보 공유 서비스 주제별로 링크를 공유 하는 서비스 • www.snippod.com • 앱 출시 예정 • 경쟁사 • 사실은 Reddit…
- 17. Crawler 프로젝트 • RSS 나 여러 best 게시판 사이트들의 링크 추출 기능이 필 요 • AWS Lambda 를 적용해보기 적합한 프로젝트
- 18. Crawling with AWS Lambda 이제 부터 시작입니다.
- 19. AWS Lambda?
- 20. AWS Lambda? • Serverless compute • Multiple events • API Gateway • S3 • DynamoDB • SNS • SQS
- 21. Python Scrapy • A fast and Powerful scraping and web crawling Framework • Python 3.6 지원 • ★23K • 추가 library 없이 parsing 가능 • Parser shell, pipeline 등 편의성이 좋음 • Async I/O 처리로 빠름
- 22. Crawler 개발 미션(0/5) • Django ORM이 변경되어도 영향 받지 않음 • RDB 성능 저하하지 않음 • 기존 코드에 영향 주지 않는 Micro architecture • 쉬운 유지보수 & 빠른 deploy •요금을 더 저렴하게
- 23. DynamoDB 추가 • query 시 상수에 가까운 응답시간을 보장하여 lambda와 궁합이 좋음 • 기존 ORM 에 영향 받지 않고 동적인 schema 가능 • 기존 RDB 성능에 관여하지 않음 • 프로비저닝된 처리량으로 과금하는 독특한 정책 • 약간의 비용이 추가되지만 사용하기에 따라 저렴함
- 24. Crawler 개발 미션(2/5) • Django ORM이 변경되어도 영향 받지 않음 • RDB 성능 저하하지 않음 • 기존 코드에 영향 주지 않는 Micro architecture • 쉬운 유지보수 & 빠른 deploy •요금을 더 저렴하게
- 25. Scraping & Posting Feeder PosterScraper SQS url url url …
- 26. Crawler 개발 미션(3/5) • Django ORM이 변경되어도 영향 받지 않음 • RDB 성능 저하하지 않음 • 기존 코드에 영향 주지 않는 Micro architecture • 쉬운 유지보수 & 빠른 deploy •요금을 더 저렴하게
- 27. Lambda Deploy • 수많은 serverless framework • Python 용 • Apex: ★6K • aws/chalice(찰리스): ★3K • Zappa: ★5K • 각각 특징이 있기 때문에 상황에 맞게 선택
- 28. Zappa
- 29. Zappa • Top 10 Python libraries of 2016 • Server-less Framework Comparison - Zappa Versus Chalice Zappa Win(from Zappa blog) • No Sabjil, Simple!!!
- 30. Crawler 개발 미션(4/5) • Django ORM이 변경되어도 영향 받지 않음 • RDB 성능 저하하지 않음 • 기존 코드에 영향 주지 않는 Micro architecture • 쉬운 유지보수 & 빠른 deploy •요금을 더 저렴하게
- 31. 요금 • 사실 가장 중요한건 요금 • 지금까지 개발이 요금이 비싸지면 무용지물 • 요금을 줄이기 위한 굉장히 이상한 노력
- 32. Scraping & Posting Feeder PosterScraper SQS url url url …
- 33. Scraping & Posting Feeder PosterScraper SQS url url url …
- 34. DynamoDB 절약금액
- 35. Crawler 개발 미션(5/5) • Django ORM이 변경되어도 영향 받지 않음 • RDB 성능 저하하지 않음 • 기존 코드에 영향 주지 않는 Micro architecture • 쉬운 유지보수 & 빠른 deploy •요금을 더 저렴하게
- 36. Challenge • Scrapy 동적 javascript 실행 • SPLASH: solution for JavaScript rendering, implemented in Python using Twisted and QT • 그런데 lambda에 적용하기 쉽지 않음 • Fixed Lambda container? • Lambda container 가 매번 같은 instance 에서 실행 • 계속 같은 IP/MAC • 강제로 새로운 lambda container 에서 실행하게 할 수 있을까?
- 37. 정리 • 스닙팟은 micro architecture • 각각의 module을 EB를 통해 관리, 비효율적인 module 존 재 • Severless architecture, AWS Lambda 적용 • 하려고 했으나, 기존 module에 적용하기 쉽지 않음 • 링크를 추출하는 crawling 기능 구현 필요 • 요금, DB영향도, decoupling 을 고려한 crawler 구현 • serverless is fancy • Crawler 에서는 비용적으로 큰 이득은 없었지만 좋은 경험… • 차후 스닙팟에 들어가는 micro module은 Lambda 쓸 예 정
- 38. Q&A 스닙팟 김승호 [email protected] 판교 경기창조경제혁신센터 8층 R08호