Lambda layerをDeployする方法を調べる
- 2. 自己紹介 • 上田 渉太 • アルパイン株式会社イノベーションラボ所属 • 企画、設計職 • 趣味 • ロードバイク • ゲーム作り (主にコアワーキングスペース weeyble https://weeyble.com/ で活動しています) • 3D CG (無印Zbrushで作品を作っています) • Twitter( @tukkyCG1 ) • Qiita( https://qiita.com/tukkyr ) • Slideshare( https://www.slideshare.net/shotaueda3 )
- 3. SAM AWS Serverless Application Model serverless application開発をする為のFramework CloudformationをServerlessに特化した簡易的な 記述方法を提供してくれたり APIGatewayとの連 携 LocalでのLambdaの開発環境を提供してくれたり PyCharm使っているなら aws tool kitから使うのがオススメ
- 4. Lambda Layerとは 事前にLambda Layerとして登録することで複 数のLambdaが利用するような共有ライブラ リとして利用できる 制限 1つのlambdaあたりLambda layer 5つまで 圧縮解凍後total 250MBまで
- 5. Layerのファイル構成 せっかくなのでpython 3.7(dataclass)を試す python3.6からは呼べないことも確認する 単一ファイル構成、モジュールファイル構成 の両方を試す フォルダ構成 python/ ├── test.py ├── mylib │ ├── layercheck2.py │ └── __init__.py └── layercheck1.py 言語依存
- 6. まずはCLIで試してみる Lambda Layerのデプロイ publish-layer-version ← 自動でdeploy バージョンがインクリメントされる aws lambda publish-layer-version —layer-name <layer-name> —license-info "MIT" —zip-file fileb://<zip file name> -- compatible-runtimes <Python3.7 など> <…> LambdaにLayerをアタッチする update-function-configuration aws lambda update-function-configuration --function-name <lambda name> —layers <layer arn> <layer arn> layer arn の構成: arn:aws:lambda:<region>:<account ID>:layer:<layer name>:<deploy version> Lambdaをリリース(lambdaのバージョニング) publish-version
- 7. 実行結果を確認 pycharm + aws tool kit が便利 lacalでテストできるようにlayerのルートフォ ルダはPYTHONPATHに追加する
- 8. Version管理 LambdaとLambda Layerのライフサイクが異なる SAMを使って、デプロイを管理したい LambdaとLambda LayerのStackは分けたい Lambda以上にLambda LayerのDeployVersionとLibraryの管理 が難しそう Libraryのバージョンを直接指定できないため、Deploy時の バージョンになる CI TOOLでtagを作成するようにした方がいいかも
- 9. Cloudformationを SAMで実装する templateが二つに分かれるのでlayerのARNのを参照する必 要がある Stack間の連携が必要 CrossStack Layer側 outputs Export Lambda側 ImportValue で連携する スタックのネストはTransformを使っていると使えない 実は罠が・・・
- 10. SAM Lambda LayerAWSTemplateFormatVersion: 2010-09-09 Transform: AWS::Serverless-2016-10-31 Resources: SampleLayer: Type: AWS::Serverless::LayerVersion Properties: CompatibleRuntimes: - python3.7 Description: demo LayerName: sample LicenseInfo: mit RetentionPolicy: Retain Outputs: LayerVersionArn: Value: !Ref SampleLayer Export : Name : !Sub '${AWS::StackName}-Layer-latest' 他のスタックから参照されていると更新不可に なる Type: AWS::Lambda::LayerVersion と異なる部分 過去のバージョンを残すかどうか指定できる
- 11. SAM Lambda AWSTemplateFormatVersion: 2010-09-09 Transform: AWS::Serverless-2016-10-31 Resources: Hello: Type: AWS::Serverless::Function Properties: CodeUri: . Handler: hello.lambda_handler Runtime: python3.7 Layers: - !ImportValue layer-test-sam-Layer-latest 実運用時はパラメータ化するべき？ CompatibleRuntimes はチェックされない
- 12. Deploy Command Layer側 Lambda側 aws cloudformation package —template-file layer.yaml —output-template-file layer-output.yaml --s3-bucket <bucket-name> aws cloudformation deploy —template-file layer-output.yaml —stack-name <layer-stack-name> —capabilities CAPABILITY_IAM aws cloudformation deploy —template-file lambda-output.yaml —stack-name <lambda-stack-name> —capabilities CAPABILITY_IAM aws cloudformation package —template-file lambda.yaml —output-template-file lambda-output.yaml --s3-bucket <bucket-name> Zip化しなくて良いので楽ですよ
- 13. 結果 参照は1:N = Lambda:Layerになることが予想される LambdaからはLayerのARNをバージョン付きで取得する必要がある Layer側 outputs Export Lambda側 ImportValue で連携する Exportした値がlambdaのスタックで参照されていると更新できない。 組み込み関数ではVersionのみ抜き出すのが辛い !Selectがスライスに対応していれば… cliはLayerArnとLayerVersionArnが分かれてるのに…
- 14. Lambda Layerを開発する上で 知っておくべきこと CompatibleRuntimes はlambdaのdeploy時にチェックされない LayerのLayerArnはcilで取得できる LayerのデプロイVersionとLayerの実装のバージョン紐付けは CI toolでgit上にdeployのversion tagを作成する Cloud formationのExport, Importとは相性が悪そう 複数から参照されると予想されるLayerに対してExportは合わない 参照されていると更新できないため layerのバージョンが取れない 常に最新のみで運営するなら問題なさそう同一スタックに した方が良さそう その際は直接参照 同じコードに対してバージョンが複数出来上がるの は目を瞑る layerのバージョン管理はしばらくはci の build ステージ行いたい lambdaのdeploy時はlayer の gitリポジトリからtagをクローンして、cilでlamyerArnを取得 してciを回す?