Prefectに関して imperfectに語る
- 2. 言いたいこと ● Airflowというワークフローエンジンが一番流行ってそうだよ ● でも、Prefectというワークフローエンジンが推しだよ ○ Better Airflow感がある ● プロダクションで使ったことないので「君の目で確かめてくれ」なお気持ち
- 3. 前段
- 4. ワークフローエンジン？ ● 一言でいうとすごいcron ● 「ワークフロー管理ツールは、主として次のような機能を提供します。」 ○ 「タスクを定期的なスケジュールで実行し、その結果を通知する」 ○ 「タスク間の依存関係を定めて、決められた順にもれなく実行する」 ○ 「タスクの実行結果を保持し、エラー発生時は再実行出来るようにする」 （ビッグデータを支える技術 P182） ● 愉快な仲間たち （JP1とかHinemosも？）
- 7. 比較 ● 機能的には大きくは優劣ないのではなかろうか【要出典】 ● トレンド的にはAirflowが有利そう? ○ 後発のPrefect頑張ってる感 ○ 今日はAirflow/Prefectの話をします 開始(Github) watch start Fork Airflow 2014 706 18k 7k Prefect 2017 129 5k 355 DigDag 2015 139 1k 158 Luigi 2011 515 13k 2k Githubリポジトリの状況
- 8. 中段
- 9. Airflow ● https://airflow.apache.org/, https://github.com/apache/airflow ● いい点 ○ Pythonでタスク・タスクの間の依存書ける ■ 動的にタスクの間の依存作ったり、複雑なことも出来る ○ いろいろなプラグインが提供されているので、コード少なくてすむ（かも） ■ 通知（メール/Slack/http…） ■ AWS/GCPのサービス(…) ○ マネージド・サービスがある ■ GCPのCloud Composerと 専業のAstronomer.io ○ 情報が多い ● つらい点 ○ 後述
- 10. 使ってみるわかるAirflowつらみ ● 動的なDAG（特にループ） ○ 出来るが不器用な感じ（履歴の扱いとか） ● タスク間のデータの受け渡し（xcom） ○ サイズ制限がある…ずっと残る…タスクの依存と無関係 … ● スケジューラーが単一障害点 ○ 単一のプロセスが、DAGをパースして・DBを見て・DAG/タスクのスケジュール設定する ○ 解決しようと、頑張っている人もいる ■ https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=103092651 ■ http://site.clairvoyantsoft.com/making-apache-airflow-highly-available/ ● タスクが増える（~千のオーダー）と画面やスケジューラが… ○ ＝＞タスクをまとめれば解決するが、リトライの粒度が大きくなる … ● DAGのコード管理 ○ 名前変えるしかない 細かい話が多いが ちょいちょいストレス
- 11. 本題
- 12. Prefect ● https://www.prefect.io/ https://github.com/PrefectHQ/prefect ○ マネージドサービス： Prefect Cloud ○ OSSの部分：Prefect Core ● AirflowのPMC&コミッターが始めた、新たなワークフローエンジン ● Better Airflowのアピールしている ○ https://medium.com/the-prefect-blog/why-not-airflow-4cfa423299c4 ○ https://softwareengineeringdaily.com/2020/04/29/prefect-dataflow-scheduler-with-jeremiah-low in/ ● （余談）銀河ヒッチハイク・ガイドネタが時々出てくる ○ （フォード・プリーフェクトという登場人物が出てくる SFです）
- 13. Airflowのツラミの解決 ● 動的なDAG（特にループ） ○ 変化したら過去の履歴が … ○ DAG間の依存… ○ タスクが増える（~千のオーダー）とUIやスケジューラが… ● タスク間のデータの受け渡し ○ サイズ制限がある…ずっと残る…タスクの依存と無関係 … ● スケジューラーが単一障害点 ● DAGのコード管理 ○ 名前変えるしかない => Map/Reduceをサポート => カスタマイズ可能に※ => 分権化（※※） => Versioningをサポート ※PrefectCloud提供のDB、Azure Blob・GCS・S3をデータの受け渡しに使える他、自前でも書ける ※※Agent（複数）がDAGの情報をAPIからpullして、それぞれのEnvironmentでDAGのパース・スケジュールする感じ に
- 14. その他のAirflowとの違い ● Hybrid Model ○ メタデータ（処理の履歴など）の管理・ Web UI・APIなどは、Prefect Cloud ○ ワーカー・コードの置き場などは、ユーザーの管理 ○ ＝＞コードやデータを Prefect Cloudに渡さずにすむ
- 15. 事例 ● JX通信社さん ○ 知ってる限り日本唯一・初 ○ https://tech.jxpress.net/entry/dataplatform-etl ○ Airflow/Luigiと比較して、好意的なレビュー ● SymphonyRM ○ アメリカのヘルステック企業 ○ https://www.prefect.io/case-studies/Prefect%20-%20SymphonyRM%20Case%20Study.pdf ● PrefectのWebサイトに掲載されている会社はたくさんある（次ページ） ○ ロゴはあるが詳しい事例はないので不明 … ○
- 17. 懸念 ● （私が）本番で使ったことがない ○ 運用・開発してわかるツラミってあるよね ○ 前述のAirflowのツラミが本当に解決したかも、実は不明 ● （日本語の）情報はAirflowより少ない ● 環境が柔軟なので、設定が大変そう ○ Environment・Executor・Agent・Resultなどの新しいコンセプトの理解が必要 ○ および、それを組みあわせて、自分の環境を考えないといけなさそう