Apache Airflow开发者快速入门指南

Apache Airflow开发者快速入门指南

前言

Apache Airflow作为一款强大的工作流编排工具，其开发环境搭建对于新手开发者来说可能稍显复杂。本文将详细介绍三种主流开发环境配置方式，帮助开发者快速搭建Airflow开发环境。

开发环境选择

Airflow支持三种开发环境配置方式：

1. 本地虚拟环境：适合轻量级开发，依赖本地Python环境
2. Docker容器环境：推荐方式，提供隔离且一致的开发环境
3. 远程托管环境：通常需要付费账户

对于大多数开发者，我们推荐使用Docker容器环境，它能提供最接近生产环境的开发体验。

本地开发环境准备

基础要求

• 操作系统：Linux/macOS（Windows需WSL2）
• 硬件配置：建议4GB内存+40GB磁盘空间
• Docker环境：Docker CE + Docker Compose

Docker安装指南

Ubuntu系统安装步骤

1. 安装依赖包并设置Docker仓库：

sudo apt-get update
sudo apt-get install ca-certificates curl gnupg lsb-release
sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

2. 安装Docker引擎：

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io

3. 配置非root用户权限：

sudo groupadd docker
sudo usermod -aG docker $USER

4. 验证安装：

docker run hello-world

macOS系统安装

推荐使用Homebrew安装：

brew install docker

Docker Compose安装

Ubuntu系统

sudo apt-get update
sudo apt-get install docker-compose-plugin

macOS系统

brew install docker-compose

虚拟环境配置

虽然可以使用任何虚拟环境工具，但我们推荐使用UV工具管理Python环境：

1. 安装系统依赖：

sudo apt install openssl sqlite3 default-libmysqlclient-dev libmysqlclient-dev postgresql

2. 如需完整功能支持，安装额外依赖：

sudo apt install apt-transport-https apt-utils build-essential ca-certificates dirmngr \
freetds-bin freetds-dev git graphviz graphviz-dev krb5-user ldap-utils libffi-dev \
libkrb5-dev libldap2-dev libpq-dev libsasl2-2 libsasl2-dev libsasl2-modules \
libssl-dev locales lsb-release openssh-client sasl2-bin \
software-properties-common sqlite3 sudo unixodbc unixodbc-dev

代码质量保障

Pre-commit配置

Pre-commit是代码提交前的质量检查工具，可避免低级错误进入代码库。

1. 安装依赖：

# Ubuntu
sudo apt install libxml2-utils

# macOS
brew install libxml2

2. 使用UV安装pre-commit：

uv tool install pre-commit --with pre-commit-uv

3. 在项目目录初始化：

cd ~/Projects/airflow
pre-commit install

4. 手动运行检查：

pre-commit run --all-files

5. 检查特定文件：

pre-commit run --files path/to/file.py

Breeze开发环境

Breeze是Airflow官方提供的开发环境管理工具，确保开发环境与CI环境一致。

安装配置

1. 安装Breeze：

uv tool install -e ./dev/breeze

2. 初始化自动补全：

breeze setup autocomplete

3. 启动开发环境：

breeze --python 3.9 --backend postgres

环境初始化

进入Breeze容器后：

1. 初始化数据库：

airflow db reset

2. 创建管理员用户：

airflow users create --username admin --firstname FIRST_NAME --lastname LAST_NAME --role Admin --email admin@example.org

3. 退出环境：

exit

结语

通过本文的指导，开发者可以快速搭建Apache Airflow的开发环境。Docker+Breeze的组合提供了最接近生产环境的开发体验，而pre-commit工具则保障了代码质量。建议新开发者从Docker环境开始，逐步深入理解Airflow的架构和工作原理。