气象数据格式处理——Python库、CDO、NCL或shell命令行工具使用

最新推荐文章于 2025-08-23 20:28:56 发布

原创最新推荐文章于 2025-08-23 20:28:56 发布 · 602 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言 #r语言 #bash

笔记note 专栏收录该内容

11 篇文章

订阅专栏

1.CDO（Climate Data Operators）

CDO（Climate Data Operators）是一个广泛应用于气候科学研究和气象数据处理的命令行工具集，支持多种数据格式（如NetCDF、GRIB、HDF等），并提供超过600个操作符，用于数据提取、子集选择、数据合并与拆分、格点插值、时间和空间统计等多种功能。https://code.mpimet.mpg.de/projects/cdo/files-CDO官方文档

功能特点：CDO支持多种数据格式，包括NetCDF 3/4、GRIB 1/2、HDF等。CDO内存需求低，能够处理大于物理内存的文件。提供超过600个操作符，涵盖数据提取、合并、拆分、插值、统计分析（如线性回归、EOF分析、滤波等）和气候指数计算。通过简单的命令行指令，用户可以快速完成复杂的数据处理任务。
应用场景：提取特定时间、空间或变量的数据，删除不需要的变量。支持不同格式之间的转换，如将GRIB文件转换为NetCDF文件。计算时间序列的均值、方差、滑动平均等，支持区域平均、最值计算等。支持水平和垂直插值，能够将数据映射到其他网格。
安装方法：

 Linux：sudo apt-get install cdo。
 MacO：brew install cdo。
 Windows-Anaconda：conda install -c conda-forge cdo进行安装。

2.netCDF4

netCDF（Network Common Data Form）是气象、海洋、气候等领域广泛使用的多维科学数据格式，而netCDF4是 Python 中用于读写 netCDF 文件的主流库，尤其适用于处理 netCDF-4 格式（支持压缩、分块、HDF5 兼容等特性）。掌握netCDF4是处理数值模式输出（如 WRF、GFS）、卫星数据、再分析资料（如 ERA5）的基础技能。

核心功能：支持打开本地或远程（如 OPeNDAP 协议）的 netCDF 文件，读取变量（如温度、降水）、维度（如时间、经度、纬度）和属性（如单位、数据来源）。直接处理三维（如时间 + 经度 + 纬度）、四维（如时间 + 高度 + 经度 + 纬度）数据，无需手动转换格式。读取或修改文件中的属性信息（如变量的单位、缺失值标识、数据说明），确保数据的可解释性。
安装

pip install netCDF4

conda install -c conda-forge netcdf4

3.GRIB/GRIB2

GRIB（General Regularly-distributed Information in Binary）是气象领域广泛使用的二进制数据格式，主要用于存储和传输数值天气预报、再分析数据等网格气象产品。GRIB2 是 GRIB 的第二版，相比第一版（GRIB1）在数据压缩、精度、支持的参数类型等方面有显著改进，目前已成为全球气象数据交换的主流格式（如 ECMWF、GFS、中国气象局的数值预报产品等均采用 GRIB2）。

特点：采用二进制格式和数据压缩技术，能以较小体积存储海量网格数据（如全球逐 6 小时的温度、气压场）。包含元数据（如变量名称、单位、网格信息、时间），无需额外说明文件即可解析数据含义。支持多种投影方式（如经纬度网格、 Lambert conformal 投影）和数据类型（如瞬时值、累积值）。由世界气象组织（WMO）制定标准，确保全球气象机构间的数据兼容性。
安装

# 从 conda-forge 渠道安装（包含预编译的依赖）
conda install -c conda-forge pygrib
# 安装 eccodes 系统库
sudo apt-get update
sudo apt-get install libeccodes-dev

# 安装 pygrib
pip install pygrib

cfgrib
- cfgrib 是一个用于在 Python 中处理 GRIB 格式数据的库，它提供了一个接口让 xarray 能够读取 GRIB1 和 GRIB2 文件，将气象数据转换为 xarray 中的 Dataset 或 DataArray 对象，从而充分利用 xarray 的强大功能进行数据分析和处理。对于需要处理数值天气预报数据（如 GFS、ECMWF 产品）的气象工作者来说，cfgrib 是连接 GRIB 格式与 xarray 生态系统的重要工具。

pip install cfgrib
# 或使用 conda
conda install -c conda-forge cfgrib

4.xarray

xarray 是气象、海洋等地球科学领域处理多维科学数据的核心 Python 库，尤其适合处理 NetCDF、GRIB 等格式的气象数据。它基于 NumPy 和 Pandas 构建，通过 “标签化维度” 解决了传统数组操作中 “维度索引混乱” 的问题，极大简化了气象数据的分析流程。

pip install xarray netCDF4 cfgrib  # netCDF4支持NetCDF格式，cfgrib支持GRIB格式

5.Cartopy

Cartopy 是 Python 中用于地理数据可视化的核心库，尤其在气象、海洋等地球科学领域应用广泛。它基于 Proj 和 Matplotlib 构建，提供了丰富的地图投影、地理要素（如海岸线、国界）绘制功能，完美解决了气象数据（如经纬度网格的温度、降水）与地理空间匹配的问题。

pip install cartopy matplotlib  # 需同时安装Matplotlib