实战：自定义时序数据集的预处理与插补

在本节中，我们将以合成的 eICU 数据集为例，演示如何将自定义的医疗时间序列数据预处理为 PyPOTS 框架所需的输入格式，并使用 PyPOTS 进行插补。

1.关于 eICU 数据集

The eICU Collaborative Research Database is a freely available multi-center database for critical care research.
Reference:
Pollard TJ, Johnson AEW, Raffa JD, Celi LA, Mark RG, and Badawi O. (2018). The eICU Collaborative Research Database: A multi-center critical care database for research. Scientific Data. DOI: 10.1038/sdata.2018.178
Available at: The eICU Collaborative Research Database, a freely available multi-center database for critical care research | Scientific Data

eICU 数据库包含来自多家医院的 ICU 病患监护记录，是医疗时间序列研究的重要开源资源。在本示例中，我们使用经过脱敏和合成的 eICU 数据集，以避免隐私风险，同时保证数据结构与真实医疗数据一致。

2.任务目标

• 预处理表格格式的医疗时序数据为 PyPOTS 可用格式。
• 使用 PyPOTS 进行插补并还原数据。
• 生成可供后续分析或模型训练的数据集。

3.主要步骤

1. 数据加载
   加载原始时序数据，包括特征、标签和样本标识。

2. 构建三维张量

   • 将不同样本的特征对齐到统一的时间步长度。
   • 构造三维张量 (n_samples, n_steps, n_features)。

3. 数据插补
   使用 PyPOTS 提供的插补算法对张量中的缺失值进行填充。

4. 还原 DataFrame 结构
   将插补后的张量转换回 DataFrame 形式，保留样本 ID、时间步、特征和标签。

5. 结果保存
   将插补结果保存为 .csv 或 .npy 以供后续分析或建模使用。

4.结果说明

执行完以上步骤后，你将得到三个预处理完成的数据集：

• df_train_imputed：训练集插补结果
• df_val_imputed：验证集插补结果
• df_test_imputed：测试集插补结果

5.示例输出检查

通过 .shape 查看数据集维度，确认处理无误：

1. 自定义时序数据集的预处理与插补

import pypots
import numpy as np
import pandas as pd
import tsdb
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from benchpots.utils.logging import logger, print_final_dataset_info
from benchpots.utils.missingness import create_missingness # 生成人工缺失值

1.1 数据加载

df = pd.read_csv('attachments/synthetic_