数据中台-实施篇:数据中台方法论简述

本文简述了数据中台的实施,包括数据生命周期的业务数据化到数据资产化过程,智能中台的数据构建与运营,以及数据层级处理的ods、dw、dm三层结构。讨论了维度建模和范式建模的特点,指出dw层常采用范式建模,dm层采用维度建模以提高数据使用的易理解性。

数据生命周期说明:

说明:数据建设更多是指第一步“业务数据化” 到 “数据资产化”的过程。上图借鉴数澜科技数据中台数据方法论原图。

 

智能中台数据构建和数据运营:

 

数据层级处理划分:

 

多说一点:

扩展阅读传统仓库做法:

一般常规的数据仓库层级结构可分为:ods、dw(默认为汇总数据层,也可在细分为dwd(明细)与dw(汇总)两层)、dm共三层:

ods层:称为接口层或近源数据层,表结构与源系统表结构高度相似,通常在ods层主要会做字段的筛选,枚举值转换,编码统一,异常&缺失数据处理等操作。

dw层:称为中间层,按主题建模(域->主题)的明细数据层,数据粒度与ods层一致。

dm层:称为数据集市层

### 高光谱遥感中的光谱形态学分析方法 高光谱遥感图像因其丰富的波段信息和较高的分辨率,在地球科学、环境监测等领域得到了广泛应用。光谱形态学分析是一种基于数学形态学理论的方法,用于增强或提取高光谱图像中的特定特征[^1]。 #### 数学形态学基础 数学形态学是一门建立在集合论基础上的学科,主要用于处理几何形状的信息。其基本操作包括腐蚀(Erosion)、膨胀(Dilation)、开运算(Opening)以及闭运算(Closing)。这些操作可以用来平滑边界、去除噪声或者填充孔洞等。对于高光谱遥感图像而言,光谱形态学分析通过将形态学算子扩展到多维空间中实现对光谱曲线的操作[^2]。 #### 光谱形态学滤波器 为了适应高光谱数据的特点,研究人员提出了几种专门针对光谱维度设计的形态学滤波器: - **Top-Hat变换**:该方法能够突出目标对象相对于背景的变化部分,适用于检测异常区域或感兴趣的目标。 - **Bottom-Hat变换**:与Top-Hat相反,它强调的是较暗的对象或凹陷结构。 这两种变换均可以通过组合不同的结构元素完成复杂的特征提取任务。例如,在植被健康状况评估过程中,利用Top-Hat变换可有效分离出受病害影响而变黄的叶子像素点群组。 #### 应用实例 实际应用中,光谱形态学不仅限于简单的预处理阶段,还可以融入更高级别的数据分析流程当中。比如,在矿物勘探领域里,通过对反射率随波长变化形成的吸收峰位置及其强度进行细致刻画之后再施加相应的形态学过滤手段,则有助于提高区分相似矿物质类型的准确性。 ```python import numpy as np from skimage.morphology import opening, closing, disk def spectral_morphological_filter(spectrum_data, operation='opening', radius=3): """ 对输入的一维光谱向量执行指定的形态学操作 参数: spectrum_data (numpy.ndarray): 输入的单条或多条光谱数据(二维数组形式) operation (str): 执行的操作类型 ('opening' 或 'closing') radius (int): 结构元大小 返回值: filtered_spectra (numpy.ndarray): 经过形态学处理后的光谱数据 """ selem = disk(radius) # 定义圆形结构单元 if operation == 'opening': result = opening(spectrum_data, selem) elif operation == 'closing': result = closing(spectrum_data, selem) else: raise ValueError("Unsupported morphological operation.") return result ``` 上述代码片段展示了如何定义一个通用函数来实施光谱上的开/闭运算过程。这里采用了`scikit-image`库里的现成工具构建自定义尺寸的圆盘形结构元件,并据此作用于给定的数据集上以达到预期目的。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值