自组织映射图的聚类结构可视化与变化检测

### 自组织映射图的聚类结构可视化与变化检测 在当今快速发展的世界中，组织需要了解数据的变化，以便及时调整策略。自组织映射图（SOM）作为一种人工神经网络，在处理高维数据和可视化方面具有独特优势。本文将介绍自组织映射图的聚类结构可视化方法以及如何检测不同时间段相关数据集的聚类变化。 #### 1. 自组织映射图聚类结构可视化 在自组织映射图的聚类结构可视化中，有一个重要的参数 σ。这个参数对可视化方法有着深远的影响，并且与地图大小相关。当 σ 值较低时，可视化主要依赖局部差异；而随着 σ 值升高，感知到的聚类结构会逐渐从局部转变为全局。实验表明，较好的 σ 值接近地图网格中单元数量较少的轴上地图单元数量的十分之一，但这也取决于所需的粒度水平。 在邻域函数类型对可视化的影响方面，之前的例子大多使用高斯核函数。令人惊讶的是，逆函数和截断高斯核函数与高斯核函数的差异极小，几乎难以区分。唯一的例外是气泡函数，它在训练过程中作为邻域核是一种非常不寻常的选择。因为在该半径的球体内，所有地图单元被同等对待，圆边界上的节点权重并不比中心附近的节点小，所以这种可视化比其他核函数更难解释，并且在训练过程中会引入数据集中原本不存在的聚类结构。因此，邻域核应该是一个连续函数。 这种可视化方法基于邻域核函数和每个码本向量附近距离的聚合，与 U - 矩阵有一定关联。它可以显示为向量场或突出地图聚类边界的图。实验表明，该方法对单元数量较多的地图特别有用，邻域核的选择只要是连续的就不是很重要，而邻域半径 σ 对结果有重大影响。 #### 2. 自组织映射图的聚类变化检测 在当今快速变化的环境中，组织需要了解数据聚类的变化，以便调整策略。简单地对新数据集进行聚类并不能解决将新聚类结果与先前结果关联起来的问题，因此需要能够关联和对比新旧聚类结果的方法。 ##### 2.1 变化检测类型 变化挖掘一般可分为变化点检测和通过比较数据挖掘得到的模型进行变化挖掘。变化点检测更注重找到变化发生的时间点，而不是发现变化的原因，例如拟合分段模型和比较模型估计值与实际观测值等方法。通过比较学习模型进行变化检测与本文提出的方法更相关，在关联规则发现和决策树学习等领域都有应用。 使用 SOM 检测变化的技术包括检测地图结构变化和数据向量映射变化。虽然已经提出了一些衡量两个地图差异的方法，但这些方法存在难以确定具体差异和难以解释数据映射变化等问题。 ##### 2.2 自组织映射图基础 SOM 是一种执行无监督竞争学习的人工神经网络，它可以将高维数据空间非线性投影到低维流形上，通常是二维平面。人工神经元排列在低维网格上，每个神经元有一个 n 维原型向量。SOM 通过向地图呈现一系列数据向量并相应调整原型向量来进行训练。 SOM 的聚类方法有直接聚类和两级聚类（混合）两种。直接聚类将每个地图单元视为一个聚类，其成员是将该单元作为最佳匹配单元（BMU）的数据向量；两级聚类将训练好的 SOM 的单元视为“原型聚类”，使用传统聚类技术（如 k - 均值）对其权重向量进行聚类以形成最终聚类。 #### 3. 可视化聚类变化的方法 ##### 3.1 地图训练 为了比较使用不同数据集训练的地图，需要保持它们的方向一致。提出的联合方法如下： 1. 使用相同的技术和参数对两个数据集进行归一化。 2. 为第一个数据集初始化一个 SOM。 3. 使用第一个数据集训练 SOM。 4. 使用训练好的第一个 SOM 为第二个数据集初始化一个 SOM。 5