基于拓扑集合约束的动态蛇形卷积用于准确分割管状结构，如血管和道路

最新推荐文章于 2025-01-09 01:00:00 发布

转载最新推荐文章于 2025-01-09 01:00:00 发布 · 320 阅读

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg5ODAzMTkyMg==&mid=2247498398&idx=1&sn=d0ce30dd732e0b335d040830e1adc877&chksm=c13b1f37e5856f8bd889babf64d3d53566df4a43f49f52f8d1d280725e3f24eaa87011af82a8&scene=126&sessionid=0

导读

在本研究中，我们注意到管状结构的特殊性，并利用这一知识指导我们的DSCNet同时在三个阶段增强感知能力：特征提取、特征融合和损失约束。

摘要

准确分割拓扑管状结构，如血管和道路，在各个领域中至关重要，确保了下游任务的准确性和效率。然而，许多因素使得这一任务变得复杂，包括细小的局部结构和多变的整体形态。在本研究中，我们注意到管状结构的特殊性，并利用这一知识指导我们的DSCNet同时在三个阶段增强感知能力：特征提取、特征融合和损失约束。首先，我们提出了一种动态蛇形卷积，通过自适应地关注细长且曲折的局部结构来准确捕捉管状结构的特征。随后，我们提出了一种多视角特征融合策略，在特征融合过程中从多个角度补充对特征的关注，确保保留来自不同整体形态的重要信息。最后，基于持久同调理论，提出了一种连续性约束损失函数，以更好地约束分割的拓扑连续性。在2D和3D数据集上的实验表明，与几种方法相比，我们的DSCNet在管状结构分割任务上提供了更高的准确性和连续性。我们的代码已公开可用：https://github.com/YaoleiQi/DSCNet

1 介绍

准确分割拓扑管状结构在各个领域中至关重要，以确保下游任务的精度和效率。在临床应用中，清晰界定的血管是计算血液动力学的关键前提，并帮助放射科医生定位和诊断病变。在遥感应用中，完整的道路分割为路线规划提供了坚实的基础。无论是在哪个领域，这些结构都具有细长且曲折的共同特点，这使得它们由于在图像中所占比例较小而难以捕捉。因此，迫切需要提高对细薄管状结构的感知能力。然而，由于以下困难，这一目标仍面临挑战：（1）细薄且脆弱的局部结构。如图1所示，细长结构仅占整个图像的一小部分，像素组成有限。此外，这些结构容易受到复杂背景的干扰，导致模型难以精确辨别细微的目标变化。因此，模型可能难以区分这些结构，导致分割断裂。（2）复杂且多变的整体形态。图1展示了即使在同一图像内，细长管状结构的形态也复杂多变。位于不同区域的目标表现出形态变异，取决于分支数量、分叉位置和路径长度。当数据展示前所未有的形态结构时，模型可能会倾向于过拟合已见过的特征，导致泛化能力减弱。

最近，许多研究提出了结合领域知识（例如几何拓扑和树结构）来更好地引导模型感知管状结构的独特特征，从而专注于提高局部分割的准确性并保持整体形态的连续性。现有方法大致可以分为三类：（1）基于网络的方法根据管状结构的特点设计特定的网络架构，引导模型关注关键特征。然而，鉴于管状结构的比例较小，网络可能会不可避免地失去对相应结构的感知。（2）基于特征的方法通过向模型补充额外的特征表示来增强对管状结构特定几何和拓扑特征的理解。然而，一些冗余的特征表示加重了计算负担，而对模型没有正面影响。（3）基于损失的方法在训练过程中通过损失函数引入测量方法来补充约束条件。这些方法强化了对分割的严格约束。在此基础上，结合连续性约束的结构化损失从拓扑视角出发，有望进一步提高管状结构分割的准确性。

为了克服上述障碍，我们提出了一种新颖的框架——DSCNet，该框架包含一个管状感知卷积核、多视角特征融合策略以及拓扑连续性约束损失函数。（1）针对细薄且脆弱的局部结构占比小，模型难以集中注意力的问题，我们提出了动态蛇形卷积（DSConv），通过自适应关注管状结构的细长和弯曲局部特征来增强几何结构的感知能力。与可变形卷积不同，后者让网络完全自由地学习几何变化，导致感知区域游移，特别是在细长管状结构上；我们的DSConv考虑了管状结构的蛇形形态，并在自由学习过程中加入约束，允许有针对性地增强对管状结构的感知。（2）为了解决复杂多变的整体形态的挑战，我们提出了一种多视角特征融合策略。在此方法中，我们基于DSConv生成多个形态核模板，从不同角度观察目标的结构特征，并通过总结典型的重要特征实现高效特征融合。（3）为了解决管状结构分割易断的问题，我们基于持续同调（PH）提出了一种拓扑连续性约束损失函数（TCLoss）。持续同调响应于拓扑特征从出现到消失的过程，能够从噪声高维数据中获取足够的拓扑信息。相关的贝蒂数是一种描述拓扑空间连通性的方法。我们的TCLoss将PH与点集相似性相结合，引导网络关注像素/体素分布异常的断裂区域，从拓扑视角实现连续性约束。

总之，我们的工作提出了一种新的知识融合框架，旨在解决细长管状结构的难题，具体贡献有三个方面。（1）我们提出了一种动态蛇形卷积，能够自适应地关注细长且曲折的局部特征，实现在2D和3D数据集上对管状结构的精准分割。我们的模型使用内部和外部测试数据进行了全面验证。（2）我们提出了一种多视角特征融合策略，以补充从多个视角关注重要特征的注意力。（3）我们基于持续同调提出了一种拓扑连续性约束损失函数，该函数更好地约束了分割的连续性。

2 相关工作

2.1 基于网络设计的方法

为了根据管状结构的形态设计特定的网络架构和模块以获得更好的性能，已经提出了多种方法。（1）基于卷积核设计的方法，如著名的膨胀卷积和可变形卷积，旨在处理CNN中的固有几何变换限制，这些方法在复杂的检测和分割任务中表现出色。这些方法也被设计成能够动态感知物体的几何特征，以适应形态可变的结构。例如，DUNet将可变形卷积整合到了U型架构中，并根据血管的尺度和形状自适应地调整感受野。（2）基于网络架构设计的方法旨在学习管状结构的特殊几何拓扑特征。PointScatter被提出用于通过点集来表示管状结构，作为管状结构提取任务中分割模型的一种替代方案。有文献提出了一种树状卷积门控循环单元来显式建模冠状动脉的拓扑结构。不同于上述让模型完全自由地学习几何变化的想法，考虑到过度随机性可能导致收敛难度增加以及模型可能会关注目标的意外区域的可能性。我们的工作集成了管状结构形态的领域知识，以在特征提取过程中稳定地增强对管状结构的感知。

2.2 基于特征融合的方法

基于特征融合的方法通过向模型补充额外的特征信息来加强管状结构的表示。考虑到管状结构的拓扑特性和稀疏性，有文献提出了一种跨网络多尺度特征融合方法，该方法在两个网络之间执行，有效支持高质量的血管分割。有文献研究了通过深层浅层层次特征融合实现全局Transformer和双局部注意网络，同时捕捉全局和局部特征。有文献提出融合上下文解剖信息和血管拓扑结构，以实现准确的管状结构分割。在我们的工作中，我们提出了一种多视角特征融合策略，从多个角度补充对关键特征的关注。在这个策略中，我们基于DSConv生成大量的形态学内核模板，从多个角度观察目标的结构特性，并通过总结基本的标准特征来实现特征融合，从而提高我们模型的性能。

2.3 基于损失函数的方法

基于损失函数的方法引入了测量方法以在训练过程中补充约束。这些方法加强了对管状结构分割的强约束。有文献引入了一种称为中心线Dice的相似度测量方法，该方法是在分割掩码与骨架的交集上计算得出的。有文献提出了一种基于深度距离变换（Deep Distance Transform, DDT）的几何感知管状结构分割方法，该方法结合了经典距离变换在骨架化和管状结构分割方面的直觉。这些方法关注于管状结构分割的连续性，但骨架的不准确性和偏移会影响约束的精度。有文献提出了一种捕获预测分割拓扑一致性的相似度指数，并设计了基于形态学闭运算算子的损失函数用于管状结构分割。有文献将拓扑数据分析方法与几何深度学习模型相结合，用于三维对象的细粒度分割。这些方法将捕捉到拓扑对象的特征。受此启发，我们的工作提出了一个拓扑连续性约束损失函数（TCLoss），该损失函数从拓扑角度更好地约束了分割的连续性。我们的TCLoss在训练过程中逐渐基于持续同调(Persistence Homology)引入约束，指导网络关注断裂区域并实现连续性。

3 方法

我们的方法旨在同时处理细长管状结构的2D和3D特征图。为了简化说明，我们在2D中描述了这些模块，并在我们的开源代码中提供了详细的3D扩展。

3.1 动态蛇形卷积

在本节中，我们将讨论如何执行动态蛇形卷积（DSConv）来提取管状结构的局部特征。给定标准的2D卷积坐标为K，中心坐标为Ki = (xi, yi)。一个具有膨胀因子1的3 × 3卷积核K可以表示为：

为了使卷积核能够更灵活地关注目标的复杂几何特征，我们引入了变形偏移量∆。然而，如果模型自由学习变形偏移量，感知野往往会偏离目标，尤其是在细长管状结构的情况下。因此，我们采用了一种迭代策略（图3），依次选择每个待处理目标的下一个观察位置，从而确保注意力的连续性，避免因大的变形偏移量而导致感知野过度扩散。

在DSConv中，我们沿着x轴和y轴方向拉直标准卷积核。考虑一个大小为9的卷积核，以x轴方向为例，K中每个网格的具体位置表示为：，其中c = {0, 1, 2, 3, 4}表示从中心网格的水平距离。卷积核K中每个网格位置的选择是一个累积过程。从中心位置Ki开始，远离中心网格的位置取决于前一个网格的位置：Ki+1相对于Ki增加了一个偏移量。因此，偏移量需要是Σ，从而确保卷积核符合线性形态结构。沿x轴方向的方程(2)变为：

而沿y轴方向的方程(2)则变为：

由于偏移量∆通常是分数形式，实现了双线性插值：

其中K表示方程(2)和方程(3)中的分数位置，K′枚举所有整数空间位置，B是双线性插值核，并且它可以分解为两个一维核：

如图3所示，由于二维（x轴，y轴)的变化，我们的DSConv在变形过程中覆盖了一个9 × 9的范围。DSConv的设计是为了基于动态结构更好地适应细长的管状结构，以便更好地感知关键特征。

3.2 多视角特征融合策略

本节讨论实现多视角特征融合策略，以引导模型从多个角度补充对关键特征的关注。对于每个K，从层l中分别沿x轴和y轴提取两个特征图和，表达式为：

其中，表示位置处的权重，由第l层卷积核K提取的特征通过累加方法计算得出。

基于方程(6)，我们提取m组特征作为，它包含了DSConv的不同形态：

多个模板的特征融合不可避免地会带来冗余噪声。因此，在训练阶段引入了随机丢弃策略（图4），以提高我们模型的性能并防止过拟合，而不增加额外的计算负担，然后方程(7)变为：

其中，p是随机丢弃的概率，满足伯努利分布。最优的丢弃策略在训练阶段被保存下来，并指导模型在测试阶段融合关键特征。

3.3 拓扑连续性约束损失

在本节中，我们将讨论如何基于持久同调（Persistent Homology）实现拓扑连续性约束损失（TCLoss），以限制分割的连续性。复杂结构中的几何和拓扑信息是帮助模型理解连续结构的关键线索。采用拓扑数据分析工具来提取隐藏在复杂管状结构中的本质特征。

我们的目标是构建数据的拓扑结构，并提取复杂管状结构中的高维关系，这些关系可以用持久条形码和持久同调（PH）来表示，如图5所示。

给定G及其N维拓扑结构，同调类是在G内可以相互变形的N流形的等价类，其中0维和1维分别是连通组件和手柄。持久同调应用于计算拓扑特征的演变过程，以及保持拓扑特征出现时间b和消失时间d之间的时期。这些时期以一种简洁的形式——持久图（PD）总结，它由一组点(b, d)组成。每个点(b, d)代表在b时刻出现并在d时刻消失的第d个同调类。设表示从真实标签L和输出O获得的持久同调。

我们考虑复杂管状结构中的拓扑信息，这些信息包含确定骨折存在的关键线索，这些线索体现在0维和1维同调特征的同伦特性中。现有的方法使用修改后的瓦瑟斯坦距离来计算输出产生的点与真实标签产生的点之间最佳匹配，而没有最佳配对的异常点则被匹配到对角线上，并不参与损失计算。然而，在我们的任务中，异常点代表异常出现或消失的时间，暗示错误的拓扑关系，这起着重要作用。因此，我们使用豪斯多夫距离来衡量两组点之间的相似度：

其中，，表示双向豪斯多夫距离，它是根据n维点计算的。我们使用的豪斯多夫距离对异常值敏感。如方程(9)所示，如果两组点相似，除了中的一个点远离中的任何点外，所有其他点都能完美重叠，那么豪斯多夫距离将由该点决定，并且很大。

然后，对所有维度（n = 0, 1, 2, ..., N）求和以获得，并将整个TC损失与交叉熵损失结合起来作为最终的损失函数。

最后，通过两种损失函数的综合作用，拓扑结构和准确性受到限制，有助于实现连续的管状分割。

4 实验配置

4.1. 数据集

我们使用了三个数据集来验证我们的框架，其中包括两个公开的数据集和一个内部数据集。在二维方面，我们评估了DRIVE视网膜数据集和马萨诸塞州道路数据集。在三维方面，我们使用了一个名为心脏CCTA数据的数据集。关于实验设置的更多细节可以在补充材料中找到。

4.2. 评估指标

我们进行了对比实验和消融研究，以证明我们提出的框架的优势。经典的分割网络U-Net和2021年提出的用于血管分割的CS2-Net被用来验证准确度。为了验证网络设计性能，我们比较了2022年提出的用于视网膜血管分割的DCU-net。为了验证特征融合的优点，我们比较了2021年提出的用于医学图像分割的TransUnet。为了验证损失函数的约束作用，我们比较了2021年提出的clDice和基于瓦瑟斯坦距离的TCLoss。这些模型在相同的数据库上进行训练，并使用以下指标进行评估。所有指标都是针对每张图像计算并取平均值的。

体积评分：平均Dice系数（Dice）、相对Dice系数（RDice）、中心线Dice（clDice）、准确率（ACC）和AUC用于评估结果的性能。
拓扑错误：我们计算包括贝蒂数β0和β1的贝蒂错误在内的基于拓扑的评分。同时，为了客观地验证冠状动脉分割的连续性，使用了直到首次错误的重叠（OF）来评估提取的中心线的完整性。
距离误差：豪斯多夫距离（HD）也被广泛用于描述两组点之间的相似性，推荐用于评估细长管状结构。

5 结果与讨论

在这一段中，我们将从三个方面评估和分析我们提出的框架的有效性：(1) 我们的方法对于细长管状结构分割任务的性能通过以下指标进行比较和验证。同时展示了不同方法的视觉效果。(2) 我们分析了所提出的DSConv的有效性，它引导模型关注管状结构，以及TCLoss对分割拓扑的约束作用。(3) 我们提供了包括消融研究在内的全面实验，以DRIVE数据集为例。此外，由于篇幅限制，我们在其他数据集上突出了一些最重要的比较实验。结果显示，我们的方法在二维和三维领域都表现出色。

5.1. 定量评估

我们方法在每个指标上的优势在表1中得到了体现，结果表明我们提出的DSCNet在二维和三维数据集上都取得了更好的成绩。

DRIVE数据集上的评估。在DRIVE数据集上，我们的DSCNet在分割准确性和拓扑连续性方面超过了其他模型。在表1中，从体积准确性的角度来看，我们提出的DSCNet与其他方法相比，在Dice得分为82.06%，RDice得分为90.17%，clDice得分为82.07%，ACC得分为96.87%，AUC得分为90.27%的情况下，实现了最佳的分割结果。同时，从拓扑的角度来看，我们的DSCNet在贝蒂数β0的误差为0.998，贝蒂数β1的误差为0.803的情况下，与其他方法相比，实现了最佳的拓扑连续性。这些结果表明，我们的方法更好地捕捉到了细长管状结构的具体特征，表现出了更精确的分割性能和更连续的拓扑结构。如表1的第六至第十二行所示，随着我们TCLoss的加入，不同的模型在分割的拓扑连续性上都显示出了改进。结果说明，我们的TCLoss能够准确地约束模型专注于失去拓扑连续性的细长管状结构。

ROADS数据集上的评估。在马萨诸塞州道路数据集上，我们的DSCNet同样取得了最好的结果。如表1所示，我们提出的带有TCLoss的DSCNet与其他方法相比，在Dice得分为78.21%，RDice得分为85.85%，clDice得分为87.64%的情况下，实现了最佳的分割结果。与经典分割网络UNet的结果相比，我们的方法最多提高了1.31%的Dice，1.78%的RDice，以及0.77%的clDice。这些结果表明，我们的模型在处理结构复杂且形态多变的道路数据集时，与其他模型相比，同样表现良好。

CORONARY数据集上的评估。在心脏CCTA数据集上，我们验证了我们的DSCNet在3D中分割细长管状结构时仍然能取得相同的最佳结果。如表2所示，我们提出的DSCNet与其他方法相比，在Dice得分为80.27%，RDice得分为86.37%，clDice得分为85.26%的情况下，实现了最佳的分割结果。与经典分割网络UNet的结果相比，我们的方法最多提高了3.40%的Dice，1.89%的RDice，以及3.83%的clDice。同时，我们使用了OF指标来评估分割的连续性。使用我们的方法后，LAD的OF指标提高了6.00%，LCX的OF指标提高了3.78%，RCA的OF指标提高了3.30%（LAD、LCX和RCA是冠状血管的主要干道）。血管连续性的改善在临床上具有重要意义。

消融实验分析。以DRIVE数据集为例，消融实验证明了我们DSCNet和TCLoss的重要性。(1) 为了证明我们DSCNet的有效性。表1的前五行结果表明，我们的方法更适合于分割细长管状结构。结果表明，我们提出的DSConv在网络中发挥了关键作用，帮助网络更好地捕捉细长管状结构的关键特征。(2) 为了证明我们TCLoss的有效性。如表1的第六至第九行所示，随着我们TCLoss的添加，不同的模型在分割的拓扑连续性上都显示出了改进。结果说明，我们的TCLoss能够准确地约束模型专注于失去拓扑连续性的细长管状结构。

5.2. 定性评估

我们的DSCNet和TCLoss在任意方面都具有决定性的视觉优势（图6）。(1) 为了展示我们DSCNet的有效性。从左到右，第三到第五列展示了不同网络在分割准确性方面的表现。得益于我们DSConv能够自适应地感知细长管状结构的关键特征，我们的模型比其他方法更准确地聚焦于特殊的管状特征，因此在管状结构分割上表现出更好的性能。(2) 为了展示我们TCLoss的有效性。从左到右，第六到第八列展示了不同损失函数在细长管状结构分割连续性上的表现。随着我们提出的TCLoss的加入，难以分割区域的分割连续性得到了显著提升。结果证实，我们的方法在复杂的、形态多变的结构中，提供了稳定且具有更好拓扑连续性的分割性能。值得注意的是，在马萨诸塞州道路数据集上，我们的模型在相邻的直线或弯曲道路上达到了良好的可视化效果。更多的可视化结果可以在补充材料中找到。

5.3. 模型分析

我们的DSConv能够动态适应管状结构的形状，并且注意力很好地贴合了目标。(1) 适应管状结构的形状。图7的顶部显示了卷积核的位置和形状。可视化结果显示，我们的DSConv很好地适应了管状结构并保持了其形状，而可变形卷积则偏离了目标。(2) 关注管状结构的位置。图7的底部显示了给定点上注意力的热图。结果显示，我们DSConv最亮的区域集中在管状结构上，这表明我们的DSConv对管状结构更为敏感。

5.4. 未来工作

我们提出的框架很好地处理了细长管状结构的分割，并成功地将形态学特征与拓扑知识结合，以指导模型适应分割任务。然而，其他形态学目标是否也能通过类似的范式实现更好的性能仍然是一个令人兴奋的话题。同时，更多的研究将探索融合其他类型领域知识或拓扑分析的可能性，以进一步提高分割的性能。此外，更多的实验和理论验证将进一步丰富这一主题。

6 结论

在本研究中，我们专注于管状结构的特殊特征，并利用这些知识在三个阶段指导模型增强感知：特征提取、特征融合和损失约束。首先，我们提出了一种动态蛇形卷积来适应性地关注细长且曲折的结构，从而准确捕捉管状结构的特征。其次，我们引入了一种多视角特征融合策略，在特征融合过程中从多个角度补充关注点，确保保留来自不同全局形态的重要信息。最后，我们提出了一个拓扑连续性约束损失，以限制分割的拓扑连续性。我们的方法在2D和3D数据集上得到了验证，结果显示，与几种方法相比，我们的方法在管状结构分割任务上提供了更高的准确性和连续性。