论文《Improving your graph neural networks:A High-Frequency Booster》笔记

【CLAR 2022 ICDMW】作者指出,现有的GNN模型主要关注于消息传递机制,但这些模型往往受限于低通滤波器的局限,导致在多层堆叠时性能下降。为了解决这个问题,论文提出了一种新的正则化方法,称为补全拉普拉斯正则化(Complement Laplacian Regularization,CLAR)。这种方法通过将原始图的补图(complement graph)引入到GNN中,以增强高频分量。作者认为补图包含了一个高通滤波器,并利用这一特性来提升GNN的表现力。

本文发表在2022年ICDMW会议上,第一作者学校:清华大学,引用量:7。

查询会议:

原文和开源代码链接:

0、核心内容

论文主要探讨了图神经网络在半监督节点分类任务中遇到的两个主要问题:过平滑(over-smoothing)和异配性(heterophily)。作者指出,现有的GNN模型主要关注于消息传递机制,但这些模型往往受限于低通滤波器的局限,导致在多层堆叠时性能下降。

为了解决这个问题,论文提出了一种新的正则化方法,称为补全拉普拉斯正则化(Complement Laplacian Regularization,CLAR)。这种方法通过将原始图的补图(complement graph)引入到GNN中,以增强高频分量。作者认为补图包含了一个高通滤波器,并利用这一特性来提升GNN的表现力。
论文的主要贡献包括:

  • 1、问题阐述:展示了应用高频分量的必要性,并定义了将高频分量整合到图学习中的问题。
  • 2、有效算法:开发了CLAR,这是一个模型无关的插件,用于增强GNNs的高频分量,并提供了理论支持。
  • 3、实验验证:广泛的实验表明,CLAR能够提升GNNs在过平滑问题上的表现,增强异配图的表现力,并提高对拓扑噪声的鲁棒性。此外,它还优于其他适用高频信息的正则化方法。

论文还详细讨论了与现有工作的关系,包括基于架构的解决方案和基于正则化的解决方案,并提出CLAR作为一种新的正则化方法,它从频谱域出发,增强GNNs的高频分量。

此外,论文还提供了算法的伪代码,详细描述了CLAR的采样策略和构建正则化的方法,并通过实验验证了CLAR在不同数据集上的有效性。最后,论文总结了研究成果,并对未来的工作方向提出了展望。

### 线性可变形卷积技术增强卷积神经网络性能 线性可变形卷积是一种扩展标准卷积操作的技术,允许模型自适应地调整感受野的位置。这种灵活性使得模型能够更好地捕捉不同尺度和形状的目标特征。 #### 基本原理 在传统卷积中,滤波器按照固定的空间布局滑动并提取特征。然而,在处理复杂场景时,物体可能呈现不同的姿态、比例或遮挡情况。为此,线性可变形卷积引入了一个额外的分支来预测每个位置上的偏移量(offset),这些偏移会作用于原始采样点上[^4]: ```python import torch.nn as nn class LinearDeformConv(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1): super(LinearDeformConv, self).__init__() # 学习偏移量的子网 self.offset_conv = nn.Conv2d(in_channels=in_channels, out_channels=kernel_size * kernel_size * 2, # xy方向各需一个偏移 kernel_size=kernel_size, stride=stride, padding=padding) # 主干卷积层 self.conv = nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=kernel_size, stride=stride, padding=padding) def forward(self, x): offsets = self.offset_conv(x) # 预测偏移场 output = deform_conv_function(input=x, offset=offsets, weight=self.conv.weight, bias=self.conv.bias) return output ``` 这里`deform_conv_function()`代表实现具体变形卷积运算的功能函数。通过这种方式,即使面对形态各异的对象实例,也能获得更精准的感受域定位。 #### 性能提升机制 当应用于目标检测任务时,该方法有助于提高边界框回归精度以及分类准确性。特别是在多尺度变换下保持鲁棒性的能力尤为突出[^2]。由于采用了基于数据驱动的方式动态调整空间支持区域,因此相比静态模板化的常规做法更具表达力。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值