MobileViG-基于图的稀疏注意移动视觉应用.pdf

【MobileViG：移动视觉应用中的稀疏图注意力机制】 本文介绍了MobileViG，一种针对移动设备优化的新型视觉图神经网络（Visual Graph Neural Network，ViG）架构，结合了卷积神经网络（CNN）和图神经网络（GNN）的优势。在传统的CNN和视觉Transformer（ViT）主导的计算机视觉领域，ViG作为一种新兴技术，为处理全局对象交互提供了新思路。然而，ViG在移动应用中的应用受到计算成本高昂的限制，特别是在将图像转化为图形结构时。 为了解决这个问题，作者提出了一种名为稀疏视觉图注意（Sparse Visual Graph Attention，SVGA）的机制，特别针对移动设备设计。SVGA是一种轻量级的注意力机制，它不需要重塑图像并减少图构建过程中的计算开销。这使得基于图的处理在资源有限的移动设备上变得可行。 MobileViG是第一个应用于移动设备视觉任务的混合CNN-GNN架构，利用SVGA进行计算高效的处理。通过在图像分类、目标检测和实例分割任务上的实验，MobileViG在速度和/或准确性上超越了现有的ViG模型以及传统的移动CNN和ViT架构。例如，MobileViG-Ti模型在ImageNet-1K数据集上实现了75.7%的Top-1精度，推理延迟仅为0.78毫秒，比MobileNetV2x1.4和MobileNetV2x1.0更快更准确。 此外，较大的MobileViG-B模型在保持2.30毫秒的低延迟的同时，达到了82.6%的Top-1准确率，超越了同等规模的EfficientFormer-L3模型。这些结果表明，精心设计的混合CNN-GNN架构为移动设备上构建快速而精确的模型开辟了新的道路。 论文还强调了AI和ML在计算机视觉领域的快速发展，特别是CNN和Transformer架构。虽然Transformer在自然语言处理（NLP）和计算机视觉领域都表现出色，但它们在移动环境中的应用受到挑战。相比之下，GNN已经在各种非图像任务中展示了潜力，而ViG则尝试将这一概念引入视觉领域。然而，现有的ViG模型不适合移动设备，因为它们在资源受限的环境中运行效率低下。 通过借鉴CNN和Transformer在架构设计上的优点，MobileViG寻求找到一个平衡点，既保持了CNN的局部特征提取能力，又具备Transformer的全局理解能力。这项工作不仅提出了新的模型和注意力机制，还开源了实现代码，为未来的研究和实际应用提供了基础。 总结，MobileViG是针对移动设备优化的一种创新方法，它结合了CNN和GNN的优点，通过稀疏视觉图注意机制有效地处理图像，提高了移动设备上视觉任务的性能。这一成果对于推动移动设备上的计算机视觉技术具有重要意义。