神经网络==关系图：《Graph Structure of Neural Networks》

最新推荐文章于 2024-04-28 02:07:46 发布

VOIX

最新推荐文章于 2024-04-28 02:07:46 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

原文链接：https://arxiv.org/pdf/2007.06559.pdf

本文深入探讨了神经网络架构如何通过关系图进行解释，使用图神经网络(GNN)来理解神经架构搜索(NAS)。研究发现，神经网络性能与其关系图的聚类系数和平均路径长度密切相关，并揭示了最佳架构与生物神经网络结构的相似性。论文重点包括将有向无环MLP转化为双向关系图和应用此图进行NAS。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Graph to Neural Networks论文

原文下载：《Graph Structure of Neural Networks》

介绍：（据我理解）FAIR实验室和斯坦福Jure Leskovec实验室合作的Jiaxuan You一作文章，github源代码

摘要

太长不看版

将神经网络架构解释成了关系图的消息传递（这直接用图神经网络GNN来解释神经架构搜索NAS这个看上去毫不相干的领域）
作者在合成图中来搜索最强性能神经网络
作者提出的搜索神经网络架构的策略在不同数据集上一致，并且神经网络架构性能在两个measure中连续

原文翻译

神经网络通常被表示为神经元之间的连接图。
然而，尽管它们被广泛使用，目前人们对神经网络图结构与其预测性能之间的关系知之甚少。
在这里，我们系统地研究了神经网络的图结构是如何影响其预测性能的。
为此目的，
我们开发了一种新的基于图的神经网络表示，称为关系图，其中神经网络的计算层对应于沿着图结构的几轮消息交换。
NN使用这种关系图表示，我们表明：(1)关系图的甜蜜点(sweet spot)导致神经网络的预测性能显着提高；(2)神经网络的性能近似是其关系图的聚类系数和平均路径长度的平滑函数；(3)我们的发现在许多不同的任务和数据集中是一致的；(4)可以有效地识别甜蜜点；(5)性能最好的神经网络具有与真实生物神经网络惊人地相似的图结构。
我们的工作为神经结构的设计和对神经网络的一般理解开辟了新的方向。

实验重心

我认为的论文里的亮点以及实验里的重要操作

将有向无环的MLP转化为双向关系图的消息传递

将生成得到的WS-flex图作为神经架构搜索的map

NAS

设计了优化神经架构的策略，并找到了接近全连接层性能的更有效的框架
在这里插入图片描述

结论

综上所述，我们提出了一种使用关系图表示来分析和理解神经网络的新视角。
我们的工作提出了一个新的转变，从研究传统的计算体系结构到研究神经网络图的结构。
我们展示了其他科学学科(网络科学、神经科学等)提供的成熟的图形技术和方法。有助于理解和设计深度神经网络。
我们相信，这可能是解决更复杂情况的未来研究的一个富有成效的途径。