EfficientDet（2019➕CVPR）

刘若里

于 2025-04-02 07:00:00 发布

阅读量1.2k

点赞数 25

CC 4.0 BY-SA版权

分类专栏：论文阅读文章标签：深度学习计算机视觉人工智能笔记

本文链接：https://blog.csdn.net/Liuruoli4878/article/details/146876762

论文标题	EfficientDet: Scalable and Efficient Object Detection
论文作者	Mingxing Tan, Ruoming Pang, Quoc V. Le
发表日期	2019年11月01日
GB引用	> Tan Mingxing, Pang Ruoming, Le Quoc V. EfficientDet: Scalable and Efficient Object Detection[J]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2020, abs/1911.09070: 10778-10787.
DOI	10.1109/CVPR42600.2020.01079

论文地址：https://arxiv.org/pdf/1911.09070v7

摘要

本文研究了目标检测网络架构的设计选择，提出了两种关键优化来提升效率：一是加权双向特征金字塔网络（BiFPN），实现简单快速的多尺度特征融合；二是复合缩放方法，同时均匀调整主干网络、特征网络及边界框/类别预测网络的分辨率、深度和宽度。基于这些优化与更好的主干网络，作者开发了一种新的目标检测器系列EfficientDet，在各种资源限制下均表现出比现有技术更高的效率。例如，EfficientDet-D7在COCO测试集上达到55.1的AP，参数量为77M，计算量为410B FLOPs，比之前的检测器小4到9倍，计算量减少13到42倍。此外，EfficientDet在语义分割任务上也表现优异，在Pascal VOC数据集上的mIOU达到81.74%，比DeepLabV3+少用9.8倍的计算量。

全文摘要

本文讨论了一种名为EfficientDet的高效对象检测模型，旨在提高计算机视觉中的模型效率。随着对象检测模型的准确度不断提高，其所需的计算资源也相应增加，成为实际应用中的一个瓶颈。为了应对这一挑战，作者提出了几项关键的优化方法：

双向特征金字塔网络（BiFPN）：该网络能够快速而高效地进行多尺度特征融合，通过引入可学习的权重，精确评估不同输入特征的贡献。这一方法解决了之前模型简单相加特征所带来的信息流失问题。
复合缩放方法：该方法同时均匀缩放模型中的分辨率、深度和宽度，确保在各个网络组件中有效提升性能。这种缩放策略比以往只增加网络深度或宽度的方法更为全面，能够在不同的资源限制下保持较高的准确性和效率。

基于这些创新的设计，EfficientDet模型在COCO测试集中达到了55.1的AP（Average Precision），在计算参数和FLOPs（每秒的浮点运算次数）方面远远优于传统模型，特别是在相似的精度要求下，其模型体积可减少4到9倍，同时运算效率提高了13到42倍。

该论文的独特之处在于同时关注了模型的准确性和计算效率，不仅提供了高效的对象检测解决方案，还为移动设备和自驾车等资源受限的应用场景开辟了新方向。总的来说，EfficientDet代表了一种新型的、可扩展的高效对象检测框架，为未来的研究和实际应用提供了重要的参考价值。

研究问题

如何在保持较高准确率的同时提高目标检测模型的效率？
是否可以通过加权双向特征金字塔网络（BiFPN）实现更有效的多尺度特征融合？
对于不同资源约束条件下的目标检测模型，如何通过复合缩放方法同时优化模型的分辨率、深度和宽度？

研究方法

实验研究： 提出了一种加权双向特征金字塔网络（BiFPN），通过引入可学习权重实现多尺度特征融合，并通过重复应用自顶向下和自底向上的特征融合来优化模型性能。

比较研究： 将提出的EfficientDet模型与现有的一系列目标检测模型（如YOLOv3、RetinaNet、NAS-FPN等）进行对比，验证其在参数量、浮点运算次数（FLOPs）以及检测精度方面的优越性。

混合方法研究： 结合了EfficientNet强大的主干网络和BiFPN的高效特征融合技术，同时提出了复合缩放方法（Compound Scaling），统一调整网络的宽度、深度和分辨率，以优化模型的效率和准确性。

系统分析： 通过对不同设计选择（如主干网络、特征融合方式、类别/边界框网络等）进行消融实验，系统分析了各组件对模型性能的影响，并展示了BiFPN和复合缩放方法对提升模型效率的重要作用。

研究思路

1. 理论框架与模型

论文围绕高效的物体检测任务，提出了一种新的神经网络模型——EfficientDet。该模型采用了双向特征金字塔网络（BiFPN）作为特征提取和融合的基础，同时引入了复合缩放（compound scaling）的方法。这些框架的核心理论基础是通过在模型结构上进行优化，达到更高的检测精度和更低的计算复杂度。

双向特征金字塔网络（BiFPN）：该网络改善了传统的特征融合方法，允许在不同尺度之间进行有效的特征融合。BiFPN采用可学习的权重来动态调整各特征的重要性，同时引入了自上而下和自下而上的多尺度特征融合思想。
复合缩放：旨在同时优化骨干网络、特征提取网络和分类/框架预测网络的深度、宽度和输入分辨率。复合缩放方法与传统的单维度缩放方法相比，能够在多个资源约束条件下灵活调整网络结构。

2. 研究方法

论文采用的研究方法主要包括以下几个方面：

多尺度特征融合：通过对比不同的特征融合方法（如传统的FPN、PANet、NAS-FPN等），提出了BiFPN以解决传统方法在特征融合时的单向信息流和特征不平衡问题。
模型缩放方法的设计：提出了复合缩放策略，通过实验确定各维度的最佳缩放因子，并应用于各类网络（骨干、特征网络、分类网络等），Systematically 进行设计和测试，以确立模型在不同资源约束下的表现。
模型训练和优化：在训练过程中使用了一系列标准的训练策略，如使用SGD优化器、学习率调整、批量归一化等，以提高训练的稳定性和模型的性能。

结论

通过组合BiFPN结构的创新与复合缩放方法，EfficientDet展示了在物体检测任务中实现高效性的可能性。这些创新为未来的物体检测模型设计提供了新的思路和参考，使得深度学习模型在更广泛的实时和资源受限的应用场景中更加可行。

BiFPN

多尺度特征融合旨在聚合不同分辨率下的特征。形式化地，给定一个多尺度特征列表： $\vec{P}^{in}=(P_{l_{1}}^{in},P_{l_{2}}^{in},...)$ ，其中 $P_{l_i}^{in}$ 表示第 $i$ 级的特征，我们的目标是找到一个变换 $f$ ，它可以有效地聚合不同的特征，并输出一组新的特征： $\vec{P}^{out}=f(\vec{P}^{in})$ 。作为一个具体的例子，图 2 (a) 展示了传统的自下而上的金字塔结构 [23]。它采用从第三到第七层的输入特征 $\vec{P}^{in}=(P_{3}^{in},...P_{7}^{in})$ ，其中 $P_i^{in}$