卷积神经网络（CNN）加速技术的全面解析与未来展望

### 卷积神经网络（CNN）加速技术的全面解析与未来展望 #### 1. 边缘计算下的CNN加速需求 在人工智能（AI）向边缘发展的趋势下，CNN在边缘设备和边缘服务器中的应用越来越广泛。边缘CNN加速能推动自动驾驶、监控和机器人等新应用的发展。然而，在资源受限的边缘系统中，硬件加速器运行时CPU常处于空闲状态，若CPU能与加速器协同执行卷积（CONV）层操作，可提升性能和能源效率。 #### 2. CPU - 加速器协同调度技术 为加速边缘CNN推理中的单个CONV层操作，提出了CPU - 加速器协同调度技术。该技术利用生成不同CNN输出特征图操作的独立性，将输出通道分配给加速器和CPU，相较于仅使用加速器执行，能进一步提升性能。 为实现加速器和CPU之间的负载平衡，还引入了基于线性回归的延迟模型。该模型可估算CONV层在CPU和加速器上的执行时间，基于此估算结果，能以负载平衡的方式分配输出通道，充分利用加速器和CPU，减少二者的空闲时间，从而提高性能。 #### 3. 实验结果分析 ##### 3.1 空闲时间比例 |平台|PE2|PE4|PE8| | ---- | ---- | ---- | ---- | |Ultra96|Layer 0: 2.22<br>Layer 1: 0.35<br>...|Layer 0: 3.04<br>Layer 1: 3.19<br>...|Layer 0: 6.85<br>Layer 1: 1.94<br>...| |Zed|Layer 0: 2.81<br>Layer 1: 1.02<br>...|Layer 0: 2.79<br>Layer 1: 3.98<br>...|Layer 0: 7.16<br>Layer 1: 3.06<br>...| |ZCU104|Layer 0: 0.14<br>Layer 1: 0.85<br>...|Layer 0: 1.63<br>Layer 1: 0.31<br>...|Layer 0: 6.00<br>Layer 1: 0.39<br>...| |ZCU106|Layer 0: 0.13<br>Layer 1: 0.84<br>...|Layer 0: 1.64<br>Layer 1: 0.33<br>...|Layer 0: 5.97<br>Layer 1: 0.39<br>...| 结果显示，平均空闲时间仅为1.61%（最大空闲时间为7.16%），表明该技术几乎完全消除了空闲时间，输出通道分配使CPU和加速器得到充分利用，最大化了吞吐量。 ##### 3.2 能源消耗 通过HPM - 300A功率计测量平台级功率，确定了协同调度技术的能耗。与仅使用CPU（CPU_ONLY）和仅使用加速器（ACC_ONLY）相比，CPU + ACC协同调度方法在不同数量处理元素（PE）的加速器上，能源消耗分别降低了48.0 - 79.8%和14.9 - 49.7%。虽然CPU + ACC的功率消耗有所增加，但执行时间的减少弥补了这一增加，从而实现了巨大的能源节省。 ##### 3.3 Tiny Darknet CNN推理案例研究 |CNN Layer #|Description|CPU_ONLY|ACC_ONLY|CPU + ACC| | ---- | ---- | ---- | ---- | ---- | |Layer 0|3 × 3 CONV|1.283221|1.057395|0.736854| |Layer 1|2 × 2 max pooling|0.073256|0.073281|0.073755| |...|...|...|...|...| |Total| - |24.838871|22.665831|12.511788| 结果表明，与CPU_ONLY和ACC_ONLY相比，CPU + ACC使CNN推理延迟分别降低了49.6%和44.8%。由于Tiny Darknet模型中16个层为CONV层，占总层数的73%，因此该协同调度技术使CN