【模型压缩】网络层与算子融合

由于深度学习网络层数深，结构复杂，生成的算子数量众多，带了巨大的计算资源在和时间的消耗。业界对于加速算子的计算展开了一定研究，比较经典的方法是将多个算子重新组合成一个新的算子，同时对生成的代码进行底层的性能优化，融合成新算子后计算相对于多个单算子分别计算的好处是可以实现内存复用，并提高GPU、CPU、寄存器等计算资源的利用率。

一个常规的例子：

一个原始的Inception Block，首先将神经网络的conv、BN、Relu三个层融合为了一个层，简称CBR，另外TensorRT还可以对网络做水平组合，水平组合是指将输入为相同张量和执行相同操作的层融合一起，下面的Figure3即是将三个相连的CBR为一个大的的CBR。最后，对于concat层，将contact层的输入直接送入下面的操作中，不用单独进行concat后在输入计算，相当于减少了一次传输吞吐，然后就获得了如Figure4所示的最终计算图。

优化前：

优化后：

正文开始，在讲算子融合之前，我们先看一下代数转换部分，详情见