极智AI | 讲解 TensorRT 显式batch 和 隐式batch

  欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享

  大家好，我是极智视界，本文讲解一下 TensorRT 显式batch 和 隐式batch。

  TensorRT 支持使用两种方式来指定网络的 Layout，即：explicit batch 和 implicit batch。所谓 显式 和 隐式 的差别就在于 Batch 这一维，即 显式 ==> NCHW，隐式 ==> CHW。在比较老版本的 TensorRT 中一般就用 implicit batch 隐式batch，而现在新的开始慢慢用 explicit batch 进行替代。这是为啥呢？这主要是因为，随着算法的不断发展，网络中新出现了很多新算子、新结构，有些时候需要 操控 batch 这个维度，这个时候如果使用 隐式batch 来开发，显然是不可行的。

  隐式batch 模式不能胜任的场景主要包括：

• Reducing across the batch dimension ==> batch 维度上的规约操作，如 [N, C, H, W] -> [1, C, H, W]；
• Reshaping the batch dimension ==> batch 维度上的变化，如 [N, C, H, W] -> [M, C, H, W]；