perf_analyzer提示input INPUT contains dynamic shape, provide shapes to send along with the request

修炼之路

于 2023-08-31 10:59:35 发布

阅读量662

点赞数 2

CC 4.0 BY-SA版权

分类专栏： triton-inference-server服务部署文章标签： tritonserver

9 篇文章

订阅专栏

本文分析了在使用fastdeploy部署PPOCR模型时，perf_analyzer测试遇到的关于动态形状错误。解决方法是提供输入节点的具体shape，通过查看config.pbtxt获取输入节点名称。测试命令需包含形状信息和输入节点名。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在使用fastdeploy部署PPOCR的时候，利用tritonserver-py3-sdk镜像使用perf_analyzer测试模型的吞吐量的时候，使用下面命令测试的时候

perf_analyzer -m pp_ocr --percentile=95 --concurrency-range 1

报如下错误

error: failed to create concurrency manager: input INPUT contains dynamic shape, provide shapes to send along with the request

我们在使用perf_analyzer测试的时候，指定shape就可以了，测试命令如下

perf_analyzer -m pp_ocr --percentile=95 -i grpc --concurrency-range 1:10:2 --shape INPUT:1080,960,3

在指定shape的时候需要带上输入节点的名称，如果不知道输入节点的名称，可以查看config.pbtxt文件，找到input节点即可

name: "pp_ocr"
platform: "ensemble"
max_batch_size: 1
input [
  {
    name: "INPUT"
    data_type: TYPE_UINT8
    dims: [ -1, -1, 3 ]
  }
]