高效数据输入输出在OpenVX中的应用

### 高效数据输入输出在OpenVX中的应用 #### 1. 高效数据输入输出简介 在视觉处理中，效率问题大多归结于数据移动。执行诸如加法或乘法等数学运算所需的执行时间和功耗，与从外部DRAM获取操作数所需的时间和功耗相比，显得微不足道。视觉处理中需要处理的数据集太大，无法完全存储在典型嵌入式设备的片上SRAM中，因此必须谨慎管理并尽量减少从外部DRAM到内部SRAM的传输。 这一原则尤其适用于向OpenVX的初始数据输入。在实时高分辨率系统中，初始输入可能是高清或更大尺寸图像的视频流。如果每个大尺寸输入图像都必须从相机输入内存区域复制到OpenVX系统内存中，那么在开始之前就已经失败了。幸运的是，OpenVX API包含了从输入源到OpenVX处理引擎零拷贝导入图像数据的函数。 OpenVX对象的一个特性是“不透明”，即数据存储的底层内存位置和组织方式对程序员来说是未知的，数据对象只能通过该对象的API进行操作，而不能直接访问存储对象的内存。这使得实现能够进行优化，例如将数据对象保存在专用内存（如加速器硬件上）或为不同目的重用内存，而不改变图形计算的最终结果。然而，在某些情况下，OpenVX应用程序需要直接访问数据对象的部分内容，可能是为了对其执行OpenVX API未提供的特殊计算。这就需要使用映射和取消映射函数。 #### 2. 与外部源的高效数据输入输出 在视觉处理中，大部分高容量数据位于输入侧，例如高分辨率视频捕获。视觉处理的输出通常数据量要小得多，例如分类标签或电机命令。不过，如果应用程序所需的输出是高分辨率带注释的视频，这些函数也可用于输出侧。下面以相机输入为例进行说明，但相同的原则和函数也适用于输出数据。 OpenVX提供了两个函数来实现从相机等捕获设备的高效数据输入，以及次要的向显示器等输出设备的数据输出，分别是`vxCreateImageFromHandle`和`vxSwapImageHandle`。 - **`vxCreateImageFromHandle`函数**：该函数创建一个OpenVX `vx_image`数据结构，该结构引用相机的像素数据，但不进行复制。这使得下游的OpenVX处理可以直接从相机放置数据的内存缓冲区中获取像素数据，而无需将整个图像从相机内存区域复制到OpenVX内存区域的中间“导入”步骤。 其函数原型如下： ```c vx_image vxCreateImageFromHandle( vx_context context, vx_df_image color, const vx_imagepatch_addressing_t addrs[], void* const ptrs[], vx_enum memory_type); ``` 参数说明： | 参数 | 说明 | | ---- | ---- | | `context` | 用于创建结果图像对象的`vx_context`。 | | `color` | 一个`vx_df_image`代码，指示图像中每个像素的格式。例如，若相机可配置为输出8位灰度图像，可使用`VX_DF_IMAGE_U8`。 | | `addrs` | 一个`vx_imagepatch_addressing_t`数据结构，描述输入缓冲区中像素数据的组织方式。 | | `ptrs` | 指向相机实际像素数据的内存指针数组，每个平面一个指针。对于单平面U8图像，只有一个指向左上角像素的指针。 | | `memory_type` | 像素位置的内存类型，通常为`VX_MEMORY_TYPE_HOST`。 | `vx_imagepatch_addressing_t`结构的定义如下： ```c typedef struct _vx_imagepatch_addressing_t { vx_uint32 dim_x; vx_uint32 dim_y; vx_int32 stride_x; vx_int32 stride_y; vx_uint32 scale_x; vx_uint32 scale_y; vx_uint32 step_x; vx_uint32 step_y; vx_uint16 stride_x_bits; } vx_imagepatch_addressing_t; ``` 各字段说明： | 字段 | 说明 | | ---- | ---- | | `dim_x` | 捕获图像的宽度（像素）。 | | `dim_y` | 捕获图像的高度（像素）。 | | `stride_x` | 水平方向相邻像素之间的字节距离。对于U8图像，通常为1。 | | `stride_y` | 垂直方向相邻像素之间的字节距离。对于U8图像，通常等于图像的宽度。 | | `scale_x` 和 `scale_y` | 用于多平面图像中不同尺寸平面的缩放参数。对于单平面U8图像，设置为1。 | | `step_x` 和 `step_y` | 步长参数。对于单平面U8图像，设置为1。 | | `stride_x_bits` | 仅用于二进制（`VX_DF_IMAGE_U1`）图像，这里可忽略。 | 下面是一个使用双缓冲创建OpenVX `vx_image`对象数组的示例： ```c const int NUM_PLANES = 1; const int NUM_BUFFERS = 2; void* cam_ptr[NUM_BUFFERS][NUM_PLANES]; vx_image cam_image[NUM_BUFFERS]; // 填充cam_ptr指针，需参考图像捕获系统文档确定相机缓冲区位置 vx_imagepatch_addressing_t cam_addr[NUM_PLANES]; cam_addr[0].dim_x = w_in; cam_addr[0]. ```