UI2CODE系列文章|如何提高“小目标”检测准确率

背景

  在计算机视觉领域，存在一个“小目标”检测任务，比如自动驾驶中的交通灯，或者医学图像中的早期肿块。“小目标”的正确检出能极大地提高用户体验，促进自动化行业的发展。UI2CODE是闲鱼技术部推出的一个应用工具。通过对页面ui元素的自动解析并自动生成相关代码，UI2CODE能提高工程师的开发效率。ui元素的自动解析部分采用计算机视觉技术来识别ui元素的类别和位置，其作为整体流程的第一步决定了后续代码生成的准确性以及用户使用的体感。页面中存在的一些“小目标”ui元素，比如下图a)页面卡片中的价格组件和芝麻信用图标等，b)页面卡片中“三个点”表示的图标。还有其他一些小目标比如文字、特殊的符号也会出现在页面中，小目标漏检或者误检都会导致后续代码生成的错误。

挑战

  根据coco数据集的定义，像素面积小于32x32的物体为小目标物体，像素面积介于32x32与96x96之间的物体为中目标物体，像素面积大于96x96的物体为大目标物体。小目标检测的挑战包括：

1. 类别不均衡。页面中小目标物体相对于其他中、大目标物体占比较少。类别不均衡的问题会导致模型训练过程中损失函数学到的信息更偏向占比多的中、大目标物体。

2. 特征丢失。基于深度学习的目标检测算法为了检测更多复杂的特征往往会加深或加宽网络，同时为了减少计算量以及增加位移不变特性，网络中常常增加池化层。池化层下采样过程不可避免地会丢失部分或者全部小目标特征信息。

3. 定位精度。模型预测框在有相同偏差时，偏差给小目标iou(预测框和标准框面积的交并比)带来的影响要比中、大目标iou带来的影响要大的多，因为小目标预测框只要偏移一点点，iou就降低很多。

小目标检测存在的挑战会导致模型检测结果精确率和召回率下降，