TensorFlow Object Detection训练自己的数据集过程、遇到的问题和解决
前言
参考网络上的一些教程,使用TensorFlow Object Detection训练自己的数据集,在此做一下记录。主要参考文章为 https://www.jianshu.com/p/86894ccaa407/。
一、数据集准备
我的原有数据集为VOC格式,标注文件格式为xml,需要先将其转换为csv文件,再转换为TensorFlow可读取的tfrecord文件。
两步转换的py文件由TensorFlow提供,参考前面的文章,对该py文件进行一定的修改。
创建文件夹
创建工程目录,在其中依次创建以下文件夹:
JPEGImages:存储图片
Annotations:存储xml文件
data:将来用于存储生成的训练与测试的csv文件和record文件
training:存储模型config文件和存储标签的pbtxt文件
out:将来用于存储程序训练过程中的输出
xml转csv
将xml_to_csv.py拷贝至工程目录下,运行程序,生成的train.csv和val.csv文件默认放在同级目录下,将二者拷贝至data文件夹中。
之前遇到过由于创建存储xml文件的Annotations文件夹名称与xml_to_csv.py中image_path = os.path.join(os.getcwd(), 'Annotations')
这行语句中所定义的文件夹名不匹配,而造成生成的csv文件及其后的record文件均为空,导致程序训练时既不报错,又卡在successfully opened CUDA library libcublas.so.10.0 local
这句不动的问题,需要特别注意。
csv转record
同样地,将generate_tfrecord.py 也拷贝至工程目录下,运行程序。以下参数需根据自己的情况修改,也可以作为程序的输入,在Edit Configurations里的Parameters中添加,或使用Terminal运行时将输入参数附在python xxx.py后面。
flags.DEFINE_string('csv_input', '', 'Path to the CSV input')
flags.DEFINE_string('images_input', '', 'Path to the images input')
flags.DEFINE_string('output_path', '', 'Path to output TFRecord')
flags.DEFINE_string('label_map_path',