faster-rcnn流程（mmdetection）

参考：http://chr10003566.github.io/2019/12/03/mmdetection(2)/

part1 测试mmdetection（通过读取一张图片，显示效果）

demo.py

from mmdet.apis import init_detector, inference_detector, show_result_pyplot
import mmcv

config_file = '/home/ming/work/mmdetection/configs/faster_rcnn_r50_fpn_1x.py'
checkpoint_file = '/home/ming/work/mmdetection/checkpoints/faster_rcnn_r50_fpn_1x_20181010-3d1b3351.pth'

# build the model from a config file and a checkpoint file
model = init_detector(config_file, checkpoint_file, device='cuda:0')

# test a single image
img = 'demo.jpg'
result = inference_detector(model, img)

# show the results
show_result_pyplot(img, result, model.CLASSES)

1. init_detector 三个输入参数：

   config_file：检测模型的配置文件，一般位于 mmdetection/config/ 中
   checkpoint_file：即训练好的权重 在mmdetection的model zoo中可以下载
   device：分配到的设备对象
   返回：model（检测模型）

2. inference_detector 两个输入参数：

   model: init_detector返回的model
   imgs: 图像的路径
   返回：图像测试的结果

3. show_result_pyplot 三个输入参数：
   img :图像的路径（字符串）
   result：inference_detector的返回值
   model.CLASSES：训练图像的类别名称

part2 训练与配置文件

# model settings
model = dict(
    type='FasterRCNN',                          # model类型
    pretrained='torchvision://resnet50',        # 预训练模型
    backbone=dict(
        type='ResNet',                          # backbone类型
        depth=50,                               # 网络层数
        num_stages=4,                           # rsenet的stage数量
        out_indices=(0, 1, 2, 3),               # 输出的stage序号
        frozen_stages=1,                        # 冻结的stage数量，即该stage不更新参数。-1表示所有的stage都更新参数
        norm_cfg=dict(type='BN', requires_grad=True),     # 传递梯度，更新weight和bias
        style='pytorch'),                       # 网络风格：如果设置为pytorch，那么stride为2的层是conv3*3卷积。如果设置为caffe，则stride为2的层是第一个conv1x1的卷积层
    neck=dict(
        type='FPN',                             # neck类型
        in_channels=[256, 512, 1024, 2048],     # 输入的各个stage的通道数
        out_channels=256,                       # 输出的特征层的通道数
        num_outs=5),                            # 输出的特征层的数量
    rpn_head=dict(
        type='RPNHead',                         # RPN网络类型
        in_channels=256,                        # RPN网络的通道数
        feat_channels=256,                      # 特征层的通道数
        anchor_scales=[8],                      # 生成的anchor的baselen，baselen=sqrt(w*h);w,h为anchor的width，height。
        anchor_ratios=[0.5, 1.0, 2.0],          # anchor的宽高比
        anchor_strides=[4, 8, 16, 32, 64],      # 对应于原图，每个特征层上的 anchor的步长
        target_means=[.0, .0, .0, .0],          # 均值
        target_stds=[1.0, 1.0, 1.0, 1.0],       # 方差
        loss_cls=dict(
            type='CrossEntropyLoss', use_sigmoid=True, loss_weight=1.0),    # 是否使用sigmoid来进行分类，如果False则使用softmax来分类
        loss_bbox=dict(type='SmoothL1Loss', beta=1.0 / 9.0, loss_weight=1.0)),
    bbox_roi_extractor=dict(
        type='SingleRoIExtractor',              # RoIExtractor类型
        roi_layer=dict(type='RoIAlign', out_size=7, sample_num=2),    # RoI具体参数：ROI类型为ROIalign，输出尺寸为7，sample数为2
        out_channels=256,                       # 输出通道数
        featmap_strides=[4, 8, 16, 32]),        # 特征图步长
    bbox_head=dict(
        type='SharedFCBBoxHead',                # 全连接层类型
        num_fcs=2,                              # 全连接层数量
        in_channels=256,                        # 输入通道数
        fc_out_channels=1024,                   # 输出通道数
        roi_feat_size=7,                        # ROI特征层size
        num_classes=81,                         # 分类器的类别数量+1，+1是因为背景类
        target_means=[0., 0., 0., 0.],          # 均值
        target_stds=[0.1, 0.1, 0.2, 0.2],       # 方差
        reg_class_agnostic=False,               # 是否采用class-agnostic的方式来预测；class_agnostic表示输出bbox时只考虑其是否为前景，后续分类的时候再根据该bbox在网络中的类别得分来分类，也就是说一个框可以对应多个类别
        loss_cls=dict(
            type='CrossEntropyLoss', use_sigmoid=False, loss_weight=1.0),
        loss_bbox=dict(type='SmoothL1Loss', beta=1.0, loss_weight=1.0)))
# model training and testing settings
train_cfg = dict(
    rpn=dict(
        assigner=dict(
            type='MaxIoUAssigner',              # RPN网络的正负样本划分
            pos_iou_thr=0.7,                    # 正样本的iou阈值
            neg_iou_thr=0.3,                    # 负样本的iou最小值
            min_pos_iou=0.3,                    # 正样本的iou最小值。如果assign给ground truth的anchors中最大的IOU低于0.3，则忽略所有的anchors，否则保留最大IOU的anchor
            ignore_iof_thr=-1),                 # 忽略bbox的阈值。当ground truth中包含需要忽略的bbox时使用，-1表示不忽略
        sampler=dict(
            type='RandomSampler',               # 正负样本提取器类型
            num=256,                            # 需提取的正负样本数量
            pos_fraction=0.5,                   # 正样本比例
            neg_pos_ub=-1,                      # 最大负样本比例，大于该比例的负样本忽略。-1表示不忽略
            add_gt_as_proposals=False),         # 把ground truth 加入 proposal作为正样本
        allowed_border=0,                       # 允许bbox周围外扩一定的像素
        pos_weight=-1,                          # 正样本权重，-1表示不改变原始权重
        debug=False),                           # debug模式
    rpn_proposal=dict(
        nms_across_levels=False,
        nms_pre=2000,
        nms_post=2000,
        max_num=2000,
        nms_thr=0.7,
        min_bbox_size=0),
    rcnn=dict(
        assigner=dict(
            type='MaxIoUAssigner',              # rcnn网络正负样本划分
            pos_iou_thr=0.5,                    # 正样本的iou阈值
            neg_iou_thr=0.5,                    # 负样本的iou阈值
            min_pos_iou=0.5,                    # 正样本的iou最小值。如果assign给ground truth的anchors中最大的IOU低于0.3，则忽略所有的anchors，否则保留最大IOU的anchor
            ignore_iof_thr=-1),                 # 忽略bbox的阈值。当ground truth中包含需要忽略的bbox时使用，-1表示不忽略
        sampler=dict(
            type='RandomSampler',               # 正负样本提取器类型
            num=512,                            # 需要提取的正负样本数量
            pos_fraction=0.25,                  # 正样本比例
            neg_pos_ub=-1,                      # 最大负样本比例，大于该比例的负样本忽略，-1表示不忽略
            add_gt_as_proposals=True),          # 把 ground truth加入proposal作为正样本
        pos_weight=-1,                          # 正样本权重，-1表示不改变原始的权重
        debug=False))                           # debug模式
test_cfg = dict(
    rpn=dict(                                   # 推断时的rpn参数
        nms_across_levels=False,                # 在所有的fpn层内做nms
        nms_pre=1000,                           # 在nms之前保留的的分最高的proposal数量
        nms_post=1000,                          # 在nms之后保留的得分最高的proposal数量
        max_num=1000,                           # 在后处理完成之后保留的proposal数量
        nms_thr=0.7,                            # nms阈值
        min_bbox_size=0),                       # 最小bbox的size
    rcnn=dict(
        score_thr=0.05, nms=dict(type='nms', iou_thr=0.5), max_per_img=100)   # max_per_img表示最终输出的det bbox数量
    # soft-nms is also supported for rcnn testing
    # e.g., nms=dict(type='soft_nms', iou_thr=0.5, min_score=0.05)            # soft-nms参数
)
# dataset settings
dataset_type = 'CocoDataset'                    # 数据集类型
data_root = 'data/coco/'                        # 数据集根目录
img_norm_cfg = dict(
    mean=[123.675, 116.28, 103.53], std=[58.395, 57.12, 57.375], to_rgb=True)  #输入图像初始化，减去均值mean并处以方差std，to_rgb表示将bgr转为rgb
train_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(type='LoadAnnotations', with_bbox=True),
    dict(type='Resize', img_scale=(1333, 800), keep_ratio=True),    # 输入图片尺寸，最大边1333，最小边800。
    dict(type='RandomFlip', flip_ratio=0.5),
    dict(type='Normalize', **img_norm_cfg),
    dict(type='Pad', size_divisor=32),                              # 对图像进行resize时的最小单位，32表示所有的图像都会被resize成32的倍数
    dict(type='DefaultFormatBundle'),
    dict(type='Collect', keys=['img', 'gt_bboxes', 'gt_labels']),
]
test_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(
        type='MultiScaleFlipAug',
        img_scale=(1333, 800),
        flip=False,
        transforms=[
            dict(type='Resize', keep_ratio=True),
            dict(type='RandomFlip'),
            dict(type='Normalize', **img_norm_cfg),
            dict(type='Pad', size_divisor=32),
            dict(type='ImageToTensor', keys=['img']),
            dict(type='Collect', keys=['img']),
        ])
]
data = dict(
    imgs_per_gpu=2,                              # 每个gpu计算的图像数量
    workers_per_gpu=2,                           # 每个gpu分配的线程数量
    train=dict(
        type=dataset_type,                       # 数据集类型
        ann_file=data_root + 'annotations/instances_train2017.json',    # 数据集annotation路径
        img_prefix=data_root + 'train2017/',     # 数据集的图片路径
        pipeline=train_pipeline),
    val=dict(                                    # val、test 同上
        type=dataset_type,
        ann_file=data_root + 'annotations/instances_val2017.json',
        img_prefix=data_root + 'val2017/',
        pipeline=test_pipeline),
    test=dict(
        type=dataset_type,
        ann_file=data_root + 'annotations/instances_val2017.json',
        img_prefix=data_root + 'val2017/',
        pipeline=test_pipeline))
evaluation = dict(interval=1, metric='bbox')
# optimizer
optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)    # 优化参数
optimizer_config = dict(grad_clip=dict(max_norm=35, norm_type=2))    # 梯度均衡参数
# learning policy
lr_config = dict(
    policy='step',                                # 优化策略
    warmup='linear',                              # 初始化的learning-rate增加的策略，linear为线性增加
    warmup_iters=500,                             # 在初始的500次迭代中learning-rate 逐渐增加
    warmup_ratio=1.0 / 3,                         # original learning-rate
    step=[8, 11])                                 # 在第8和11个epoch时降低learning-rate
checkpoint_config = dict(interval=1)              # 每1个epoch存储一次模型
# yapf:disable
log_config = dict(
    interval=50,                                  # 每50个batch输出一次信息
    hooks=[
        dict(type='TextLoggerHook'),              # 控制台输出信息的风格
        # dict(type='TensorboardLoggerHook')
    ])
# yapf:enable
# runtime settings
total_epochs = 12                                 # 最大epoch数
dist_params = dict(backend='nccl')                # 分布式参数
log_level = 'INFO'                                # 输出信息的完整度级别
work_dir = './work_dirs/faster_rcnn_r50_fpn_1x'   # log文件和模型文件存储路径
load_from = None                                  # 加载模型的路径，None表示从预训练模型加载
resume_from = None                                # 恢复训练模型的路径
workflow = [('train', 1)]                         # 当前工作区名称