一、目标检测基础： 任务定义 基本检测流程

二、深度目标检测： 两阶段检测器：R-CNN系列，后续相关工作 单阶段监测器：YOLO,SSD,RetinaNet

三、目标检测评价： 评价方式 数据集和比较方法

1、任务定义： 目标检测：

• 输入：图像或者图像序列

• 对于类型的检测任务可以细分为： （1）单类目标跟踪，多类/同用目标检测 （2）静态图像目标检测，视频目标检测

• 分类任务： 判断给定的候选区域中是否包含待检测类别的物体 （1）、生成候选区域：确定搜索范围 （2）、提取区域特征：将候选区域表示为定长向量（由于分类器需要相同大小相同长度的向量作为输入） （3）、对区域进行分类：确定是否包含物体及其所属的类别 （4）、后处理：对重叠较多的框进行合并（希望同一个物体上只有一个检测框）

1、两阶段检测器 （1）生成可能包含物体的候选区域Region Proposal （2）对候选区域做进一步分类校准，得到最终的检测结果

下边详解讲述R-CNN系列：

R-CNN—>(SPP-net）---->Fast R-CNN—>Faster R-CNN

• 后续工作： OHEM(2016)：训练过程中引入难例挖掘策略 R-FCN(2016)：针对ResNet优化检测器结构进一步加速 FPN(2016)：构造特征金字塔提升尺度鲁棒性 DCN(2017)：设计可变形卷积和RolPooling提升形变鲁棒性 Mask R-CNN(2017)：引入实例分割进行多任务协同 …

第三步：对区域进行分类+边框校准

对区域进行分类可以选择SVM或者Softmax： 1、线性SVM分类器（默认是使用SVM）：

• 针对每个类别单独训练
• 两类分类：one-vs-all

• R-CNN和SPP-net的训练都包含多个单独的步骤 （1）对网络进行微调： R-CNN对整个CNN进行微调 SPP-net只对SPP之后的（全连接）层进行微调 （2） 训练SVM （3）训练边框回归模型

  但是缺点很明显： （1）时间长：需要用CNN提取所有训练样本的特征 （2）占用存储空间大：所有样本的特征需要存储到磁盘 （3）检测速度慢，尤其是R-CNN， R-CNN+VGG16:检测一张图需要47s

接下来就引出了Fast R-CNN

问题：

• 交替式4步法训练 （1）基于预训练模型训练RPN （2）基于预训练模型，以及上一步得到的RPN，训练Fast R-CNN （3）固定共享的卷积层，训练RPN （4）固定共享的卷积层，基于上一步得到的RPN，训练Fast R-CNN
• 端到端训练（基本选择端到端） （1）同时学习RPN和分类网络 （2）分类网络的梯度不向RPN回传

Faster R-CNN训练结果：

下边对R-CNN—>(SPP-net）---->Fast R-CNN—>Faster R-CNN进行一个总结

后续相关工作：

• 更快：R-FCN（2016）
• 更准：FPN（2016）
• 更多任务：Mask R-CNN（2017）
• …

接下来对上述几种方法进行一个总结：

单阶段检测器特点：

（1）直接给出最终的检测结果 （2）没有显示的生成候选区域的步骤

概述： （1）YOLO

• 网格式的检测方式
• 综合整张图的信息预测各个位置的物体
• YOLO（2015），YOLO9000（2016）

（2）SSD

• 吸纳两阶段检测器的优秀设计，并进行改良
• SSD（2015），DSSD（2017）

（3）RetinaNet

• 大幅度提升单阶段检测器的精度

下边进行简单介绍：

（1）YOLO:

YOLO的核心思想就是利用整张图作为网络的输入，直接在输出层回归bounding box的位置和bounding box所属的类别。faster RCNN中也直接用整张图作为输入，但是faster-RCNN整体还是采用了RCNN那种 proposal+classifier的思想，只不过是将提取proposal的步骤放在CNN中实现了。

2.YOLO的实现方法

• 每个bounding box要预测(x, y, w, h)和confidence共5个值，每个网格还要预测一个类别信息，记为C类。则SxS个网格，每个网格要预测B个bounding box还要预测C个categories。输出就是S x S x (5*B+C)的一个tensor。

注意：class信息是针对每个网格的，confidence信息是针对每个bounding box的。

举例说明:

• 等式左边第一项就是每个网格预测的类别信息，第二三项就是每个bounding box预测的confidence。这个乘积即encode了预测的box属于某一类的概率，也有该box准确度的信息。

• 得到每个box的class-specific confidence score以后，设置阈值，滤掉得分低的boxes，对保留的boxes进行NMS处理，就得到最终的检测结果。

• 难例挖掘：选择较难的反例，反例数量不超过正例数量的3倍
• 数据增广：对原图进行随机Crop，在物体周围Crop，随机翻转

下边是引用https://blog.csdn.net/zhangjunp3/article/details/80597312中的论文，讲解的更加详细。

• 1.采用多尺度特征图用于检测

• 2.用卷积进行检测

与Yolo最后采用全连接层不同，SSD直接采用卷积对不同的特征图来进行提取检测结果。对于形状为 m x n x p 的特征图，只需要采用 3 x 3 x p 这样比较小的卷积核得到检测值。

• 3.设置先验框

实验： 1、实现细节的影响：

下边引出DSSD:：Deconvolutional Single-Shot Detector

三、目标检测评价：

• 评价方式
• 数据集和比较方法

1、评价方式

检测框匹配：

• 匹配策略 1、贪心算法 按照得分从高到低顺序遍历，搜索满足交并比阈值的检测框 大部分数据集采用这种方式进行评测 2、匈牙利算法（用得很少） 将匹配建模成一个分配问题：最大化总的交并比 FDDB人脸检测数据集采用这种方式对检测框进行匹配

• 按条件匹配/忽略框 例如：评测某个尺度范围的检测精度，检测到了不算对，漏检了也不算错

• 准确率 Accuracy：Acc=(TP+TN)/S
• 误检率 False Positive Rate/False Alarm Rate: FPR=FP/NF 平均每图误检数目 False Positive per Image：FPPI = FP / {Image} 宗误检数目 ： FP
• 召回率 ：Recall = TP/NT
• 漏检率 ：MR = 1- Recall
• 精确率： Prec = TP / MT
• ROC曲线 横轴：总误检数目，平均每图误检数目 纵轴：召回率，漏检率
• PR曲线 横轴：召回率 纵轴：精确率
• 平均精确率 AP：不同召回率下的平均 均匀地选择11个不同的召回率：Recall—>{0，0.1,0.2…,0.9} 计算PR曲线下的面积 mAP:不同类别下的平均 mmAP:不同IOU阈值下的平均（很少使用）

数据集 & 方法比较

多类/通用目标检测

• MS COCO（难度最大，截至2017只能达到52.6%的精确度） 类别数量：80，规模：100000图/1000000物体 目前难度最大的目标检测数据集

• 单类目标检测 1、人脸检测：FDDB,Wider Face 2、行人检测：Caltech Pedestrian，CityPersons(2017发布) 3、车辆检测：UA-DETRAC

三部分内容：

• 任务定义，基本流程
• 两类基于深度学习的目标检测器 两阶段，单阶段
• 评价方式，数据集