• 基于自监督和光流信息的移动机器人检测
• 一、数据集简介
• 二、生成光流信息
• 三、生成目标检测伪标签
• 四、数据集定义与加载
• 五、模型组网
• 六、模型训练
• 七、模型验证

基于自监督和光流信息的移动机器人检测

在数据爆炸的时代，深度学习模型可以很好地挖掘出大数据中潜在的信息，但是目前的监督学习方法需要大量的有标签数据才能训练出较好的模型。我们可以从光流信息中挖掘监督信息，从而自监督地实现移动机器人检测。

b站视频链接：https://www.bilibili.com/video/BV1HS4y1u7GJ/

注：可前往AI Studio快速运行运行此项目：https://aistudio.baidu.com/aistudio/projectdetail/3589023

参考资料：

• 基于自监督学习的目标检测伪标签生成
• 动手学深度学习paddlepaddle复现 by bnmvv5

一、数据集简介

本项目使用的移动机器人是大疆的EP机器人，如左图所示。采集数据时使用2台EP机器人，其中一台机器人负责采集数据，另一台机器人负责在场地中运动，如右图所示。

该数据集中包含500张连续帧的图像，用于检测光流信息以及训练目标检测模型。

本项目使用的数据集已上传至AI Studio数据集：

• 移动机器人时序数据集

二、生成光流信息

这里使用Gunnar Farneback算法计算稠密光流，相关论文为《Two-Frame Motion Estimation Based on PolynomialExpansion》

在Opencv中，cv2.calcOpticalFlowFarneback()函数实现了Gunnar Farneback算法。

光流是由物体或相机的运动引起的图像对象在两个连续帧之间的视在运动模式，我们用相邻的两帧RGB图像生成光流，生成的光流如下图所示：

三、生成目标检测伪标签

因为相邻帧之间RGB图像的变化不明显，因此我们利用光流信息生成目标检测伪标签。

生成的伪标签如下图所示：

四、数据集定义与加载

读取数据集中的RGB图像以及刚刚生成的伪标签。

五、模型组网

这里使用简单的SSD单发多框检测模型，该模型由五个模块组成，每个模块生成的特征图既用于生成锚框，又用于预测这些锚框的类别和偏移量。

在这五个模块中，第一个是基本网络块，基本网络块用于从输入图像中抽取特征，该网络串联3个高和宽减半块，并逐步将通道数翻倍；第二个到第四个是高和宽减半块；最后一个模块使用全局最大池将高度和宽度都降到1。

六、模型训练

定义随机梯度下降优化器以及两个损失函数：交叉熵损失函数和$L_1$范数损失

七、模型验证

测试并可视化模型输出结果。