新闻: 我们发布了版本 v0.18.0.
另外,我们在 v1.0.0.dev0 分支初步支持了多个新模型,包括 DGCNN, SMOKE 和 PGD。
说明:我们正在进行大规模的重构,以提供对许多模块更简单、更统一的使用。因此,在接下来的几个月里,很少有功能会添加到主分支中。
由于坐标系的统一和简化,模型的兼容性会受到影响。目前,大多数模型都以类似的性能对齐了精度,但仍有少数模型在进行基准测试。
如果您感兴趣,可以开始使用 v1.0.0.dev0 分支进行实验。请注意,我们的新功能将只支持在 v1.0.0 分支。
在第三届 nuScenes 3D 检测挑战赛(第五届 AI Driving Olympics, NeurIPS 2020)中,我们获得了最佳 PKL 奖、第三名和最好的纯视觉的结果,相关的代码和模型将会在不久后发布。
最好的纯视觉方法 FCOS3D 的代码和模型已经发布。请继续关注我们的多模态检测器 MoCa。
文档: https://mmdetection3d.readthedocs.io/
简介
English | 简体中文
主分支代码目前支持 PyTorch 1.3 以上的版本。
MMDetection3D 是一个基于 PyTorch 的目标检测开源工具箱, 下一代面向3D检测的平台. 它是 OpenMMlab 项目的一部分,这个项目由香港中文大学多媒体实验室和商汤科技联合发起.
主要特性
-
支持多模态/单模态的检测器
支持多模态/单模态检测器,包括 MVXNet,VoteNet,PointPillars 等。
-
支持户内/户外的数据集
支持室内/室外的3D检测数据集,包括 ScanNet, SUNRGB-D, Waymo, nuScenes, Lyft, KITTI.
对于 nuScenes 数据集, 我们也支持 nuImages 数据集.
-
与 2D 检测器的自然整合
MMDetection 支持的300+个模型 , 40+的论文算法, 和相关模块都可以在此代码库中训练或使用。
-
性能高
训练速度比其他代码库更快。下表可见主要的对比结果。更多的细节可见基准测评文档。我们对比了每秒训练的样本数(值越高越好)。其他代码库不支持的模型被标记为 ×
。
Methods |
MMDetection3D |
OpenPCDet |
votenet |
Det3D |
VoteNet |
358 |
× |
77 |
× |
PointPillars-car |
141 |
× |
× |
140 |
PointPillars-3class |
107 |
44 |
× |
× |
SECOND |
40 |
30 |
× |
× |
Part-A2 |
17 |
14 |
× |
× |
和 MMDetection,MMCV 一样, MMDetection3D 也可以作为一个库去支持各式各样的项目.
开源许可证
该项目采用 Apache 2.0 开源许可证。
更新日志
最新的版本 v0.18.0 在 2022.1.1 发布。
如果想了解更多版本更新细节和历史信息,请阅读更新日志。
对于分支 v1.0.0.dev0 ,请参考 v1.0 更新日志 来了解我们的最新功能和更多细节。
基准测试和模型库
测试结果和模型可以在模型库中找到。
已支持的骨干网络:
已支持的算法:
|
ResNet |
ResNeXt |
SENet |
PointNet++ |
HRNet |
RegNetX |
Res2Net |
SECOND |
☐ |
☐ |
☐ |
✗ |
☐ |
✓ |
☐ |
PointPillars |
☐ |
☐ |
☐ |
✗ |
☐ |
✓ |
☐ |
FreeAnchor |
☐ |
☐ |
☐ |
✗ |
☐ |
✓ |
☐ |
VoteNet |
✗ |
✗ |
✗ |
✓ |
✗ |
✗ |
✗ |
H3DNet |
✗ |
✗ |
✗ |
✓ |
✗ |
✗ |
✗ |
3DSSD |
✗ |
✗ |
✗ |
✓ |
✗ |
✗ |
✗ |
Part-A2 |
☐ |
☐ |
☐ |
✗ |
☐ |
✓ |
☐ |
MVXNet |
☐ |
☐ |
☐ |
✗ |
☐ |
✓ |
☐ |
CenterPoint |
☐ |
☐ |
☐ |
✗ |
☐ |
✓ |
☐ |
SSN |
☐ |
☐ |
☐ |
✗ |
☐ |
✓ |
☐ |
ImVoteNet |
✗ |
✗ |
✗ |
✓ |
✗ |
✗ |
✗ |
FCOS3D |
✓ |
☐ |
☐ |
✗ |
☐ |
☐ |
☐ |
PointNet++ |
✗ |
✗ |
✗ |
✓ |
✗ |
✗ |
✗ |
Group-Free-3D |
✗ |
✗ |
✗ |
✓ |
✗ |
✗ |
✗ |
ImVoxelNet |
✓ |
✗ |
✗ |
✗ |
✗ |
✗ |
✗ |
PAConv |
✗ |
✗ |
✗ |
✓ |
✗ |
✗ |
✗ |
其他特性
注意: MMDetection 支持的基于2D检测的300+个模型 , 40+的论文算法在 MMDetection3D 中都可以被训练或使用。
安装
请参考快速入门文档进行安装。
快速入门
请参考快速入门文档学习 MMDetection3D 的基本使用。 我们为新手提供了分别针对已有数据集和新数据集的使用指南。我们也提供了一些进阶教程,内容覆盖了学习配置文件, 增加数据集支持, 设计新的数据预处理流程, 增加自定义模型, 增加自定义的运行时配置和 Waymo 数据集.
请参考 FAQ 查看一些常见的问题与解答。在升级 MMDetection3D 的版本时,请查看兼容性文档以知晓每个版本引入的不与之前版本兼容的更新。
引用
如果你觉得本项目对你的研究工作有所帮助,请参考如下 bibtex 引用 MMdetection3D
@misc{mmdet3d2020,
title={{MMDetection3D: OpenMMLab} next-generation platform for general {3D} object detection},
author={MMDetection3D Contributors},
howpublished = {\url{https://github.com/open-mmlab/mmdetection3d}},
year={2020}
}
贡献指南
我们感谢所有的贡献者为改进和提升 MMDetection3D 所作出的努力。请参考贡献指南来了解参与项目贡献的相关指引。
致谢
MMDetection3D 是一款由来自不同高校和企业的研发人员共同参与贡献的开源项目。我们感谢所有为项目提供算法复现和新功能支持的贡献者,以及提供宝贵反馈的用户。我们希望这个工具箱和基准测试可以为社区提供灵活的代码工具,供用户复现已有算法并开发自己的新的 3D 检测模型。
OpenMMLab 的其他项目
欢迎加入 OpenMMLab 社区
扫描下方的二维码可关注 OpenMMLab 团队的 知乎官方账号,加入 OpenMMLab 团队的 官方交流 QQ 群
我们会在 OpenMMLab 社区为大家
- 📢 分享 AI 框架的前沿核心技术
- 💻 解读 PyTorch 常用模块源码
- 📰 发布 OpenMMLab 的相关新闻
- 🚀 介绍 OpenMMLab 开发的前沿算法
- 🏃 获取更高效的问题答疑和意见反馈
- 🔥 提供与各行各业开发者充分交流的平台
干货满满 📘,等你来撩 💗,OpenMMLab 社区期待您的加入 👬