• 视觉目标检测算法基准测试
• 基准测试方法

视觉目标检测算法基准测试

视觉目标检测算法基准测试用于测试计算机视觉目标检测算法在城市治理应用场景中的性能。

基准测试方法

1. 在OpenI启智AI协作平台新建项目仓库。

2. 上传算法程序至项目仓库。算法程序根目录需包含训练程序（train.py）和测试程序（test.py）。如下所示。

   ├── test.py
   └── train.py
   

   其中train.py需包含以下模块函数。

   def train(config_file_path: str):
       ...
   

   其中test.py需包含以下模块函数。

   def test(config_file_path: str):
       ...
   

   其中config_file_path为YAML格式的配置文件的路径。配置文件内容如以下示例所示。

   # 测试程序的输入
   input:
       # 数据集
       dataset:
           # 图像文件夹
           image-root-dir: /dataset/transportation/images
           # 图像信息
           annotation:
               # 训练图像列表与标注
               train: /dataset/transportation/annotations/train.json
               # 验证图像列表与标注
               validation: /dataset/transportation/annotations/val.json
               # 测试图像列表, 无标注信息
               test: /dataset/transportation/annotations/test.json
   # 测试程序的输出
   output:
       # 存放最终算法模型的文件夹
       model-dir: /model/transportation
       # 存放测试集推理结果的文件，推理结果的格式与COCO数据集的标注格式相同
       inference-result-file: /output/result/transportation/test.json
       # 日志文件
       # 训练过程需按照以下格式打印时间信息到训练日志文件中。
       # 阶段               打印内容
       # 训练总耗时（分）    total train time: %.2f minutes
       # 训练总周期          total train epochs: %d epoch
       # 推理过程需按照以下格式打印检测所有图片所需的总预处理、推理、后处理时间到推理日志文件中。
       # 阶段      打印内容
       # 预处理总耗时（分）    total preprocess time: %.2f minutes
       # 推理总耗时（分）      total forward time: %.2f minutes
       # 后处理总耗时（分）    total postprocess time: %.2f minutes
       log-file: /output/log/transportation/log.txt
   

3. 点击项目仓库页面的云脑页。点击评测任务进入评测页面。如下图所示。

4. 点击评测页面的新建调试任务按钮进入新建任务页面。如下图所示。
   在新建任务页面中，GPU类型可以选择基准测试硬件环境。镜像可以输入Dockerhub的镜像的链接，或者从下拉列表选择已有镜像。完成上述各选项设置后点击新建任务按钮即可开始基准测试。

   注：

   （1）可以通过云脑->调试任务新建调试任务，点击调试按钮进入调试页面完成算法运行环境的配置，再点击提交镜像上传镜像。上传完成即可在评测任务使用该镜像。

   （2）配置运行环境时请通过以下命令安装pycocotools和prettytable依赖库。

   pip install "pycocotools>=2.0.0" -i https://pypi.douban.com/simple
   pip install "prettytable>=3.0.0" -i https://pypi.douban.com/simple
   

   （3） 数据集示例

5. 基准测试开始后，可点击任务名称查看基准测试实时运行日志。

6. 完成基准测试后，可点击基准测试排行榜按钮查看基准测试结果。