#AI Benchmark使用说明

设置输入数据类型，支持类型可参考 hbDNNDataType小节。
对应数据类型由上到下排序，分别对应数字0,1,2...
如HB_DNN_TENSOR_TYPE_S4对应数字0，
HB_DNN_TENSOR_TYPE_U4对应数字1，
HB_DNN_TENSOR_TYPE_S8对应数字2...

设置预加载的数据个数。
请注意：
此参数生效时会预处理图片并读取到内存中，为保障您的程序稳定运行，请不要设置过大的值，建议您的数值设置不超过30。

• core：设置推理core id。
• model_file：指定模型文件。

VOC

数据集

用于使用 VOC2012 数据集的检测模型的评测。

1. 下载及参考下载结构可参考 如何准备数据集 章节。 示例中主要用到 Main 文件下的val.txt文件，JPEGImages 中的源图片和 Annotations 中的标注数据。

2. 数据集预处理方式示例：

COCO

数据集

用于使用 coco_val2017 数据集的检测模型的评测。

1. 下载及参考下载结构可参考 如何准备数据集 章节。 示例中主要用到 annotations 文件夹下的instances_val2017.json标注文件和 images 中的图片。

2. 数据集预处理方式示例：

ImageNet

数据集

用于使用 imagenet 数据集的分类模型的评测。

1. 下载及参考下载结构可参考 如何准备数据集 章节。 示例中主要用到标注文件val.txt 和 val 目录中的源图片。

2. 数据集预处理方式示例：

Cityscapes

数据集

用于使用 cityscapes 数据集的分割模型的评测。

1. 下载及参考下载结构可参考 如何准备数据集 章节。 示例中主要用到 ./gtFine/val 中的标注文件和 ./leftImg8bit/val 中的源图片。

2. 数据集预处理方式示例：

ImageNet

数据集

用于QAT分类模型mixvargenet_imagenet、mobilenetv1_imagenet、mobilenetv2_imagenet、resnet18_imagenet、resnet50_imagenet、horizon_swin_transformer_imagenet、vit_small_imagenet和vargnetv2_imagenet的评测。

数据集预处理方式：

COCO

数据集

用于QAT检测模型fcos_efficientnetb0_mscoco, detr_resnet50_mscoco, detr_efficientnetb3_mscoco 和 deform_detr_resnet50_mscoco的评测。

数据集预处理方式：

• fcos_efficientnetb0_mscoco

  python3 fcos_process.py --image-path=./mscoco/images/val2017/ \ --label-path=./mscoco/images/annotations/instances_val2017.json \ --save-path=./pre_fcos_efficientnetb0_mscoco

• detr_resnet50_mscoco, detr_efficientnetb3_mscoco, deform_detr_resnet50_mscoco

  python3 detr_process.py --image-path=./mscoco/images/val2017/ \ --label-path=./mscoco/images/annotations/instances_val2017.json \ --save-path=./pre_detr

Cityscapes

数据集

Kitti3D

数据集

用于QAT检测模型pointpillars_kitti_car的评测。

1. 本数据集您可以于 Kitti3D数据集官网下载地址 下载，我们建议您下载以下压缩包，数据准备过程中如遇问题请联系地平线。

建议您将下载的数据集解压成如下结构：

2. 数据集预处理方式：

Culane

数据集

用于QAT检测模型ganet_mixvargenet_culane的评测。

1. 本数据集您可以于 Culane数据集官网下载地址下载，我们建议您下载以下压缩包，数据准备过程中如遇问题请联系地平线。

其中 annotations_new.tar.gz 需要最后解压，以对原始的注释文件进行更正，建议您将下载的数据集解压成如下结构：

2. 数据集预处理方式：

Nuscenes

数据集

用于QAT检测模型fcos3d_efficientnetb0_nuscenes，centerpoint_pointpillar_nuscenes，lidar多任务模型centerpoint_mixvargnet_multitask_nuscenes，bev模型bev_gkt_mixvargenet_multitask_nuscenes， bev_lss_efficientnetb0_multitask_nuscenes，bev_ipm_efficientnetb0_multitask_nuscenes，bev_ipm_4d_efficientnetb0_multitask_nuscenes，bevformer_tiny_resnet50_detection_nuscenes， detr3d_efficientnetb3_nuscenes，petr_efficientnetb3_nuscenes，在线建图模型maptroe_henet_tinym_bevformer_nuscenes和occ模型flashocc_henet_lss_occ3d_nuscenes的评测。

1. 本数据集您可以于 Nuscenes数据集官网下载地址 下载，我们建议您下载以下压缩包，数据准备过程中如遇问题请联系地平线。

对于lidar多任务模型，还需从官网下载lidar分割标签lidarseg，并按照nuscenes官网教程更新v1.0-trainval，建议您将下载的数据集解压成如下结构：

对于在线建图模型maptroe_henet_tinym_bevformer_nuscenes，还需从 OpenStreetMap官网 下载boston-seaport、singapore-onenorth、singapore-hollandvillage、singapore-queenstown地区.shp格式的地图文件。

对于Occupancy模型，还需从 CVPR2023-3D-Occupancy-Prediction官网 下载“gts”，建议您将下载的数据集组织为如下结构：

2. 数据集预处理方式：

请注意：

• fcos3d_process.py除了生成预处理图片外，还会对待使用的相机内参进行处理，生成相应的相机内参配置文件。
• centerpoint_preprocess.py，bev_preprocess.py和lidar_preprocess.py除了生成预处理数据外，还会在预处理数据路径下生成一个 val_gt_infos.pkl 文件用于精度计算。
• maptr_preprocess.py除了生成预处理数据外，还会在预处理数据路径下生成一个 nuscenes_map_anns_val.json 文件作为真实标签用于精度计算。此外，需要通过 --model 指定模型的名称，可选项有maptroe_henet_tinym_bevformer_nuscenes。
• bev_preprocess.py需要通过 --model 指定模型的名称，可选项有bev_gkt_mixvargenet_multitask_nuscenes，bev_lss_efficientnetb0_multitask_nuscenes， bev_ipm_efficientnetb0_multitask_nuscenes，bev_ipm_4d_efficientnetb0_multitask_nuscenes，bevformer_tiny_resnet50_detection_nuscenes， detr3d_efficientnetb3_nuscenes，petr_efficientnetb3_nuscenes,flashocc_henet_lss_occ3d_nuscenes。

参考命令如下：

• fcos3d_efficientnetb0_nuscenes

  python3 fcos3d_process.py --src-data-dir=./Nuscenes \ --file-path=../../script/config/model/data_name_list/nuscenes_names.txt \ --save-path=./processed_fcos3d_images

• centerpoint_pointpillar_nuscenes

  python3 centerpoint_preprocess.py --data-path=./Nuscenes \ --save-path=./nuscenes_lidar_val

• bev model

  python3 bev_preprocess.py --model=model_name \ --data-path=./Nuscenes \ --meta-path=./Nuscenes/meta \ --reference-path=../../script/config/reference_points \ --save-path=./nuscenes_bev_val

• centerpoint_mixvargnet_multitask_nuscenes

  python3 lidar_preprocess.py --data-path=./Nuscenes \ --save-path=./nuscenes_lidar_val

• flashocc_henet_lss_occ3d_nuscenes

  python3 bev_preprocess.py --model=model_name \ --data-path=./Nuscenes \ --meta-path=./Nuscenes/meta \ --reference-path=../../script/config/reference_points \ --save-path=./nuscenes_bev_val \ --with-occ-gt

• maptroe_henet_tinym_bevformer_nuscenes

  python3 maptr_preprocess.py --model=model_name \ --data-path=./Nuscenes \ --meta-path=./Nuscenes/meta \ --sdmap-path=./data_osm \ --reference-path=../../script/config/reference_points \ --save-path=./nuscenes_map_val

Mot17

数据集

用于QAT多目标跟踪模型motr_efficientnetb3_mot17的评测。

1. 本数据集您可以于 Mot17数据集官网下载地址 下载，我们建议您将下载的数据集解压成如下结构，数据准备过程中如遇问题请联系地平线。

2. 数据集预处理方式：

Carfusion

数据集

用于QAT检测模型keypoint_efficientnetb0_carfusion的评测。

1. 本数据集您可以于 Carfusion数据集官网下载地址下载，我们建议您将下载的数据集解压成如下结构，数据准备过程中如遇问题请联系地平线。

2. 数据集预处理方式：

执行第一个脚本后的目录如下：

保证data-root指定的地址与cropped_data同一级，然后运行下方指令：

Argoverse1

数据集

用于QAT检测模型densetnt_argoverse1的评测。

1. 本数据集您可以于 Argoverse1数据集官网下载地址下载，我们建议您将下载的数据集解压成如下结构，数据准备过程中如遇问题请联系地平线。

2. 数据集预处理方式：

densetnt_process.py除了生成预处理输入外，还会在src-path下生成相应的评测meta文件。评测仅需使用 --src-path 和 --dst-path两个参数即可，无需关注其他参数。

Argoverse2

数据集

用于QAT检测模型qcnet_oe_argoverse2的评测。

1. 本数据集您可以于 Argoverse2数据集官网下载地址下载val.tar，我们建议您将下载的数据集解压成如下结构，数据准备过程中如遇问题请联系地平线。

2. 数据集预处理方式：

通过qcnet_argoverse2_preprocess.py和qcnet_argoverse2_dataset.py生成评测需要的数据.仅需使用 --src-data-dir 和 --target-data-dir两个参数即可，无需关注其他参数

SceneFlow

数据集

用于QAT深度估计模型stereonetplus_mixvargenet_sceneflow的评测。

1. 本数据集您可以于 SceneFlow数据集官网下载地址 下载，我们建议您将下载的数据集解压成如下结构，数据准备过程中如遇问题请联系地平线。

2. 数据集预处理方式：

stereonet_preprocess.py除了生成预处理数据外，还会在预处理数据路径下生成一个val_gt_infos.pkl 文件用于精度计算。

参考生成方式：

这样生成的lst文件中存储的路径为一个相对路径： ../../../data/argoverse1/densetnt/ ，可以与 workflow_accuracy.json 默认的配置路径吻合。

我们提供了专门的脚本generate_acc_lst.sh 用于生成lst文件，使用方式如下：

该脚本需要输入两个参数：预处理好的data挂载路径 和 生成list的输出路径，这样生成的lst文件中存储的路径为一个相对路径： ../../../data/argoverse2_qcnet/ ，可以与 workflow_accuracy.json 默认的配置路径吻合。

Bev

maptroe_henet_tinym_bevformer_nuscenes

以bev_ipm_efficientnetb0_multitask_nuscenes模型为例，该模型有图像和参考点两种输入，同一帧输入的图片和参考点名称相同。 为了保证输入相对应，在执行 find 命令时需要添加 sort 按名称进行排序。maptroe_henet_tinym_bevformer_nuscenes生成方式与之相同。参考生成方式：

此外，bev_ipm_4d_efficientnetb0_multitask_nuscenes和bevformer_tiny_resnet50_detection_nuscenes是时序模型，该模型对输入顺序有要求。 因此，我们提供了专门的脚本 gen_file_list.sh 用于生成lst文件，使用方式如下：

这样生成的lst文件中存储的路径为一个相对路径：../../../data/nuscenes_bev/ ，可以与 workflow_accuracy.json 默认的配置路径吻合。 如果需要更改前处理数据集的存放位置，则需要确保对应的 lst 文件可以被 workflow_accuracy.json 读取到。 其次需要确保程序根据 lst 中的路径信息，能读取到对应的前处理文件。

参考生成方式：

这样生成的lst文件中存储的路径为一个相对路径：../../../data/mot17/motr/ ，可以与 workflow_accuracy.json 默认的配置路径吻合。 如果需要更改前处理数据集的存放位置，则需要确保对应的 lst 文件可以被 workflow_accuracy.json 读取到。 其次需要确保程序根据 lst 中的路径信息，能读取到对应的前处理文件。

以stereonetplus_mixvargenet_sceneflow模型为例，为了保证同一帧输入的左右视图相对应，在执行 find 命令时需要添加 sort 按名称进行排序，参考生成方式如下：

使用ImageNet数据集的分类模型计算方式如下：

其中：

• eval-log-path：分类模型的预测结果文件。
• gt-file：ImageNet数据集的标注文件。

1.使用COCO数据集的检测模型精度计算方式如下：

其中：

• eval-log-path：检测模型的预测结果文件。
• annotation-path：COCO数据集的标注文件。

2.使用VOC数据集的检测模型精度计算方式如下：

其中：

• eval-log-path：检测模型的预测结果文件。
• annotation-path：VOC数据集的标注文件。
• val-txt-path：VOC数据集中ImageSets/Main文件夹下的val.txt文件。

使用Cityscapes数据集的分割模型精度计算方式如下：

其中：

• eval-log-path：分割模型的预测结果文件。
• gt-path：Cityscapes数据集的标注文件。

1.使用nuscenes数据集的bev模型精度计算方式如下：

其中：

• det_eval_path：bev模型检测任务的预测结果文件。
• seg_eval_path：bev模型分割任务的预测结果文件。
• gt_files_path：对nuscenes数据集进行预处理生成的gt文件。
• meta_dir：nuscenes数据集的meta信息路径。

注意：detr3d_efficientnetb3_nuscenes, petr_efficientnetb3_nuscenes和bevformer_tiny_resnet50_detection_nuscenes不需要传入seg_eval_path

2.使用nuscenes数据集的flashocc模型精度计算方式如下：

其中：

• seg_eval_path：flashocc模型的预测结果文件。
• gt_files_path：在nuscenes数据集上加上occ标签进行预处理得到的gt文件。

使用CIFAR-10数据集和ImageNet数据集的分类模型计算方式如下：

其中：

• log_file：分类模型的预测结果文件。
• gt_file：CIFAR-10和ImageNet数据集的标注文件。

1. 使用COCO数据集的检测模型精度计算方式示例如下：

其中：

• eval_result_path：fcos检测模型的预测结果文件。
• annotation_path：COCO数据集的标注文件。
• image_path：COCO原始数据集。
• is_qat：是否是qat fcos模型结果评测。

其中：

• eval_result_path：fcos检测模型的预测结果文件。
• annotation_path：COCO数据集的标注文件。
• image_path：COCO原始数据集。

2. 使用Kitti数据集的检测模型精度计算方式如下：

其中：

• eval_result_path：检测模型的预测结果文件。
• annotation_path：预处理过程中生成的kitti3d数据集的标注文件val_gt_infos.pkl。

3. 使用Culane数据集的检测模型精度计算方式如下：

其中：

• eval_result_path：检测模型的预测结果文件。
• image_path：culane数据集。

4. 使用Nuscenes数据集的检测模型精度计算方式如下：

其中：

• eval_result_path：检测模型的预测结果文件。
• image_path：nuscenes数据集。

其中：

• predict_result_path：检测模型的预测结果文件。
• gt_files_path：对nuscenes数据集进行预处理生成的gt文件。
• meta_dir： nuscenes数据集的meta信息路径。

5. 使用Carfusion数据集的检测模型精度计算方式如下：

其中：

• anno_path：预处理生成的processed_anno.json文件。
• eval_result_path：检测模型的预测结果文件。

使用Cityscapes数据集的分割模型精度计算方式如下：

其中：

• log_file：分割模型的预测结果文件。
• gt_path：Cityscapes数据集的标注文件。

使用mot17数据集的追踪模型计算方式如下：

其中：

• eval_result_path：追踪模型的预测结果文件夹。
• gt_val_path：mot17数据集的标注文件。

使用nuscenes数据集的lidar多任务模型精度计算方式如下：

其中：

• det_eval_path: 检测任务的预测结果文件。
• seg_eval_path：分割任务的预测结果文件。
• gt_files_path：对nuscenes数据集进行预处理生成的gt文件。
• data_dir：nuscenes数据集路径。

1. 使用argoverse1数据集的追踪模型计算方式如下：

其中：

• eval_result_path：轨迹预测的预测结果文件。
• meta_path：argoverse1数据集生成的的标注文件，使用预处理脚本后，生成在原数据集目录meta中。

2. 使用argoverse2数据集的追踪模型计算方式如下：

其中：

• eval_path：轨迹预测的预测结果文件。
• gt_files_path：对argoverse2数据集进行预处理后生成的gt文件,qcnet_eval.py评测脚本会自动从data文件夹中获取对应样本的label。
• msg_pack_path：轨迹预测的预测结果文件eval.log解析后转存msgpack的路径。脚本解析eval.log 后会将数据再转存为<msg_pack_path>qcnet_predict_data.msgpack 文件，脚本后续自动读取msgpack进行测评

使用Sceneflow数据集的深度估计模型精度计算方式如下：

其中：

• log_file：深度估计模型的预测结果文件。
• gt_file：对Sceneflow数据集进行预处理生成的gt文件。

使用nuscenes数据集的在线建图模型精度计算方式如下：

其中：

• predict_result_path：在线建图模型的预测结果文件。
• gt_files_path：对nuscenes数据集进行预处理生成的gt文件。