常见算法模型示例

位置路径

常见算法模型示例位于 horizon_model_convert_sample 路径的： 03_classification/、 04_detection/ 和 07_segmentation/ 文件夹中。

如何准备数据集

数据集下载地址

数据集的下载地址可参考下表：

数据集	下载地址
ImageNet	https://www.image-net.org/download.php
COCO	https://cocodataset.org/
VOC	http://host.robots.ox.ac.uk/pascal/VOC/ （需要下载2007和2012两个版本）
Cityscapes	https://github.com/mcordts/cityscapesScripts

数据集参考结构

为方便您进行后续步骤，在数据集下载完成后，您需要按照如下地平线建议的结构对评测数据集进行处理。

数据集	说明
ImageNet数据集	我们建议您将下载的数据集解压成如下结构，数据准备过程中如遇问题请联系地平线。 `imagenet/ ├── calibration_data │ ├── ILSVRC2012_val_00000001.JPEG │ ├── ... │ └── ILSVRC2012_val_00000100.JPEG ├── ILSVRC2017_val.txt ├── val │ ├── ILSVRC2012_val_00000001.JPEG │ ├── ... │ └── ILSVRC2012_val_00050000.JPEG └── val.txt`
COCO数据集	我们建议您将下载的数据集解压成如下结构，数据准备过程中如遇问题请联系地平线。 `coco/ ├── calibration_data │ ├── COCO_val2014_000000181007.jpg │ ├── ... │ └── COCO_val2014_000000181739.jpg └── coco_val2017 ├── annotations │ ├── instances_train2017.json │ └── instances_val2017.json └── images ├── 000000000139.jpg ├── 000000000285.jpg ├── ... ├── 000000581615.jpg └── 000000581781.jpg`
VOC数据集	请注意：请您注意，VOC2012目录下目前存储了VOC2007和VOC2012两份数据集，请您按照如下目录结构对评测数据集进行处理。数据准备过程中如遇问题请联系地平线。 VOCdevkit/ └── VOC2012 ├── Annotations │ ├── 2007_000027.xml │ ├── ... │ └── 2012_004331.xml ├── ImageSets │ ├── Action │ │ ├── jumping_train.txt │ │ ├── jumping_trainval.txt │ │ ├── jumping_val.txt │ │ ├── ... │ │ ├── val.txt │ │ ├── walking_train.txt │ │ ├── walking_trainval.txt │ │ └── walking_val.txt │ ├── Layout │ │ ├── train.txt │ │ ├── trainval.txt │ │ └── val.txt │ ├── Main │ │ ├── aeroplane_train.txt │ │ ├── aeroplane_trainval.txt │ │ ├── aeroplane_val.txt │ │ ├── ... │ │ ├── train.txt │ │ ├── train_val.txt │ │ ├── trainval.txt │ │ ├── tvmonitor_train.txt │ │ ├── tvmonitor_trainval.txt │ │ ├── tvmonitor_val.txt │ │ └── val.txt │ └── Segmentation │ ├── train.txt │ ├── trainval.txt │ └── val.txt ├── JPEGImages │ ├── 2007_000027.jpg │ ├── ... │ └── 2012_004331.jpg ├── SegmentationClass │ ├── 2007_000032.png │ ├── ... │ └── 2011_003271.png ├── SegmentationObject │ ├── 2007_000032.png │ ├── ... │ └── 2011_003271.png └── train.txt
Cityscapes数据集	我们建议您将下载的数据集解压成如下结构，数据准备过程中如遇问题请联系地平线。 cityscapes/ ├── cityscapes_calibration_data │ ├── aachen_000000_000019_leftImg8bit.png │ ├── ... │ └── aachen_000099_000019_leftImg8bit.png ├── gtFine │ ├── test │ │ ├── berlin │ │ ├── ... │ │ └── munich │ ├── train │ │ ├── aachen │ │ ├── ... │ │ └── zurich │ └── val │ ├── frankfurt │ ├── lindau │ └── munster ├── leftImg8bit │ ├── test │ │ ├── berlin │ │ ├── ... │ │ └── munich │ ├── train │ │ ├── aachen │ │ ├── ... │ │ └── zurich │ └── val │ ├── frankfurt │ ├── lindau │ └── munster ├── license.txt └── README

如何准备模型

在使用模型转换示例包时，请您先准备好对应的浮点模型。

注解

OE包默认不携带示例对应的校准数据集和原始模型，您需要在对应的示例文件夹内执行 00_init.sh 获取当前示例所需的模型和校准数据集。

对于各原始模型的来源、修改点（如有）的准备过程，请您参考以下内容。

MobileNetv1

模型来源：https://github.com/shicai/MobileNet-Caffe
md5sum码：

md5sum File
3fd6889ec48bda46451d67274144e2a8 mobilenet.caffemodel
8922f90f629d428fecf866e798ac7c08 mobilenet_deploy.prototxt

md5sum	File
3fd6889ec48bda46451d67274144e2a8	mobilenet.caffemodel
8922f90f629d428fecf866e798ac7c08	mobilenet_deploy.prototxt

MobileNetv2

模型来源：https://github.com/shicai/MobileNet-Caffe
md5sum码：

md5sum File
54aab8425ea068d472e8e4015f22360c mobilenet_v2.caffemodel
13101ee86ab6d217d5fd6ed46f7a4faa mobilenet_v2_deploy.prototxt

md5sum	File
54aab8425ea068d472e8e4015f22360c	mobilenet_v2.caffemodel
13101ee86ab6d217d5fd6ed46f7a4faa	mobilenet_v2_deploy.prototxt

ResNet50

模型来源：https://pytorch.org/vision/main/models/generated/torchvision.models.resnet50.html
md5sum码：

md5sum File
ebaeb70c972d1a3e6eb06c0e1541eeb4 resnet50.onnx

md5sum	File
ebaeb70c972d1a3e6eb06c0e1541eeb4	resnet50.onnx

GoogleNet

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/GoogleNet
md5sum码：

md5sum File
f107ae6806ea1016afbc718210b7a617 googlenet.onnx

md5sum	File
f107ae6806ea1016afbc718210b7a617	googlenet.onnx

EfficientNet_Lite0/1/2/3/4

注意

为了快速运行示例，避免使用第三方工具带来的风险，强烈推荐您直接使用地平线模型发布物 model_zoo/mapper/ 路径下准备好的ONNX浮点模型。如果您有兴趣复现tflite2onnx的模型转换过程，也可以尝试使用以下三方工具。但地平线无法保证第三方工具的质量和转换成功率。

模型来源：可从 https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/lite 获取tar包。

地平线模型发布物中转换后的ONNX模型md5sum码：

md5sum	File
001a329bd367fbec22b415c7a33d7bdb	efficientnet_lite0_fp32.onnx
1205e95aea66650c71292bde236d55a9	efficientnet_lite1_fp32.onnx
474741c15494b79a89fe51d89e0c43c7	efficientnet_lite2_fp32.onnx
550455b41848d333f8359279c89a6bae	efficientnet_lite3_fp32.onnx
bde7fe57eadb4a30ef76f68da622dcd5	efficientnet_lite4_fp32.onnx

下载后可从tar包中得到 .tflite 文件，然后可通过tflite2onnx工具将tflite转换为ONNX模型。

不同版本的tflite2onnx转换出来的layout会不一样，若转换出来的ONNX模型的输入layout是NHWC排布，则build时，EfficientNet_Lite0/1/2/3/4的 input_layout_train 均应该选择 NHWC。

Vargconvnet

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/VargConvNet
md5sum码：

md5sum File
e21b8db17916f9046253bbe0bb8de3ef vargconvnet.onnx

md5sum	File
e21b8db17916f9046253bbe0bb8de3ef	vargconvnet.onnx

Efficientnasnet_m

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/EfficientnasNet
md5sum码：

md5sum File
fc36c052c6f034c0b64a6197b91b0c62 efficientnasnet-m.onnx

md5sum	File
fc36c052c6f034c0b64a6197b91b0c62	efficientnasnet-m.onnx

Efficientnasnet_s

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/EfficientnasNet
md5sum码：

md5sum File
e2744bd748f4265f4488676835a6ca24 efficientnasnet-s.onnx

md5sum	File
e2744bd748f4265f4488676835a6ca24	efficientnasnet-s.onnx

ResNet18

模型来源：https://pytorch.org/vision/main/models/generated/torchvision.models.resnet18.html
md5sum码：

md5sum File
62de4ff68317c65ab4bb6a451e719e6d resnet18.onnx

md5sum	File
62de4ff68317c65ab4bb6a451e719e6d	resnet18.onnx

YOLOv2_Darknet19

注意

为了快速运行示例，避免使用第三方工具带来的风险，强烈推荐您直接使用地平线模型发布物 model_zoo/mapper/ 路径下准备好的Caffe浮点模型。如果您有兴趣复现darknet2caffe的模型转换过程，也可以尝试使用以下三方工具。但地平线无法保证三方工具的质量和转换成功率。
为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Dequantize节点做了删除的操作。

YOLOv2_Darknet19模型需要首先从YOLO官网，下载YOLOv2 608x608的.cfg和.weight文件并使用darknet2caffe 转换工具将其转换为caffe model。

注解

该转换工具（darknet2caffe）是一个简化版本，使用时，需要修改该工具生成的.prototxt文件，将其中的 'Reshape' 层修改成 'Passthrough' 层， Passthrough 层具体修改后的参数请见提供的yolov2.prototxt例子，并在输出节点增加一个NCHW2NHWC的Permute操作。

md5sum码：

md5sum File
7aa7a6764401cebf58e73e72fcbd2a45 yolov2.caffemodel
72e9a51c1e284e4b66e69f72ca9214c8 yolov2_transposed.prototxt

md5sum	File
7aa7a6764401cebf58e73e72fcbd2a45	yolov2.caffemodel
72e9a51c1e284e4b66e69f72ca9214c8	yolov2_transposed.prototxt

YOLOv3_Darknet53

注意

为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Dequantize节点做了删除的操作。

YOLOv3_Darknet53模型获取：

URL：https://github.com/ChenYingpeng/caffe-yolov3/ ，caffemodel可以在该github的README.md提供的百度云下载路径中下载，并在输出节点增加一个NCHW2NHWC的Permute操作。

md5sum码：

md5sum File
935af6e1530af5c0017b3674adce95e9 yolov3_transposed.prototxt
9a0f09c850656913ec27a6da06d9f9cc yolov3.caffemodel

md5sum	File
935af6e1530af5c0017b3674adce95e9	yolov3_transposed.prototxt
9a0f09c850656913ec27a6da06d9f9cc	yolov3.caffemodel

YOLOv5x

注意

为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Dequantize节点做了删除的操作。

YOLOv5x模型：可以从URL：https://github.com/ultralytics/yolov5/releases/tag/v2.0 中下载相应的pt文件。

注意

在clone代码时，请确认您使用的Tags是v2.0，否则将导致转换失败。

md5sum码：

md5sum File
2e296b5e31bf1e1b6b8ea4bf36153ea5 yolov5l.pt
16150e35f707a2f07e7528b89c032308 yolov5m.pt
42c681cf466c549ff5ecfe86bcc491a0 yolov5s.pt
069a6baa2a741dec8a2d44a9083b6d6e yolov5x.pt

md5sum	File
2e296b5e31bf1e1b6b8ea4bf36153ea5	yolov5l.pt
16150e35f707a2f07e7528b89c032308	yolov5m.pt
42c681cf466c549ff5ecfe86bcc491a0	yolov5s.pt
069a6baa2a741dec8a2d44a9083b6d6e	yolov5x.pt

为了更好地适配后处理代码，我们在ONNX模型导出前对Github代码做了如下修改（代码参见：https://github.com/ultralytics/yolov5/blob/v2.0/models/yolo.py ）:

def forward(self, x):
    # x = x.copy()  # for profiling
    z = []  # inference output
    self.training |= self.export
    for i in range(self.nl):
        x[i] = self.m[i](x[i])  # conv
        bs, _, ny, nx = x[i].shape  # x(bs,255,20,20) to x(bs,3,20,20,85)
        #  x[i] = x[i].view(bs, self.na, self.no, ny, nx).permute(0, 1, 3, 4, 2).contiguous()
        x[i] = x[i].permute(0, 2, 3, 1).contiguous()

注解

去除了每个输出分支尾部从4维到5维的reshape（即不将channel从255拆分成3x85），然后将layout从NHWC转换成NCHW再输出。

以下左图为修改前的模型某一输出节点的可视化图，右图则为修改后的对应输出节点可视化图。

下载完成后通过脚本 https://github.com/ultralytics/yolov5/blob/v2.0/models/export.py 进行pt文件到ONNX文件的转换。

注意

在使用export.py脚本时，请注意：

在clone代码时，请确认您使用的Tags是v2.0，否则将导致转换失败。

由于地平线算法工具链支持的ONNX opset版本为 10 ~ 19，请将 torch.onnx.export 的 opset_version 参数根据您要使用的版本进行修改。
将 torch.onnx.export 部分的默认输入名称参数由 'images' 改为 'data'，与模型转换示例包的YOLOv5x示例脚本保持一致。
将 parser.add_argument 部分中默认的数据输入尺寸640x640改为模型转换示例包YOLOv5x示例中的672x672。

SSD_MobileNetv1

注意

为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Dequantize节点做了删除的操作。

SSD_MobileNetv1模型：可以从URL：https://github.com/chuanqi305/MobileNet-SSD 获得Caffe模型。
md5sum码：

md5sum File
bbcb3b6a0afe1ec89e1288096b5b8c66 mobilenet_iter_73000.caffemodel
3c230e4415195a50c6248be80c49882d MobileNetSSD_deploy.prototxt

md5sum	File
bbcb3b6a0afe1ec89e1288096b5b8c66	mobilenet_iter_73000.caffemodel
3c230e4415195a50c6248be80c49882d	MobileNetSSD_deploy.prototxt

Efficientdetd0

注意

为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Dequantize节点做了删除的操作。

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/EfficientDet
md5sum码：

md5sum File
ec4129c4b300cd04f1e8f71e0fe54ca5 efficientdet_nhwc.onnx

md5sum	File
ec4129c4b300cd04f1e8f71e0fe54ca5	efficientdet_nhwc.onnx

CenterNet_Resnet101

注意

我们将maxpool和sigmoid节点放到模型中，并指定编译为BPU节点，用于减少后处理过程中的计算量。
在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Dequantize节点做了删除的操作。

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/Centernet
md5sum码：

md5sum File
db195ff784792f475e573c5126401d2a centernet_resnet101_coco_modify.onnx

md5sum	File
db195ff784792f475e573c5126401d2a	centernet_resnet101_coco_modify.onnx

Fcos_efficientnetb0

注意

该模型为采用PTQ方式训练出来的模型。
为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Dequantize节点做了删除的操作。

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/blob/master/Fcos_Efficientnetb0
md5sum码：

md5sum File
9f9a1fe8508e2bd068e70146eb559b4f fcos_efficientnetb0.onnx

md5sum	File
9f9a1fe8508e2bd068e70146eb559b4f	fcos_efficientnetb0.onnx

Yolov4

注意

为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Dequantize节点做了删除的操作。

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/YoloV4
md5sum码：

md5sum File
aaa3c3e5e4c4c1d4830b6501b1720e4d yolov4_efficientnetb0.onnx

md5sum	File
aaa3c3e5e4c4c1d4830b6501b1720e4d	yolov4_efficientnetb0.onnx

YOLOv3_VargDarknet

注意

为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Dequantize节点做了删除的操作。

YOLOv3_VargDarknet模型获取：

URL：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/Yolov3_VargDarknet ，可以在该github的README.md提供的百度云下载路径中下载。

md5sum码：

md5sum File
fd4e46bc7c9798b51778d3aa09c5053a yolov3_vargdarknet53.onnx

md5sum	File
fd4e46bc7c9798b51778d3aa09c5053a	yolov3_vargdarknet53.onnx

Fcos_resnet50

注意

为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Dequantize节点做了删除的操作。

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/Fcos_Resnet50
md5sum码：

md5sum File
0218942777615fac2f54cefdac4fbfa7 fcos_resnet50.onnx

md5sum	File
0218942777615fac2f54cefdac4fbfa7	fcos_resnet50.onnx

Fcos_resnext101

注意

为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Dequantize节点做了删除的操作。

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/Fcos_Resnext101
md5sum码：

md5sum File
4b80efd22448021721ac5a860909c59f fcos_resnext101.onnx

md5sum	File
4b80efd22448021721ac5a860909c59f	fcos_resnext101.onnx

Unet_mobilenet

注意

为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Dequantize节点做了删除的操作。

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/MobilenetUnet
md5sum码：

md5sum File
21c6c645ebca92befbebc8c39d385c1e tf_unet_trained.onnx

md5sum	File
21c6c645ebca92befbebc8c39d385c1e	tf_unet_trained.onnx

DeeplabV3plus_efficientnetb0

注意

为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Reshape和Cast节点做了删除的操作。

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/DeeplabV3Plus
md5sum码：

md5sum File
cf3a683f31b4b0ebe090647729f869d9 deeplabv3plus_efficientnetb0.onnx

md5sum	File
cf3a683f31b4b0ebe090647729f869d9	deeplabv3plus_efficientnetb0.onnx

Fastscnn_efficientnetb0

注意

为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Reshape和Cast节点做了删除的操作。

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/FastSCNN
md5sum码：

md5sum File
c1ace8f08a9c7b9c91509fa68327d0c8 fastscnn_efficientnetb0.onnx

md5sum	File
c1ace8f08a9c7b9c91509fa68327d0c8	fastscnn_efficientnetb0.onnx

Deeplabv3plus_dilation1248

注意

为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Transpose节点做了删除的操作。

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/DeeplabV3Plus
md5sum码：

md5sum File
ad002e572cbb49e1e99d893aac69f3e3 deeplabv3_cityscapes_dila1248_permute.onnx

md5sum	File
ad002e572cbb49e1e99d893aac69f3e3	deeplabv3_cityscapes_dila1248_permute.onnx

Deeplabv3plus_efficientnetm1

注意

为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Reshape、Cast和Transpose节点做了删除的操作。

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/DeeplabV3Plus
md5sum码：

md5sum File
0a1dfd01e173c68630d9e8dc1a6036fe deeplabv3plus_efficientnetm1.onnx

md5sum	File
0a1dfd01e173c68630d9e8dc1a6036fe	deeplabv3plus_efficientnetm1.onnx

Deeplabv3plus_efficientnetm2

注意

为保证板端性能达到最优，在编译hbm模型的yaml文件中我们对 remove_node_type 参数进行了配置，将hbm模型中的Reshape、Cast和Transpose节点做了删除的操作。

模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/DeeplabV3Plus
md5sum码：

md5sum File
c11a2673c4b3cf6e5d7bf1a051925d38 deeplabv3plus_efficientnetm2.onnx

md5sum	File
c11a2673c4b3cf6e5d7bf1a051925d38	deeplabv3plus_efficientnetm2.onnx

算法模型示例的使用演示

本小节以 Resnet50 模型为例，使用算法模型示例包中 03_classification/03_resnet50/ 路径下脚本分步骤演示浮点模型到定点模型转换的过程。

进入Docker容器

首先，根据 Docker容器部署一节内容完成Docker环境的安装和配置并进入docker容器。

下载原始模型及校准数据集

在 03_classification/03_resnet50/ 文件夹内执行 00_init.sh 获取当前示例所需的模型和校准数据集。

# 1. 进入示例脚本放置的文件夹
cd samples/ai_toolchain/horizon_model_convert_sample/03_classification/03_resnet50/
# 2. 执行脚本下载原始模型及校准数据集
sh 00_init.sh

验证模型是否能够执行

如下所示，运行脚本：

# 执行模型检查
sh 01_check.sh

准备校准用的数据集

在同一路径下继续执行 02_preprocess.sh 脚本，如下所示：

# 将 01_common/calibration_data/imagenet 中的图片
# 转换到: ./calibration_data_rgb
sh 02_preprocess.sh

注解

我们从ImageNet数据集抽取了100张图作为校准数据集，在校准前，我们对数据进行了预处理：short size resize/crop size/NHWC to NCHW/转为rgb。
hb_compile 工具会从转换得到二进制数据中读取数据，预处理过的二进制数据文件格式为 npy，dtype为uint8。

build模型

在同一路径下继续执行 03_build.sh 脚本，如下所示：

sh 03_build.sh

注解

上述脚本使用 hb_compile 工具转换模型，最需要关注的是转换的配置文件，请参考模型量化编译章节。

上述脚本的输出如下所示：

ls model_output | cat
resnet50_224x224_nv12.hbm
resnet50_224x224_nv12_calibrated_model.onnx
resnet50_224x224_nv12_ptq_model.onnx
resnet50_224x224_nv12_optimized_float_model.onnx
resnet50_224x224_nv12_original_float_model.onnx
resnet50_224x224_nv12_quantized_model.bc
resnet50_224x224_nv12.html
resnet50_224x224_nv12.json
resnet50_224x224_nv12_quant_info.json 
resnet50_224x224_nv12_advice.json
resnet50_224x224_nv12_node_info.csv
hb_compile.log

注解

您暂时只需要关心 resnet50_224x224_nv12.hbm 文件。

单张图片推理

执行 04_inference.sh 脚本进行单张图片的推理过程，如下所示：

sh 04_inference.sh

注解

因为图片推理过程时，需要对图片进行 前处理，对模型数据进行 后处理，所以我们提供了一个示例Python脚本。具体请参考 sh 04_inference.sh 。
此脚本只是对单张图片进行推理，验证单张图片的推理结果是否符合预期，如果想做精度测评，可以参考 05_evaluate.sh 脚本。

精度测试

继续执行 05_evaluate.sh 脚本进行精度评测，如下所示：

export PARALLEL_PROCESS_NUM=${parallel_process_num}
sh 05_evaluate.sh

注解

因为精度评测时，需要对图片进行 前处理，对模型数据进行 后处理，所以我们提供了一个示例Python脚本。具体请参考 sh 05_evaluate.sh。
为了加快评测速度，可以通过 -p 选项适当调整并发进程数，但需要注意内存的占用情况。当 -p 选项值不填或者设置为 0 时，CPU环境中的定点模型将按照10个进程数处理，其他场景均按1个进程数处理。

常见问题

复现的精度为什么与文档中提供的指标有细微差异？

出现此种现象的原因可能有以下两点：

在不同的服务器环境下，计算方式上可能会有细小的区别，就会导致不同的服务器环境中编译出来的定点onnx模型的精度与文档的记录值有细微数据波动。
使用的第三方库如opencv、numpy等库的版本不同，导致图片经过前处理后的得到的结果不同，这种情况也会导致精度复现时与文档中的记录值有细微数据波动。

出现这种情况，您可以不用过于担心，文档中提供的记录指标仅作为参考，您在复现时的精度与文档中的记录值有细微差异是正常现象，可以正常跑通精度即可。

定点模型精度为何与ai_benchmark示例中的hbm文件上板精度无法对齐？

在标准交付中，我们在添加示例的时候，定点模型精度和ai_benchmark示例中的hbm文件上板精度是已经做了对齐处理的。

如果您发现定点模型精度与ai_benchmark示例中的hbm文件上板精度无法对齐的情况，建议您优先检查模型输入是否一致。由于执行定点模型评估脚本时，使用到的是图片类型的数据集；而上板使用到的hbm模型，需要使用hb_eval_preprocess工具转换后的二进制数据集。基于此点，如果您在上板时使用的数据集并非通过上述方式生成的,我们建议您先在运行定点模型的精度的相同服务器上，使用我们的数据预处理工具（即hb_eval_preprocess工具）重新生成上板需要的数据集，重跑上板精度，以保证模型输入一致。

注意

注意，在使用hb_eval_preprocess工具生成数据集和运行定点模型精度时，两者使用的环境需要保证一致。

页面目录

hb_compile工具

QAT

模型导出

Horizon算子

模型推理API手册

数据结构

功能接口

模型推理工具介绍

hrt_model_exec工具介绍

hbm_infer工具介绍

数据结构

功能接口

算子支持列表

算子BPU约束列表

#常见算法模型示例

#位置路径

#如何准备数据集

#数据集下载地址

#数据集参考结构

#如何准备模型

#MobileNetv1

#MobileNetv2

#ResNet50

#GoogleNet

#EfficientNet_Lite0/1/2/3/4

#Vargconvnet

#Efficientnasnet_m

#Efficientnasnet_s

#ResNet18

#YOLOv2_Darknet19

#YOLOv3_Darknet53

#YOLOv5x

#SSD_MobileNetv1

#Efficientdetd0

#CenterNet_Resnet101

#Fcos_efficientnetb0

#Yolov4

#YOLOv3_VargDarknet

#Fcos_resnet50

#Fcos_resnext101

#Unet_mobilenet

#DeeplabV3plus_efficientnetb0

#Fastscnn_efficientnetb0

#Deeplabv3plus_dilation1248

#Deeplabv3plus_efficientnetm1

#Deeplabv3plus_efficientnetm2

#算法模型示例的使用演示

#进入Docker容器

#下载原始模型及校准数据集

#验证模型是否能够执行

#准备校准用的数据集

#build模型

#单张图片推理

#精度测试

#常见问题

#复现的精度为什么与文档中提供的指标有细微差异？

#定点模型精度为何与ai_benchmark示例中的hbm文件上板精度无法对齐？

常见算法模型示例

位置路径

如何准备数据集

数据集下载地址

数据集参考结构

如何准备模型

MobileNetv1

MobileNetv2

ResNet50

GoogleNet

EfficientNet_Lite0/1/2/3/4

Vargconvnet

Efficientnasnet_m

Efficientnasnet_s

ResNet18

YOLOv2_Darknet19

YOLOv3_Darknet53

YOLOv5x

SSD_MobileNetv1

Efficientdetd0

CenterNet_Resnet101

Fcos_efficientnetb0

Yolov4

YOLOv3_VargDarknet

Fcos_resnet50

Fcos_resnext101

Unet_mobilenet

DeeplabV3plus_efficientnetb0

Fastscnn_efficientnetb0

Deeplabv3plus_dilation1248

Deeplabv3plus_efficientnetm1

Deeplabv3plus_efficientnetm2

算法模型示例的使用演示

进入Docker容器

下载原始模型及校准数据集

验证模型是否能够执行

准备校准用的数据集

build模型

单张图片推理

精度测试

常见问题

复现的精度为什么与文档中提供的指标有细微差异？

定点模型精度为何与ai_benchmark示例中的hbm文件上板精度无法对齐？