本章节为您介绍算法工具链提供的PTQ工具包中的工具,协助您快速了解PTQ转换流程中的工具使用及其基本功能。
以下是PTQ转换工具的简述,您可根据需要进行对应工具的阅读。
工具 | 工具简介 |
hb_compile工具 | hb_compile工具是地平线提供的将浮点模型映射为量化模型并附带验证功能以及模型修改功能的工具,支持三种使用场景,分别为:模型检查、模型量化编译、模型修改。 |
hb_model_info工具 | hb_model_info工具是地平线提供的用于解析*.hbm和*.bc编译时的依赖及参数信息,同时支持对*.bc可删除节点进行查询的工具。 |
hb_verifier工具 | hb_verifier工具是一致性验证工具,支持进行onnx模型之间、onnx模型与hbir模型、hbir模型与hbir模型之间的余弦相似度对比,hbir与hbm模型之间的输出一致性对比。 |
hb_eval_preprocess工具 | hb_eval_preprocess工具是地平线提供的用于对模型精度进行评估时,在x86环境下对图片数据进行预处理(包括图片resize、crop、padding等在图片数据送入模型前的特定处理操作)的工具。 |
hb_config_generator工具 | hb_config_generator工具是地平线提供的用于支持您获取最简yaml配置文件、包含全部参数默认值的yaml配置文件的工具。 |
HBRuntime推理库 | HBRuntime是地平线提供的一套x86端模型推理库,支持对常用训练框架直接导出的ONNX原始模型、地平线工具链进行PTQ转换过程中产出的各阶段ONNX模型以及地平线工具链转换过程中产出的HBIR(*.bc)模型和HBM(*.hbm)模型进行推理。 |
精度debug工具 | 精度debug工具是地平线提供的用于协助您自主定位模型量化过程中产生的精度问题的工具,该工具能够协助您对校准模型进行节点粒度的量化误差分析,最终帮助您快速定位出现精度异常的节点。 |