#hbm_infer工具介绍

#工具简介

hbm_infer 是一个X86+板端联合通信模式的Validation工具，在X86端使用Python代码做模型前后处理工作，由板端Server执行实际推理过程，用于提升模型精度评测效率，降低开发成本。工具使用流程概要如下：

hbm_infer 工具采用了 gRPC (Google Remote Procedure Call) 框架，支持多进程环境下Client进程与Server进程之间的任务推送与响应。在通信模式上，每个Server独立对应一个Client，形成多Client多Server模式。工具通信流程概要如下：

#使用方法

hbm_infer 工具有 常规模式 和 Flexible模式 两种使用模式：

• 常规模式：可自动上传Server文件和HBM文件至开发板，推理结束后自动删除，您无需干预。由于其无法复用HBM文件和Server文件，会话建立阶段板端传输带宽占用较大。

• Flexible模式：需要您自己来控制Server文件和HBM文件的上传及Server的关闭，可通过复用板端文件来减少文件传输阶段的带宽占用。

单进程下推荐使用 常规模式 ，多进程并行下若出现带宽占用过高导致的错误，可尝试 Flexible模式 。