G720/G520 各模型跑测的情况列表

wrzeng

其中：Main Time（主流程总耗时 / 端到端耗时）  Main Time（主流程总耗时 / 端到端耗时）

1. Inference Time（推理时间，核心指标）
仅模型算子执行耗时
范围：输入张量送入模型 → 模型完成所有网络计算 → 输出张量生成
不包含：
图片读取、预处理（resize、归一化、转维度）、后处理（NMS、画框、解码）、内存拷贝、模型加载初始化
单位：ms
也就是纯网络前向传播耗时，用来横向对比不同模型、不同量化、不同推理框架的网络本身速度。
2. Main Time（主流程总耗时 / 端到端耗时）
完整业务链路总耗时
整条测试程序从开始到结束的总时间：
plaintext
读图 → 预处理 → 内存拷贝 → 推理(Inference) → 后处理 → 结果输出
公式：
Main Time ≥ Inference Time
Main Time = 预处理耗时 + 数据拷贝开销 + Inference Time + 后处理耗时
G520

wrzeng

G520

wrzeng

G720

wrzeng

各型号对比：
数据来自：https://ai-benchmark.com/ranking_IoT.html