CPU 上的 OpenVINO

OpenVINO 的优势#

OpenVINO 可以处理来自 PyTorch 和 ONNX 的模型，并通过一个 API 在 Intel CPU、集成和独立 GPU 以及 NPU 上运行。其 CPU 内核针对 Intel 指令集（AVX2、AVX-512、AMX）进行了优化，INT8 路径也已成熟。注意 CPU 栏中的 ARM 方块：OpenVINO 也能在 ARM 上运行，但其内核针对 Intel 进行了调优，因此在 ARM 上依赖它之前应先进行测量。

已公布的 Intel Core Ultra 7 155H CPU 基准测试结果（COCO128）：

从该表可以得出三条规律：

• 仅使用 OpenVINO FP32，就能让 Intel CPU 上的 PyTorch 延迟大致减半。先尝试这一方案。
• 模型越大，INT8 的收益越明显：n 提速 1.2 倍，m 提速 2.9 倍，代价是损失 1.2–1.7 个 mAP 点。对于 n，INT8 的精度损失通常不值得。
• 购买硬件之前，先试试集成 GPU：同一芯片上的 Arc iGPU（device="intel:gpu"）运行 YOLO26n FP32 用时 9.13 毫秒，运行 YOLO26m 用时 34.47 毫秒。

在自己的 CPU 上比较不同精度#

导出每种精度后立即验证，通过后再导出下一种：

from ultralytics import YOLO

if __name__ == "__main__":  # validation starts worker processes on macOS and Windows
    model = YOLO("yolo26n.pt")  # or runs/detect/pills_v1/weights/best.pt
    for name, quantize in (("FP32", None), ("FP16", 16), ("INT8", 8)):
        path = model.export(format="openvino", quantize=quantize, data="coco8.yaml")  # or my_dataset/data.yaml
        m = YOLO(path).val(data="coco8.yaml", batch=1, plots=False, verbose=False)  # before the next export overwrites it
        print(f"{name}: mAP50-95 {m.box.map:.4f}  -> {path}")

OpenVINO: export success ✅ 2.3s, saved as 'yolo26n_openvino_model/' (9.6 MB)
FP32: mAP50-95 0.6783  -> yolo26n_openvino_model/
OpenVINO: export success ✅ 1.6s, saved as 'yolo26n_openvino_model/' (5.1 MB)
FP16: mAP50-95 0.6783  -> yolo26n_openvino_model/
WARNING ⚠️ OpenVINO: >300 images recommended for INT8 calibration, found 4 images.
OpenVINO: export success ✅ 11.3s, saved as 'yolo26n_int8_openvino_model/' (3.2 MB)
INT8: mAP50-95 0.6460  -> yolo26n_int8_openvino_model/

每一行的含义：

• FP32 和 FP16 的得分相同，而 FP16 的体积只有一半（5.1 MB 对 9.6 MB），但两者都写入了同一个文件夹。如果先导出两者再验证，你就会把 FP16 测量两次。
• INT8 文件为 3.2 MB，但损失了 3.2 个百分点，因为它使用 COCO8 的四张图像进行了校准。警告信息已说明这一点：实际校准需要数百张来自你自己的 YAML、接近生产环境的图像（fraction 会限制实际使用的图像数量）。
• 以上都没有测量速度。速度请使用下方的基准测试。

要在指定的 Intel 设备上运行导出的模型：

from ultralytics import YOLO

ov_model = YOLO("yolo26n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:cpu")  # or intel:gpu, intel:npu

发布整个文件夹：yolo26n.xml（计算图）、yolo26n.bin（权重）和 metadata.yaml。intel:gpu 和 intel:npu 需要 Intel 硬件。

与 ONNX Runtime 对比运行时间#

精度已确定；速度要在目标设备上、并在实际负载下评估。使用第一课中的 pick_runtime.py 和 CANDIDATES = ("onnx", "openvino") 运行。在 Apple 芯片测试笔记本上，当 CPU 由其他任务共享时：

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

OpenVINO 的中位数表现更好，但尾部延迟差得多。Ultralytics 封装器使用 LATENCY 提示编译 OpenVINO（日志中会显示 Using OpenVINO LATENCY mode for batch=1 inference on CPU），这会让每个请求分摊到 CPU 的各个核心上；当其他任务争用这些核心时，最慢的请求受影响最大。在专用 Intel 设备上，表现通常接近上方公布的数据，但只有你自己的 p95 数据才能说明实际情况。

决策规则：

常见问题#