OpenVINO en CPU

Qué ofrece OpenVINO#

OpenVINO acepta modelos de PyTorch y ONNX y los ejecuta en CPU Intel, GPU integradas y discretas y NPU mediante una única API. Sus kernels de CPU están optimizados para los conjuntos de instrucciones de Intel (AVX2, AVX-512, AMX), y su ruta INT8 está muy desarrollada. Fíjate en el recuadro ARM de la columna de CPU: OpenVINO también funciona en ARM, pero sus kernels están optimizados para Intel, así que mide el rendimiento antes de confiar en él.

La prueba de rendimiento publicada en una CPU Intel Core Ultra 7 155H (COCO128):

De esa tabla se desprenden tres reglas:

• OpenVINO FP32 por sí solo reduce aproximadamente a la mitad la latencia de PyTorch en una CPU Intel. Empieza por aquí.
• INT8 aporta más ventajas a medida que crece el modelo: 1,2× para n, 2,9× para m, a cambio de entre 1,2 y 1,7 puntos de mAP. En n, INT8 rara vez compensa la pérdida de precisión.
• Prueba la GPU integrada antes de comprar hardware: la iGPU Arc del mismo chip (device="intel:gpu") ejecutó YOLO26n FP32 en 9,13 ms y YOLO26m en 34,47 ms.

Compara los niveles de precisión en tu propia CPU#

Exporta cada nivel de precisión, valídalo inmediatamente y solo entonces exporta el siguiente:

from ultralytics import YOLO

if __name__ == "__main__":  # validation starts worker processes on macOS and Windows
    model = YOLO("yolo26n.pt")  # or runs/detect/pills_v1/weights/best.pt
    for name, quantize in (("FP32", None), ("FP16", 16), ("INT8", 8)):
        path = model.export(format="openvino", quantize=quantize, data="coco8.yaml")  # or my_dataset/data.yaml
        m = YOLO(path).val(data="coco8.yaml", batch=1, plots=False, verbose=False)  # before the next export overwrites it
        print(f"{name}: mAP50-95 {m.box.map:.4f}  -> {path}")

OpenVINO: export success ✅ 2.3s, saved as 'yolo26n_openvino_model/' (9.6 MB)
FP32: mAP50-95 0.6783  -> yolo26n_openvino_model/
OpenVINO: export success ✅ 1.6s, saved as 'yolo26n_openvino_model/' (5.1 MB)
FP16: mAP50-95 0.6783  -> yolo26n_openvino_model/
WARNING ⚠️ OpenVINO: >300 images recommended for INT8 calibration, found 4 images.
OpenVINO: export success ✅ 11.3s, saved as 'yolo26n_int8_openvino_model/' (3.2 MB)
INT8: mAP50-95 0.6460  -> yolo26n_int8_openvino_model/

Qué indica cada línea:

• FP32 y FP16 obtienen la misma puntuación y FP16 ocupa la mitad (5,1 frente a 9,6 MB), pero ambos se escribieron en la misma carpeta. Si hubieras exportado ambos primero y los hubieras validado después, habrías medido FP16 dos veces.
• INT8 ocupa 3,2 MB y perdió 3,2 puntos, porque se calibró con las cuatro imágenes de COCO8. La advertencia lo indica: una calibración real necesita cientos de imágenes representativas de producción de tu propio YAML (fraction limita cuántas se usan).
• Nada de esto mide la velocidad. Para eso, usa la prueba de rendimiento de abajo.

Para ejecutar un modelo exportado en un dispositivo Intel concreto:

from ultralytics import YOLO

ov_model = YOLO("yolo26n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:cpu")  # o intel:gpu, intel:npu

Publica la carpeta completa: yolo26n.xml (el grafo), yolo26n.bin (los pesos) y metadata.yaml. intel:gpu y intel:npu necesitan hardware Intel.

Mídelo frente a ONNX Runtime#

La precisión ya está resuelta; la velocidad se determina en el dispositivo de destino, bajo la carga de trabajo real que deberá soportar. Ejecuta pick_runtime.py de la primera lección con CANDIDATES = ("onnx", "openvino"). En el portátil de prueba con Apple silicon, mientras otros trabajos compartían la CPU:

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

OpenVINO tuvo una mediana mejor y una cola mucho peor. El wrapper de Ultralytics compila OpenVINO con la sugerencia LATENCY (el registro indica Using OpenVINO LATENCY mode for batch=1 inference on CPU), que distribuye cada solicitud entre los núcleos de la CPU; cuando otras tareas compiten por esos núcleos, las solicitudes más lentas son las que más sufren. En un equipo Intel dedicado, los resultados suelen parecerse a los publicados arriba, pero solo tu propio p95 puede confirmártelo.

Reglas para decidir:

Errores habituales#