OpenVINO na CPU

O que o OpenVINO oferece#

O OpenVINO recebe modelos do PyTorch e do ONNX e executa-os em CPUs Intel, GPUs integradas e dedicadas e NPUs, através de uma única API. Os kernels para CPU têm como alvo os conjuntos de instruções Intel (AVX2, AVX-512, AMX), e o percurso INT8 está bastante desenvolvido. Observa a secção ARM na coluna CPU: o OpenVINO também funciona em ARM, mas os seus kernels são otimizados para Intel, por isso mede o desempenho antes de depender dele nesse hardware.

O benchmark publicado numa CPU Intel Core Ultra 7 155H (COCO128):

Da tabela resultam três regras:

• Só o OpenVINO FP32 reduz aproximadamente para metade a latência do PyTorch numa CPU Intel. Começa por aqui.
• O INT8 compensa mais à medida que o modelo cresce: 1,2× para n, 2,9× para m, com uma perda de 1,2–1,7 pontos de mAP. No n, raramente compensa usar INT8 devido à perda de precisão.
• Experimenta a GPU integrada antes de comprar hardware: a GPU Arc integrada (iGPU) do mesmo chip (device="intel:gpu") executou o YOLO26n FP32 em 9,13 ms e o YOLO26m em 34,47 ms.

Compara os níveis de precisão na tua própria CPU#

Exporta cada nível de precisão, valida-o imediatamente e só depois exporta o seguinte:

from ultralytics import YOLO

if __name__ == "__main__":  # validation starts worker processes on macOS and Windows
    model = YOLO("yolo26n.pt")  # or runs/detect/pills_v1/weights/best.pt
    for name, quantize in (("FP32", None), ("FP16", 16), ("INT8", 8)):
        path = model.export(format="openvino", quantize=quantize, data="coco8.yaml")  # or my_dataset/data.yaml
        m = YOLO(path).val(data="coco8.yaml", batch=1, plots=False, verbose=False)  # before the next export overwrites it
        print(f"{name}: mAP50-95 {m.box.map:.4f}  -> {path}")

OpenVINO: export success ✅ 2.3s, saved as 'yolo26n_openvino_model/' (9.6 MB)
FP32: mAP50-95 0.6783  -> yolo26n_openvino_model/
OpenVINO: export success ✅ 1.6s, saved as 'yolo26n_openvino_model/' (5.1 MB)
FP16: mAP50-95 0.6783  -> yolo26n_openvino_model/
WARNING ⚠️ OpenVINO: >300 images recommended for INT8 calibration, found 4 images.
OpenVINO: export success ✅ 11.3s, saved as 'yolo26n_int8_openvino_model/' (3.2 MB)
INT8: mAP50-95 0.6460  -> yolo26n_int8_openvino_model/

O que cada linha informa:

• FP32 e FP16 obtêm a mesma pontuação, e o FP16 ocupa metade do espaço (5,1 contra 9,6 MB), mas ambos foram gravados na mesma pasta. Se tivesses exportado os dois primeiro e validado depois, terias medido o FP16 duas vezes.
• O INT8 ocupa 3,2 MB e perdeu 3,2 pontos, porque foi calibrado com as quatro imagens do COCO8. O aviso explica o motivo: uma calibração real precisa de centenas de imagens semelhantes às de produção, do teu próprio YAML (fraction limita o número de imagens utilizadas).
• Nada disto mede a velocidade. Para isso, usa o benchmark abaixo.

Para executar um modelo exportado num dispositivo Intel específico:

from ultralytics import YOLO

ov_model = YOLO("yolo26n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:cpu")  # ou intel:gpu, intel:npu

Distribui a pasta inteira: yolo26n.xml (o grafo), yolo26n.bin (os pesos) e metadata.yaml. intel:gpu e intel:npu requerem hardware Intel.

Compara o desempenho com o ONNX Runtime#

A precisão está definida; a velocidade determina-se no dispositivo de destino, sob a carga real que terá de suportar. Executa pick_runtime.py da primeira lição com CANDIDATES = ("onnx", "openvino"). No portátil de teste com Apple silicon, enquanto outros trabalhos partilhavam a CPU:

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

O OpenVINO teve uma mediana melhor e uma cauda muito pior. O wrapper Ultralytics compila o OpenVINO com a sugestão LATENCY (o registo indica Using OpenVINO LATENCY mode for batch=1 inference on CPU), que distribui cada pedido pelos núcleos da CPU; quando outros trabalhos concorrem por esses núcleos, os pedidos mais lentos são os mais afetados. Num computador Intel dedicado, os resultados costumam ser semelhantes aos publicados acima, mas só a tua própria p95 te pode dar essa certeza.

Regras de decisão:

Armadilhas#