OpenVINO su CPU

Cosa offre OpenVINO#

OpenVINO esegue modelli PyTorch e ONNX su CPU Intel, GPU integrate e dedicate e NPU tramite una sola API. I kernel per CPU supportano i set di istruzioni Intel (AVX2, AVX-512, AMX) e il percorso INT8 è maturo. Nota il riquadro ARM nella colonna CPU: OpenVINO funziona anche su ARM, ma i suoi kernel sono ottimizzati per Intel, quindi misura le prestazioni prima di farci affidamento.

Il benchmark pubblicato su una CPU Intel Core Ultra 7 155H (COCO128):

Da questa tabella emergono tre regole:

• OpenVINO FP32 da solo dimezza circa la latenza di PyTorch su una CPU Intel. Inizia da qui.
• INT8 offre più vantaggi con i modelli più grandi: 1,2× per n, 2,9× per m, al costo di 1,2–1,7 punti mAP. Per n, INT8 raramente vale la perdita di precisione.
• Prova la GPU integrata prima di acquistare hardware: la GPU integrata Arc (iGPU) dello stesso chip (device="intel:gpu") ha eseguito YOLO26n FP32 in 9.13 ms e YOLO26m in 34.47 ms.

Confronta i livelli di precisione sulla tua CPU#

Esporta ogni livello di precisione, convalidalo subito e solo dopo esporta il successivo:

from ultralytics import YOLO

if __name__ == "__main__":  # validation starts worker processes on macOS and Windows
    model = YOLO("yolo26n.pt")  # or runs/detect/pills_v1/weights/best.pt
    for name, quantize in (("FP32", None), ("FP16", 16), ("INT8", 8)):
        path = model.export(format="openvino", quantize=quantize, data="coco8.yaml")  # or my_dataset/data.yaml
        m = YOLO(path).val(data="coco8.yaml", batch=1, plots=False, verbose=False)  # before the next export overwrites it
        print(f"{name}: mAP50-95 {m.box.map:.4f}  -> {path}")

OpenVINO: export success ✅ 2.3s, saved as 'yolo26n_openvino_model/' (9.6 MB)
FP32: mAP50-95 0.6783  -> yolo26n_openvino_model/
OpenVINO: export success ✅ 1.6s, saved as 'yolo26n_openvino_model/' (5.1 MB)
FP16: mAP50-95 0.6783  -> yolo26n_openvino_model/
WARNING ⚠️ OpenVINO: >300 images recommended for INT8 calibration, found 4 images.
OpenVINO: export success ✅ 11.3s, saved as 'yolo26n_int8_openvino_model/' (3.2 MB)
INT8: mAP50-95 0.6460  -> yolo26n_int8_openvino_model/

Cosa indica ogni riga:

• FP32 e FP16 ottengono lo stesso punteggio e FP16 occupa metà dello spazio (5.1 contro 9.6 MB), ma entrambi sono stati scritti nella stessa cartella. Se li avessi esportati entrambi prima di convalidarli in seguito, avresti misurato FP16 due volte.
• INT8 occupa 3.2 MB e ha perso 3.2 punti, perché è stato calibrato sulle quattro immagini di COCO8. L'avviso lo segnala: una calibrazione reale richiede centinaia di immagini simili a quelle di produzione, tratte dal tuo YAML (fraction limita il numero di immagini usate).
• Nessuna di queste misurazioni riguarda la velocità. Per misurarla, usa il benchmark qui sotto.

Per eseguire un modello esportato su un dispositivo Intel specifico:

from ultralytics import YOLO

ov_model = YOLO("yolo26n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:cpu")  # oppure intel:gpu, intel:npu

Distribuisci l'intera cartella: yolo26n.xml (il grafo), yolo26n.bin (i pesi) e metadata.yaml. intel:gpu e intel:npu richiedono hardware Intel.

Misura le prestazioni rispetto a ONNX Runtime#

La precisione è assodata; la velocità si determina sul dispositivo di destinazione, sotto il carico effettivo previsto. Esegui pick_runtime.py della prima lezione con CANDIDATES = ("onnx", "openvino"). Sul laptop di test con chip Apple, mentre altri processi condividevano la CPU:

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

OpenVINO ha avuto una mediana migliore, ma una coda molto peggiore. Il wrapper Ultralytics compila OpenVINO con il suggerimento LATENCY (il log mostra Using OpenVINO LATENCY mode for batch=1 inference on CPU), distribuendo ogni richiesta sui core della CPU; quando altri processi competono per quei core, le richieste più lente ne risentono maggiormente. Su un sistema Intel dedicato, i risultati sono di solito quelli pubblicati sopra, ma solo il tuo p95 può dirtelo.

Regole per decidere:

Insidie#