OpenVINO sur CPU

Ce qu’apporte OpenVINO#

OpenVINO prend en charge les modèles PyTorch et ONNX et les exécute sur les CPU Intel, les GPU intégrés et discrets, ainsi que les NPU, via une seule API. Ses noyaux CPU ciblent les jeux d’instructions Intel (AVX2, AVX-512, AMX), et sa prise en charge d’INT8 est mature. Remarque la case ARM dans la colonne CPU : OpenVINO fonctionne aussi sur ARM, mais ses noyaux sont optimisés pour Intel ; mesure donc les performances avant de t’y fier.

Le benchmark publié sur un CPU Intel Core Ultra 7 155H (COCO128) :

Trois règles se dégagent de ce tableau :

• OpenVINO FP32 réduit à lui seul de moitié environ la latence de PyTorch sur un CPU Intel. Commence par là.
• INT8 est d’autant plus avantageux que le modèle est grand : 1,2× pour n, 2,9× pour m, au prix de 1,2 à 1,7 point de mAP. Sur n, INT8 vaut rarement le coût en précision.
• Essaie le GPU intégré avant d’acheter du matériel : l’iGPU Arc (device="intel:gpu") de la même puce a exécuté YOLO26n FP32 en 9,13 ms et YOLO26m en 34,47 ms.

Compare les précisions sur ton propre CPU#

Exporte chaque précision, valide-la immédiatement, puis seulement après exporte la suivante :

from ultralytics import YOLO

if __name__ == "__main__":  # validation starts worker processes on macOS and Windows
    model = YOLO("yolo26n.pt")  # or runs/detect/pills_v1/weights/best.pt
    for name, quantize in (("FP32", None), ("FP16", 16), ("INT8", 8)):
        path = model.export(format="openvino", quantize=quantize, data="coco8.yaml")  # or my_dataset/data.yaml
        m = YOLO(path).val(data="coco8.yaml", batch=1, plots=False, verbose=False)  # before the next export overwrites it
        print(f"{name}: mAP50-95 {m.box.map:.4f}  -> {path}")

OpenVINO: export success ✅ 2.3s, saved as 'yolo26n_openvino_model/' (9.6 MB)
FP32: mAP50-95 0.6783  -> yolo26n_openvino_model/
OpenVINO: export success ✅ 1.6s, saved as 'yolo26n_openvino_model/' (5.1 MB)
FP16: mAP50-95 0.6783  -> yolo26n_openvino_model/
WARNING ⚠️ OpenVINO: >300 images recommended for INT8 calibration, found 4 images.
OpenVINO: export success ✅ 11.3s, saved as 'yolo26n_int8_openvino_model/' (3.2 MB)
INT8: mAP50-95 0.6460  -> yolo26n_int8_openvino_model/

Ce que chaque ligne t’indique :

• FP32 et FP16 obtiennent le même score, et FP16 occupe deux fois moins d’espace (5,1 contre 9,6 Mo), mais les deux ont été enregistrés dans le même dossier. Si tu avais d’abord exporté les deux modèles avant de les valider, tu aurais mesuré deux fois FP16.
• INT8 fait 3,2 Mo et a perdu 3,2 points, car son étalonnage reposait sur les quatre images de COCO8. L’avertissement le signale : un véritable étalonnage nécessite des centaines d’images représentatives de la production issues de ton propre fichier YAML (fraction limite leur nombre).
• Rien de tout cela ne mesure la vitesse. Pour cela, utilise le benchmark ci-dessous.

Pour exécuter un modèle exporté sur un périphérique Intel précis :

from ultralytics import YOLO

ov_model = YOLO("yolo26n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:cpu")  # or intel:gpu, intel:npu

Déploie le dossier complet : yolo26n.xml (le graphe), yolo26n.bin (les poids) et metadata.yaml. intel:gpu et intel:npu nécessitent du matériel Intel.

Mesure les performances par rapport à ONNX Runtime#

La précision est établie ; la vitesse se mesure sur la cible, dans les conditions de charge réelles. Exécute pick_runtime.py de la première leçon avec CANDIDATES = ("onnx", "openvino"). Sur l’ordinateur portable de test avec puce Apple, tandis que d’autres tâches partageaient le CPU :

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

OpenVINO avait une meilleure médiane, mais une queue de distribution nettement plus mauvaise. Le wrapper Ultralytics compile OpenVINO avec l’indication LATENCY (le journal affiche Using OpenVINO LATENCY mode for batch=1 inference on CPU), ce qui répartit chaque requête sur les cœurs du CPU ; lorsque d’autres tâches se disputent ces cœurs, les requêtes les plus lentes en pâtissent le plus. Sur une machine Intel dédiée, les résultats sont généralement ceux publiés ci-dessus, mais seul ton propre p95 peut te renseigner.

Règles de décision :

Pièges#