CPU'da OpenVINO

OpenVINO Ne Sağlar?#

OpenVINO, PyTorch ve ONNX modellerini alır ve tek bir API üzerinden Intel CPU'larda, tümleşik ve ayrı GPU'larda ve NPU'larda çalıştırır. CPU çekirdekleri Intel komut kümelerini (AVX2, AVX-512, AMX) hedefler ve INT8 yolu olgunlaşmıştır. CPU sütunundaki ARM kutucuğuna dikkat et: OpenVINO ARM'de de çalışır, ancak çekirdekleri Intel için ayarlanmıştır; bu yüzden ARM'de ona güvenmeden önce ölçüm yap.

Intel Core Ultra 7 155H CPU'da yayımlanan kıyaslama sonucu (COCO128):

Bu tablodan üç kural çıkıyor:

• OpenVINO FP32, Intel CPU'da PyTorch gecikmesini tek başına yaklaşık yarıya indirir. Önce bunu dene.
• Model büyüdükçe INT8 daha fazla kazanç sağlar: n için 1,2×, m için 2,9× hız; bunun karşılığında 1,2–1,7 mAP puanı kaybedilir. n üzerinde INT8, doğruluk kaybına nadiren değer.
• Donanım almadan önce tümleşik GPU'yu dene: aynı çipteki Arc iGPU (device="intel:gpu"), YOLO26n FP32'yi 9,13 ms'de, YOLO26m'yi ise 34,47 ms'de çalıştırdı.

Hassasiyetleri Kendi CPU'nda Karşılaştır#

Her hassasiyeti dışa aktar, hemen doğrula ve ancak bundan sonra sıradakini dışa aktar:

from ultralytics import YOLO

if __name__ == "__main__":  # validation starts worker processes on macOS and Windows
    model = YOLO("yolo26n.pt")  # or runs/detect/pills_v1/weights/best.pt
    for name, quantize in (("FP32", None), ("FP16", 16), ("INT8", 8)):
        path = model.export(format="openvino", quantize=quantize, data="coco8.yaml")  # or my_dataset/data.yaml
        m = YOLO(path).val(data="coco8.yaml", batch=1, plots=False, verbose=False)  # before the next export overwrites it
        print(f"{name}: mAP50-95 {m.box.map:.4f}  -> {path}")

OpenVINO: export success ✅ 2.3s, saved as 'yolo26n_openvino_model/' (9.6 MB)
FP32: mAP50-95 0.6783  -> yolo26n_openvino_model/
OpenVINO: export success ✅ 1.6s, saved as 'yolo26n_openvino_model/' (5.1 MB)
FP16: mAP50-95 0.6783  -> yolo26n_openvino_model/
WARNING ⚠️ OpenVINO: >300 images recommended for INT8 calibration, found 4 images.
OpenVINO: export success ✅ 11.3s, saved as 'yolo26n_int8_openvino_model/' (3.2 MB)
INT8: mAP50-95 0.6460  -> yolo26n_int8_openvino_model/

Her satırın gösterdiği:

• FP32 ve FP16 aynı sonucu verir ve FP16'nın boyutu yarısıdır (5,1'e karşı 9,6 MB); ancak ikisi de aynı klasöre yazılmıştır. Önce ikisini de dışa aktarıp sonra doğrulasaydın FP16'yı iki kez ölçmüş olacaktın.
• INT8 3,2 MB boyutundadır ve 3,2 puan kaybettirdi, çünkü COCO8'in dört görüntüsüyle kalibre edildi. Uyarı bunu belirtiyor: doğru kalibrasyon için kendi YAML dosyandan yüzlerce üretim benzeri görüntü gerekir (fraction kullanılacak görüntü sayısını sınırlar).
• Bunların hiçbiri hızı ölçmez. Bunun için aşağıdaki kıyaslamayı kullan.

Dışa aktarılan bir modeli belirli bir Intel aygıtında çalıştırmak için:

from ultralytics import YOLO

ov_model = YOLO("yolo26n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:cpu")  # veya intel:gpu, intel:npu

Klasörün tamamını dağıt: yolo26n.xml (graf), yolo26n.bin (ağırlıklar) ve metadata.yaml. intel:gpu ve intel:npu için Intel donanımı gerekir.

ONNX Runtime ile Süreyi Karşılaştır#

Doğruluk konusu tamam; hızı hedef cihazda ve gerçekten taşıyacağı yük altında belirlersin. İlk dersteki pick_runtime.py komutunu CANDIDATES = ("onnx", "openvino") ile çalıştır. CPU'yu başka işlerin de kullandığı Apple silicon test dizüstü bilgisayarında sonuçlar şöyleydi:

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

OpenVINO'nun medyanı daha iyiydi, ancak kuyruk gecikmesi çok daha kötüydü. Ultralytics sarmalayıcısı OpenVINO'yu LATENCY ipucuyla derler (günlükte Using OpenVINO LATENCY mode for batch=1 inference on CPU yazar); bu, her isteği CPU çekirdeklerine yayar. Başka işler bu çekirdekler için yarıştığında en yavaş istekler en çok etkilenir. Özel bir Intel bilgisayarda sonuçlar genellikle yukarıda yayımlanan değerlere benzer, ancak bunu yalnızca kendi p95 ölçümün gösterebilir.

Karar kuralları:

Yaygın Hatalar#