OpenVINO على وحدة CPU

ما الذي يقدمه OpenVINO#

يستقبل OpenVINO النماذج من PyTorch وONNX ويشغّلها على وحدات CPU من Intel، ووحدات GPU المدمجة والمنفصلة، ووحدات NPU عبر API واحدة. تستهدف أنوية CPU مجموعات تعليمات Intel (AVX2 وAVX-512 وAMX)، كما أن مسار INT8 ناضج. لاحظ مربع ARM في عمود CPU: يعمل OpenVINO على ARM أيضًا، لكن أنويته محسّنة لـ Intel؛ لذا قِس الأداء قبل الاعتماد عليه هناك.

المعيار المنشور على وحدة CPU من Intel Core Ultra 7 155H (COCO128):

تنبثق عن هذا الجدول ثلاث قواعد:

• يخفض OpenVINO FP32 وحده زمن استجابة PyTorch إلى النصف تقريبًا على وحدة CPU من Intel. ابدأ بذلك.
• تزداد فائدة INT8 مع كبر النموذج: 1.2× لـ n و2.9× لـ m، مقابل خسارة 1.2–1.7 نقطة mAP. أما على n فنادرًا ما تستحق INT8 خسارة الدقة.
• جرّب وحدة GPU المدمجة قبل شراء العتاد: شغّلت وحدة Arc iGPU (device="intel:gpu") في الشريحة نفسها YOLO26n بدقة FP32 خلال 9.13 مللي ثانية وYOLO26m خلال 34.47 مللي ثانية.

قارن الدقات على وحدة CPU الخاصة بك#

صدّر كل دقة، وتحقق من صلاحيتها فورًا، ثم صدّر الدقة التالية فقط:

from ultralytics import YOLO

if __name__ == "__main__":  # validation starts worker processes on macOS and Windows
    model = YOLO("yolo26n.pt")  # or runs/detect/pills_v1/weights/best.pt
    for name, quantize in (("FP32", None), ("FP16", 16), ("INT8", 8)):
        path = model.export(format="openvino", quantize=quantize, data="coco8.yaml")  # or my_dataset/data.yaml
        m = YOLO(path).val(data="coco8.yaml", batch=1, plots=False, verbose=False)  # before the next export overwrites it
        print(f"{name}: mAP50-95 {m.box.map:.4f}  -> {path}")

OpenVINO: export success ✅ 2.3s, saved as 'yolo26n_openvino_model/' (9.6 MB)
FP32: mAP50-95 0.6783  -> yolo26n_openvino_model/
OpenVINO: export success ✅ 1.6s, saved as 'yolo26n_openvino_model/' (5.1 MB)
FP16: mAP50-95 0.6783  -> yolo26n_openvino_model/
WARNING ⚠️ OpenVINO: >300 images recommended for INT8 calibration, found 4 images.
OpenVINO: export success ✅ 11.3s, saved as 'yolo26n_int8_openvino_model/' (3.2 MB)
INT8: mAP50-95 0.6460  -> yolo26n_int8_openvino_model/

ما الذي يخبرك به كل سطر:

• حققت FP32 وFP16 الدقة نفسها، وحجم FP16 نصف حجم FP32 (5.1 مقابل 9.6 ميغابايت)، لكنهما كُتبتا في المجلد نفسه. لو كنت قد صدّرت كليهما أولًا ثم تحققت منهما لاحقًا، لَقِست أداء FP16 مرتين.
• حجم INT8 هو 3.2 ميغابايت، وقد خسرت 3.2 نقطة، لأنها عُيّرت على الصور الأربع في COCO8. ويشير التحذير إلى ذلك: تتطلب المعايرة الفعلية مئات الصور التي تحاكي بيانات الإنتاج من ملف YAML الخاص بك (fraction يحدد الحد الأقصى لعدد الصور المستخدمة).
• لا يقيس أي مما سبق السرعة. استخدم المعيار أدناه لذلك.

لتشغيل نموذج مُصدّر على جهاز Intel محدد:

from ultralytics import YOLO

ov_model = YOLO("yolo26n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:cpu")  # or intel:gpu, intel:npu

اشحن المجلد بأكمله: yolo26n.xml (المخطط الحسابي)، وyolo26n.bin (الأوزان)، وmetadata.yaml. يتطلب intel:gpu وintel:npu عتاد Intel.

قارن زمن التنفيذ بـ ONNX Runtime#

حُسم أمر الدقة؛ أما السرعة فتُحدَّد على الجهاز المستهدف وتحت الحمل الذي سيواجهه فعلًا. شغّل pick_runtime.py من الدرس الأول مع CANDIDATES = ("onnx", "openvino"). على الحاسوب المحمول للاختبار المزود بمعالج Apple silicon، بينما كانت مهام أخرى تشارك وحدة CPU:

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

حقق OpenVINO وسيطًا أفضل وذيلًا أسوأ بكثير. يترجم غلاف Ultralytics نموذج OpenVINO باستخدام تلميح LATENCY (يشير السجل إلى Using OpenVINO LATENCY mode for batch=1 inference on CPU)، ما يوزع كل طلب على أنوية وحدة CPU؛ وعندما تنافسها أعمال أخرى على تلك الأنوية، تتأثر الطلبات الأبطأ أكثر من غيرها. يكون الأداء عادةً كما في النتائج المنشورة أعلاه على جهاز Intel مخصص، لكن زمن الاستجابة عند p95 الذي تقيسه بنفسك وحده يخبرك بالحقيقة.

قواعد اتخاذ القرار:

مواطن الخلل#