OpenVINO на CPU

Что даёт OpenVINO#

OpenVINO запускает модели из PyTorch и ONNX на CPU Intel, встроенных и дискретных GPU, а также NPU через единый API. Ядра CPU рассчитаны на наборы инструкций Intel (AVX2, AVX-512, AMX), а поддержка INT8 хорошо отлажена. Обрати внимание на блок ARM в столбце CPU: OpenVINO работает и на ARM, но его ядра оптимизированы для Intel, поэтому сначала измерь производительность.

Опубликованный бенчмарк на CPU Intel Core Ultra 7 155H (COCO128):

Из этой таблицы следуют три правила:

• Один только OpenVINO FP32 примерно вдвое снижает задержку PyTorch на CPU Intel. Начни с него.
• Чем крупнее модель, тем выгоднее INT8: ускорение в 1,2 раза для n и в 2,9 раза для m ценой 1,2–1,7 пункта mAP. Для n INT8 редко оправдывает потерю точности.
• Сначала попробуй встроенный GPU, прежде чем покупать оборудование: Arc iGPU (device="intel:gpu") на том же чипе запускал YOLO26n FP32 за 9.13 мс, а YOLO26m — за 34.47 мс.

Сравни точность на своём CPU#

Экспортируй каждый вариант точности, сразу проверяй его и только потом экспортируй следующий:

from ultralytics import YOLO

if __name__ == "__main__":  # validation starts worker processes on macOS and Windows
    model = YOLO("yolo26n.pt")  # or runs/detect/pills_v1/weights/best.pt
    for name, quantize in (("FP32", None), ("FP16", 16), ("INT8", 8)):
        path = model.export(format="openvino", quantize=quantize, data="coco8.yaml")  # or my_dataset/data.yaml
        m = YOLO(path).val(data="coco8.yaml", batch=1, plots=False, verbose=False)  # before the next export overwrites it
        print(f"{name}: mAP50-95 {m.box.map:.4f}  -> {path}")

OpenVINO: export success ✅ 2.3s, saved as 'yolo26n_openvino_model/' (9.6 MB)
FP32: mAP50-95 0.6783  -> yolo26n_openvino_model/
OpenVINO: export success ✅ 1.6s, saved as 'yolo26n_openvino_model/' (5.1 MB)
FP16: mAP50-95 0.6783  -> yolo26n_openvino_model/
WARNING ⚠️ OpenVINO: >300 images recommended for INT8 calibration, found 4 images.
OpenVINO: export success ✅ 11.3s, saved as 'yolo26n_int8_openvino_model/' (3.2 MB)
INT8: mAP50-95 0.6460  -> yolo26n_int8_openvino_model/

Что показывает каждая строка:

• FP32 и FP16 показывают одинаковую точность, а FP16 занимает вдвое меньше места (5.1 против 9.6 МБ), но оба варианта записывались в одну папку. Если бы ты сначала экспортировал оба, а проверил позже, то дважды измерил бы FP16.
• INT8 занимает 3.2 МБ и потерял 3.2 пункта точности, потому что калибровка проводилась на четырёх изображениях из COCO8. Об этом предупреждает сообщение: для реальной калибровки нужны сотни похожих на производственные изображений из твоего YAML-файла (fraction ограничивает их количество).
• Ничто из этого не измеряет скорость. Для этого используй бенчмарк ниже.

Чтобы запускать экспортированную модель на конкретном устройстве Intel:

from ultralytics import YOLO

ov_model = YOLO("yolo26n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:cpu")  # or intel:gpu, intel:npu

Отправляй всю папку: yolo26n.xml (граф), yolo26n.bin (веса) и metadata.yaml. Для intel:gpu и intel:npu требуется оборудование Intel.

Сравни производительность с ONNX Runtime#

Точность уже проверена; скорость нужно измерять на целевом устройстве под реальной нагрузкой. Запусти pick_runtime.py из первого урока с CANDIDATES = ("onnx", "openvino"). На тестовом ноутбуке с Apple silicon, пока другие задачи использовали тот же CPU:

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

У OpenVINO была лучше медианная задержка, но значительно хуже задержка в хвосте распределения. Обёртка Ultralytics компилирует OpenVINO с подсказкой LATENCY (в журнале указано Using OpenVINO LATENCY mode for batch=1 inference on CPU), распределяя каждый запрос по ядрам CPU; когда за эти ядра конкурируют другие задачи, сильнее всего страдают самые медленные запросы. На выделенном компьютере Intel результаты обычно ближе к опубликованным выше, но узнать это можно только по собственным измерениям p95.

Правила выбора:

Подводные камни#