CPUでOpenVINOを使用する

OpenVINOが提供するもの#

OpenVINOはPyTorchやONNXのモデルを、単一のAPIを通じてIntel CPU、内蔵およびディスクリートGPU、NPU上で実行します。CPUカーネルはIntelの命令セット（AVX2、AVX-512、AMX）を対象としており、INT8の実装も成熟しています。CPU列のARMタイルに注目してください。OpenVINOはARMでも動作しますが、カーネルはIntel向けに最適化されています。ARMで利用する場合は、事前に計測してください。

Intel Core Ultra 7 155H CPU上で公開されているベンチマーク（COCO128）：

この表から、次の3つのルールが導けます。

• Intel CPUでは、OpenVINO FP32だけでもPyTorchのレイテンシがおよそ半分になります。まずはこれを試してください。
• モデルが大きいほどINT8の効果が高まります。nでは1.2倍、mでは2.9倍高速化し、mAPの低下は1.2～1.7ポイントです。nでは、精度低下を考えるとINT8が見合うことはほとんどありません。
• ハードウェアを購入する前に内蔵GPUを試してください。同じチップのArc iGPU（device="intel:gpu"）では、YOLO26n FP32を9.13 ms、YOLO26mを34.47 msで実行しました。

使用するCPUで精度モードを比較する#

各精度のモデルをエクスポートしたら、次のモデルをエクスポートする前にすぐ検証してください。

from ultralytics import YOLO

if __name__ == "__main__":  # validation starts worker processes on macOS and Windows
    model = YOLO("yolo26n.pt")  # or runs/detect/pills_v1/weights/best.pt
    for name, quantize in (("FP32", None), ("FP16", 16), ("INT8", 8)):
        path = model.export(format="openvino", quantize=quantize, data="coco8.yaml")  # or my_dataset/data.yaml
        m = YOLO(path).val(data="coco8.yaml", batch=1, plots=False, verbose=False)  # before the next export overwrites it
        print(f"{name}: mAP50-95 {m.box.map:.4f}  -> {path}")

OpenVINO: export success ✅ 2.3s, saved as 'yolo26n_openvino_model/' (9.6 MB)
FP32: mAP50-95 0.6783  -> yolo26n_openvino_model/
OpenVINO: export success ✅ 1.6s, saved as 'yolo26n_openvino_model/' (5.1 MB)
FP16: mAP50-95 0.6783  -> yolo26n_openvino_model/
WARNING ⚠️ OpenVINO: >300 images recommended for INT8 calibration, found 4 images.
OpenVINO: export success ✅ 11.3s, saved as 'yolo26n_int8_openvino_model/' (3.2 MB)
INT8: mAP50-95 0.6460  -> yolo26n_int8_openvino_model/

各行でわかること：

• FP32とFP16のスコアは同じで、FP16のサイズは半分です（5.1 MB対9.6 MB）。ただし、両方が同じフォルダーに書き込まれていました。両方を先にエクスポートし、後で検証していたら、FP16を2回計測していたことになります。
• INT8は3.2 MBですが、3.2ポイント低下しました。COCO8の4枚の画像でキャリブレーションしたためです。警告にもその旨が記載されています。実際のキャリブレーションには、独自のYAML（fractionで使用枚数を制限できます）から取得した、本番環境に近い画像が数百枚必要です。
• これらの結果から速度は分かりません。速度の計測には、以下のベンチマークを使用してください。

エクスポートしたモデルを特定のIntelデバイスで実行するには、次のようにします。

from ultralytics import YOLO

ov_model = YOLO("yolo26n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:cpu")  # or intel:gpu, intel:npu

フォルダー全体を配布してください：yolo26n.xml（グラフ）、yolo26n.bin（重み）、metadata.yaml。intel:gpuとintel:npuにはIntelハードウェアが必要です。

ONNX Runtimeと比較して計測する#

精度の評価が済んだら、実際に処理する負荷をかけた状態で、ターゲット上で速度を評価します。最初のレッスンのpick_runtime.pyをCANDIDATES = ("onnx", "openvino")とともに実行してください。Appleシリコン搭載のテスト用ノートPCで、ほかのジョブがCPUを共有している状態で計測した結果は次のとおりです。

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

OpenVINOは中央値が優れていましたが、テールレイテンシは大幅に悪化しました。UltralyticsのラッパーはLATENCYヒントを使ってOpenVINOをコンパイルします（ログにはUsing OpenVINO LATENCY mode for batch=1 inference on CPUと表示されます）。この設定では各リクエストがCPUコア全体に分散されるため、ほかの処理が同じコアを使用すると、最も遅いリクエストへの影響が最大になります。専用のIntelマシンでは通常、上記の公開結果に近い傾向になりますが、実際のp95は自分で計測しなければ分かりません。

判断の目安：

よくある落とし穴#