Bereitstellungsziel auswählen

Beim Gerät ansetzen#

Die Laufzeitumgebung richtet sich danach, wo die Inferenz ausgeführt wird, nicht nach Gewohnheit. Gehe den Entscheidungsbaum von oben durch und halte beim ersten Treffer an:

Jede Laufzeitumgebung ist in Exportmodus einem Wert für format= zugeordnet:

Auf aktuellen Apple-Plattformen kannst du auch in Apples neueres Format Core AI exportieren (format=coreai, exportiert unter macOS 26+ auf Apple Silicon oder unter x86-64 Linux). Du bist neu beim Exportieren? Die Lektion Export für die Bereitstellung behandelt die Grundlagen.

Wenn du Inferenzserver ganz vermeiden möchtest, stellt die Ultralytics Platform ein Modell als dedizierten Endpunkt in einer von 42 Regionen bereit. Auf dem Tab „Deployments“ deines Profils siehst du, wo die einzelnen Endpunkte ausgeführt werden:

Dieser Weg wird unter Endpunkt bereitstellen und aufrufen behandelt. Der Rest dieses Kurses ist für den Fall gedacht, dass du das Modell selbst ausführst.

Das FPS-Ziel in ein Millisekundenbudget umrechnen#

„Echtzeit“ ist keine Anforderung; eine Zahl schon. Berechne sie, bevor du irgendetwas benchmarkst:

Wende anschließend diese Entscheidungsregeln an:

• Wenn YOLO26n auf der Geräte-CPU mehr als dein Modellbudget benötigt, wechsle zu einem Beschleuniger (GPU, iGPU, NPU) oder verkleinere zuerst imgsz; die YOLO26-Benchmarks geben für YOLO26n 38.9 ms auf einer CPU mit ONNX und 1.7 ms auf einer T4 mit TensorRT an.
• Wenn ein Gerät mehrere Kameras bedienen muss, teile das Modellbudget durch die Anzahl der Kameras.
• Wenn der Gerätepark mehr als eine Handvoll Gerätetypen umfasst, bevorzuge Laufzeitumgebungen, die keine gerätespezifischen Builds erfordern, oder plane einen Build pro Geräteklasse ein.
• Wenn der aufrufende Code in Swift, Kotlin oder C++ geschrieben ist, prüfe vor der Entscheidung das SDK der Laufzeitumgebung auf Unterstützung dieser Sprache.

Kandidaten auf dem Gerät benchmarken#

Technische Datenblätter und Benchmarks anderer sind ein Ausgangspunkt. Entscheidend ist die Hardware, auf der du das Modell bereitstellen willst, und zwar anhand der langsamen Frames, nicht des Durchschnitts: Eine Laufzeitumgebung, die im Median schnell ist, aber bei einem von zwanzig Frames stockt, wird weiterhin Frames verwerfen. Dieses Skript exportiert jeden Kandidaten, misst die Zeit für 100 Inferenzen mit einem echten Frame und bewertet jeden anhand seines 95. Perzentils (p95):

from ultralytics import YOLO
from ultralytics.utils.downloads import safe_download

BUDGET_MS = 30  # the model's share of a 20 FPS frame budget
CANDIDATES = ("onnx", "openvino")  # runtimes the decision tree allows on this machine

if __name__ == "__main__":  # exports and inference can start worker processes on macOS and Windows
    frame = str(safe_download("https://ultralytics.com/images/bus.jpg"))  # use a real frame from your camera
    for fmt in CANDIDATES:
        model = YOLO(YOLO("yolo26n.pt").export(format=fmt))
        for _ in range(5):  # warm up: the first calls include one-time setup
            model(frame, verbose=False)
        runs = sorted(model(frame, verbose=False)[0].speed["inference"] for _ in range(100))
        p50, p95 = runs[49], runs[94]
        verdict = "meets" if p95 <= BUDGET_MS else "misses"
        print(f"{fmt:9s} p50 {p50:5.1f} ms  p95 {p95:5.1f} ms  {verdict} the {BUDGET_MS} ms budget")

Auf dem Apple-Silicon-Laptop, mit dem dieser Kurs getestet wurde, während andere Aufträge die CPU mitbenutzten:

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

Gehe die Ergebnisse Zeile für Zeile durch:

• speed["inference"] ist die reine Laufzeit des Modells für diesen Frame, ohne Dekodierung oder Zeichnen. So lassen sich Laufzeitumgebungen fair vergleichen.
• OpenVINO liegt beim Median vorn, beim p95 aber um mehr als den Faktor zwei zurück. Nach Durchschnittswerten beurteilt, würdest du die Laufzeitumgebung bereitstellen, die bei hoher Auslastung stockt; nach p95 beurteilt, ist ONNX Runtime auf diesem Rechner die stabilere Wahl.
• Beide überschreiten das Budget. Der nächste Schritt ist hier also ein kleineres imgsz, ein Beschleuniger oder weniger Kameras pro Gerät – nicht eine weitere CPU-Laufzeitumgebung.

Für einen schnellen Vergleich von Genauigkeit und Geschwindigkeit über verschiedene Formate exportiert, validiert und misst der Benchmarkmodus jedes Format:

yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=onnx

Entferne format=, um alle vom Rechner unterstützten Formate zu testen. COCO8 enthält nur vier Validierungsbilder; betrachte die mAP-Spalte daher als einfachen Funktionstest und verwende für Entscheidungen zur Genauigkeit deine eigene Dataset-YAML-Datei.

Stolperfallen#

Bei Edge-Geräten kommen vier Fragen hinzu#

Die Leitfäden zu Raspberry Pi, NVIDIA Jetson und DeepStream auf Jetson behandeln die gängigen Zielgeräte ausführlich. Bevor du dich für ein Edge-Gerät entscheidest, beantworte folgende Fragen:

• Kaltstart: Wo wird die TensorRT-Engine erstellt, und wer muss darauf warten?
• Stromversorgung und Wärme: Kann das Gehäuse das Modell den ganzen Tag bei voller FPS-Rate betreiben?
• Speicher: Ist neben dem Modell genug Platz für Frame-Puffer und den Zustand des Trackers? INT8 halbiert den Speicheranteil des Modells.
• Aktualisierungen: Wie kommt ein neues best.pt auf 1.000 Geräte? Ein Docker-Image sorgt für eine einheitliche Umgebung.