Kosten und Latenz optimieren

Zuerst die gesamte Pipeline messen#

Jedes Results-Objekt teilt seine eigene Laufzeit in Stufen auf:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4"
totals = {"preprocess": 0.0, "inference": 0.0, "postprocess": 0.0}
for n, r in enumerate(model.predict(video, stream=True, verbose=False), 1):
    for stage in totals:
        totals[stage] += r.speed[stage]
print({stage: round(ms / n, 1) for stage, ms in totals.items()}, "ms per frame")

{'preprocess': 0.7, 'inference': 36.1, 'postprocess': 0.7} ms per frame

Hier entfallen 95 % der Modelllaufzeit auf die Inferenz, daher helfen Stellschrauben am Modell. Miss Dekodierung und deine eigenen Senken auf dieselbe Weise (jeweils time.perf_counter() darum herum) und wende dann die passende Regel an:

Die Rangliste der Stellschrauben#

Probiere sie von oben nach unten aus und höre auf, sobald du dein Budget einhältst:

Die Zahlen stammen aus den Benchmarktabellen für YOLO26, TensorRT und OpenVINO sowie aus den folgenden Messungen; deine Ergebnisse werden abweichen, also miss selbst.

Kleineres Modell#

Die YOLO26-Benchmarktabelle auf COCO:

Auf der CPU ist jeder Schritt zur nächstkleineren Variante 2.2–2.5× schneller. Der Genauigkeitsabstand auf COCO stellt den ungünstigsten Fall dar: Ein Lagerdetektor mit 3 Klassen und großen Objekten verliert beim Wechsel von m zu n üblicherweise deutlich weniger als ein allgemeiner Detektor mit 80 Klassen. Daher solltest du das kleinere Modell immer mit deinem eigenen Validierungsdatensatz testen.

Kleinere Eingabegröße#

Der Rechenaufwand skaliert ungefähr mit der Pixelzahl, daher benötigt imgsz=480 etwa 56 % des Rechenaufwands von 640. Gemessen auf der CPU des Testlaptops mit ONNX Runtime bei Batchgröße 1 (Median aus 25 Durchläufen auf bus.jpg):

Entscheidungsregel: Wenn dein kleinstes wichtiges Objekt bei der neuen Größe noch etwa 10 Pixel oder mehr umfasst, probiere es aus; wenn die Objekte klein oder weit entfernt sind (Drohnen, Regale weit von der Kamera entfernt), behalte die Auflösung bei und verkleinere stattdessen das Modell.

Weniger Bilder#

Wenn die Inferenz deine Bildrate begrenzt und sich die Szene langsam bewegt, führe die Erkennung mit vid_stride=N nur in jedem N-ten Bild aus und lass den Tracker die Lücken überbrücken:

import time

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4"
model.predict(video, vid_stride=30, verbose=False)  # warm up so the first timing is fair

for stride in (1, 2, 3):
    start, ids, frames = time.perf_counter(), set(), 0
    for r in model.track(video, stream=True, vid_stride=stride, tracker="bytetrack.yaml", classes=[0], verbose=False):
        frames += 1
        if r.boxes.is_track:
            ids.update(r.boxes.id.int().tolist())
    print(f"vid_stride={stride}: {frames} frames in {time.perf_counter() - start:.2f} s, {len(ids)} person IDs")

vid_stride=1: 62 frames in 2.66 s, 32 person IDs
vid_stride=2: 31 frames in 1.19 s, 30 person IDs
vid_stride=3: 20 frames in 0.95 s, 28 person IDs

Bei der Hälfte der Bilder halbiert sich ungefähr auch der Zeitaufwand, und der Tracker behielt 30 von 32 Identitäten bei. Bei vid_stride=3 gingen 4 verloren – ein Zeichen dafür, dass du bei dieser Szene mit Gehgeschwindigkeit aufhören solltest.

Cloud-Kosten senken#

Die Kosten entsprechen den Instanzstunden geteilt durch die nützliche Arbeit. Eine Karte wie diese enthält die beiden benötigten Zahlen: die Kosten pro Stunde (hier 0.17 $ für 1 vCPU und 4 GiB) und die geleistete Arbeit (59 Anfragen in 24 Stunden bei 226 ms P95 – ein größtenteils ungenutzter Endpunkt). Dann:

• Auslastung erhöhen. Eine GPU mit 30 % Auslastung bedeutet, dass 70 % ihrer Kosten verschwendet werden. Bündle Streams (siehe frühere Lektionen) oder stelle sie über den Triton Inference Server bereit.
• Ressourcen passend dimensionieren. Führe Benchmarks auf einer kleineren GPU oder auf einer CPU mit OpenVINO aus, bevor du davon ausgehst, dass du eine große GPU benötigst.
• Nutze Spot- oder unterbrechbare Kapazitäten für Batch-Aufträge. Bei der erneuten Verarbeitung archivierter Videos sind Unterbrechungen tolerierbar; bei Live-Streams nicht.

Stolperfallen#