Inferenz auf Videos ausführen

Beispiel: Vorhersagen auf einer Videodatei#

Videos werden wie Bilder im selben Predict-Modus verarbeitet. Dieser Clip mit 62 Bildern zeigt Menschen, die ein Atrium durchqueren:

yolo predict model=yolo26n.pt source=https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4

video 1/1 (frame 1/62) solutions_ci_demo.mp4: 384x640 22 persons, 27.3ms
...
video 1/1 (frame 62/62) solutions_ci_demo.mp4: 384x640 22 persons, 54.8ms
Results saved to runs/detect/predict

• frame 1/62: Ultralytics dekodiert das Video und verarbeitet jedes Bild wie ein Einzelbild.
• 22 persons: Erkennungen in diesem Bild. Dieselben Passanten werden in jedem Bild erneut gezählt.
• 27.3ms ... 54.8ms: Die Zeit pro Bild variiert je nachdem, womit der Rechner sonst beschäftigt ist.

Das annotierte Video ist runs/detect/predict/solutions_ci_demo.mp4. Dein eigenes Modell funktioniert genauso: Ersetze yolo26n.pt durch runs/detect/pills_v1/weights/best.pt.

Lange und Live-Quellen streamen#

Wenn dein Code mit Erkennungen arbeitet, durchlaufe einen Stream. Bei jeder Iteration wird das Results eines Bildes geliefert und anschließend verworfen:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
source = "https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4"

frames, people = 0, 0
for result in model(source, stream=True, classes=[0], verbose=False):  # one Results object per frame
    frames += 1
    people += len(result.boxes)
print(f"{frames} frames, {people / frames:.1f} people per frame")

62 frames, 22.2 people per frame

Dieselbe Schleife akzeptiert einen Webcam-Index (source=0) oder eine Kamera-URL wie rtsp://camera.local/stream und läuft, bis der Stream endet oder du ihn stoppst. Füge vid_stride=2 hinzu, um nur jedes zweite Bild zu verarbeiten. Der Leitfaden zur Live-Inferenz mit Streamlit verpackt diese Schleife in eine App für eine Browseroberfläche.

Beispiel: Jede Person nur einmal zählen#

„22 Personen pro Bild“ ist nicht die Zahl, die jemand wissen möchte; gefragt ist: „Wie viele Personen sind hindurchgegangen?“ Multi-Objekt-Verfolgung verknüpft Boxen über mehrere Bilder hinweg, und der Track-Modus weist jedem Objekt in boxes.id eine ID zu:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
source = "https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4"

seen = set()
for result in model.track(source, stream=True, persist=True, classes=[0], tracker="bytetrack.yaml", verbose=False):
    if result.boxes.is_track:
        seen.update(result.boxes.id.int().tolist())
print(f"{len(seen)} unique people tracked")

32 unique people tracked

is_track ist False für Bilder, bevor ein Track bestätigt wurde, wenn boxes.id None ist. Verwende die IDs zum Zählen, für Trajektorien oder für Logik wie „Dieses Objekt ist seit 3 Sekunden hier“.

Wenn du tracker weglässt, verwendet Ultralytics tracktrack.yaml, die aktuelle Standardeinstellung; im Track-Modus sind außerdem ocsort.yaml, deepocsort.yaml und fasttrack.yaml enthalten. Die Auswahl und Feinabstimmung von Trackern sowie die darauf aufbauende Objektzählung, Heatmaps und Geschwindigkeitsschätzung werden in Objekte mit ByteTrack, BoT-SORT und TrackTrack verfolgen behandelt.

Beispiel: Deine eigene Kameraschleife#

Reale Anwendungen lesen Bilder oft selbst ein – etwa um sie zu skalieren, zuzuschneiden, mit Zeitstempeln zu versehen oder eine Kamera mit anderem Code gemeinsam zu nutzen – und übergeben sie dann einzeln an das Modell. persist=True hält den Tracker zwischen den Aufrufen am Leben:

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
cap = cv2.VideoCapture("solutions_ci_demo.mp4")  # saved locally by the commands above; or 0, or an rtsp:// URL

seen = set()
while cap.isOpened():
    ok, frame = cap.read()
    if not ok:
        break
    result = model.track(frame, persist=True, classes=[0], tracker="bytetrack.yaml", verbose=False)[0]
    if result.boxes.is_track:
        seen.update(result.boxes.id.int().tolist())
cap.release()
print(f"{len(seen)} unique people, highest ID {max(seen)}")

32 unique people, highest ID 67

Dieselben 32 Personen wie bei track.py. Beachte, dass die höchste ID 67 und nicht 32 ist: Der Tracker vergibt auch IDs für vorläufige Tracks, die nie bestätigt werden, sodass Lücken entstehen.

Mit der Quelle Schritt halten#

Eine 30-FPS-Kamera liefert alle 33 ms ein Bild, und deine effektive Rate entspricht der langsamsten Phase: Dekodierung, Inferenz oder Schreiben. Auf unserem Laptop mit CPU dauerte yolo26n je nach sonstiger Auslastung des Rechners bei verschiedenen Durchläufen 26 bis 46 ms pro Bild mit einer Auflösung von 384×640: Das liegt am oder über dem Zeitbudget, ohne Spielraum. Wenn dein System nicht mithalten kann, probiere diese Stellschrauben der Reihe nach aus:

Mehrere Kameras gleichzeitig und die dafür nötige Thread-Verarbeitung werden in Multi-Stream-Inferenz behandelt.

Diese Fehler vermeiden#