Die sieben Bildverarbeitungsaufgaben

Die sieben Aufgaben im Überblick#

Orientiere dich in der Tabelle an der Ausgabespalte – deine Ausgabezeile muss dazu passen.

Zwei Begriffspaare sorgen oft für Verwirrung. Instanz- und semantische Segmentierung: Die Instanzsegmentierung trennt jedes Objekt voneinander (drei Autos, drei Masken); die semantische Segmentierung ordnet Pixel nur einer Klasse zu (ein „Auto“-Bereich, keine Zählung). Detektion und OBB: Beide liefern eine Box pro Objekt, aber eine OBB ist an das Objekt gedreht. Das ist wichtig, wenn Objekte in Draufsichtbildern schräg liegen.

Eine API, sieben Ausgaben#

Ein Aufgabenwechsel bedeutet nicht, dass du auch das Werkzeug wechseln musst. Die Gewichtsdatei bestimmt, was zurückgegeben wird, und das Results-Objekt füllt das passende Attribut:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
outputs = ["probs", "boxes", "masks", "semantic_mask", "depth", "keypoints", "obb"]

for suffix in ["-cls", "", "-seg", "-sem", "-depth", "-pose", "-obb"]:
    weights = f"yolo26n{suffix}.pt"
    model = YOLO(weights)
    result = model(image, verbose=False)[0]
    filled = [name for name in outputs if getattr(result, name) is not None]
    print(f"{weights:18} task={model.task:9} -> {', '.join(filled)}")

yolo26n-cls.pt     task=classify  -> probs
yolo26n.pt         task=detect    -> boxes
yolo26n-seg.pt     task=segment   -> boxes, masks
yolo26n-sem.pt     task=semantic  -> semantic_mask
yolo26n-depth.pt   task=depth     -> depth
yolo26n-pose.pt    task=pose      -> boxes, keypoints
yolo26n-obb.pt     task=obb       -> obb

Sieh dir die rechte Spalte an: Auch Segmentierung und Posenschätzung liefern Boxen, denn sie ergänzen die Detektion um eine weitere Ausgabe. Semantische Segmentierung und Tiefenschätzung liefern überhaupt keine Ausgabe pro Objekt – sie beschreiben stattdessen jedes Pixel. Dein nachgelagerter Code liest genau eines dieser Attribute aus. Deshalb sollte die Ausgabezeile deiner Spezifikation es benennen.

Die praktische Auswahl#

Überlege zuerst, was eine einzelne Vorhersage beschreiben muss, und wähle dann die einfachste Aufgabe, die die Entscheidungsfrage beantwortet:

1. Ein Label für das gesamte Bild → Klassifizierung.
2. Eine Klasse für jedes Pixel, ohne dass Objekte voneinander getrennt werden müssen → semantische Segmentierung.
3. Eine Entfernung für jedes Pixel → Tiefenschätzung.
4. Etwas über jedes Objekt:
   • wo es sich befindet, um es zu zählen, zu lokalisieren oder zu filtern → Detektion (ergänze Tracking, um Objekte über mehrere Frames hinweg wiederzuerkennen);
   • seine genaue Form, Begrenzung oder Fläche → Instanzsegmentierung;
   • seine Körperhaltung → Posenschätzung;
   • seine Drehung in Draufsichtbildern → OBB.

Wenn zwei Aufgaben infrage kommen, wähle die kostengünstigere für Annotation und Ausführung. Für die meisten Produkte ist Detektion die Standardwahl: Boxen lassen sich schnell einzeichnen und überprüfen. In Verbindung mit Tracking ermöglichen sie bereits Zählungen, Zonenwarnungen und Verkehrsanalyse wie in dieser Autobahnansicht:

Tiefe: die Aufgabe für die Frage „Wie weit entfernt?“#

Die Tiefenschätzung liefert eine Karte in Bildgröße mit einer Entfernung in Metern pro Pixel – ohne Klassen und ohne Boxen. Verwende sie, wenn die Entfernung für die Entscheidung ausschlaggebend ist: etwa bei einem Roboter, der Hindernissen ausweicht, einem Fahrzeug, das abbremst, wenn etwas nahe ist, oder einer groben Volumenschätzung eines Haufens.

from ultralytics import YOLO

model = YOLO("yolo26n-depth.pt")
result = model("https://ultralytics.com/images/bus.jpg", verbose=False)[0]

depth = result.depth.data  # meters, one value per pixel
print(f"depth map {tuple(depth.shape)}, nearest {float(depth.min()):.1f} m, farthest {float(depth.max()):.1f} m")

depth map (1080, 810), nearest 2.0 m, farthest 14.9 m

Eine einzelne Kamera leitet die Tiefe aus erlernten Merkmalen wie Perspektive und Objektgröße ab. Miss daher den Fehler anhand deiner eigenen Szenen, bevor du die Schätzung für sicherheitskritische Entfernungen einsetzt. Tiefenschätzung lässt sich gut mit Detektion kombinieren: Detektiere das Objekt und lies dann den Tiefenwert innerhalb seiner Box aus der Tiefenkarte ab.

Stolperfallen#