Aufgabe auswählen und Pipeline planen

Ein Foto, vier verschiedene Antworten#

Stelle eine Frage zu einem Foto — wie viel des Bildes nimmt der Bus ein und wie weit ist er entfernt? — und lass vier Ultralytics-YOLO-Aufgaben darauf antworten:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
det = YOLO("yolo26n.pt")(image, verbose=False)[0]
seg = YOLO("yolo26n-seg.pt")(image, retina_masks=True, verbose=False)[0]
sem = YOLO("yolo26n-sem.pt")(image, verbose=False)[0]
depth = YOLO("yolo26n-depth.pt")(image, verbose=False)[0]
frame = det.orig_shape[0] * det.orig_shape[1]  # pixels in the photo

i = [det.names[int(c)] for c in det.boxes.cls].index("bus")
x1, y1, x2, y2 = det.boxes.xyxy[i].tolist()
print(f"detect    bus box covers   {(x2 - x1) * (y2 - y1) / frame:.1%} of the frame")

i = [seg.names[int(c)] for c in seg.boxes.cls].index("bus")
bus_mask = seg.masks.data[i].bool()  # H x W, True on bus pixels
print(f"segment   bus mask covers  {bus_mask.sum().item() / frame:.1%} of the frame")

ratios = {row["name"]: row["pixel_ratio"] for row in sem.summary()}
print(f"semantic  'train' pixels   {ratios['train']:.1%} of the frame")

meters = depth.depth.data[bus_mask].median().item()  # depth map and mask share the original size
print(f"depth     bus is about     {meters:.1f} m from the camera")

detect    bus box covers   47.7% of the frame
segment   bus mask covers  29.2% of the frame
semantic  'train' pixels   30.9% of the frame
depth     bus is about     4.5 m from the camera

Gehe die Ergebnisse Zeile für Zeile durch:

• detect beantwortet wo. Die Box umfasst auch die Straße unter dem Bus und die vier Personen davor. Als Flächenangabe ist sie daher 63 % zu groß.
• segment beantwortet welche Form. 29,2 % ist die tatsächliche Fläche des Busses im Bild — die Zahl, die du für Regeln zu Fläche, Abdeckung oder Überlappung verwenden solltest.
• semantic beantwortet welche Pixel zu welcher Klasse gehören. Die Fläche ähnelt der der Maske, aber das Modell bezeichnet den Bus als train: Es weist Oberflächen die Klassen seines Trainingsdatensatzes zu (Cityscapes, Lektion 4) und unterscheidet niemals einzelne Fahrzeuge voneinander.
• depth beantwortet wie weit entfernt. Die mediane Tiefe innerhalb der Busmaske beträgt 4,5 m — zwei Aufgaben kombiniert, um eine Frage zu beantworten, die keine von beiden allein beantworten kann.

Die sieben Aufgaben im Überblick#

Computer Vision Foundations behandelt ausführlich, wie du zwischen Aufgaben auswählst — sieh dir Die sieben Vision-Aufgaben noch einmal an, wenn die Auswahl nicht offensichtlich ist. Dies ist die praktische Zusammenfassung für den Rest des Kurses. Jede Zeile steht für eine Aufgabe, die das installierte Paket ultralytics mit derselben API trainiert, validiert, für Vorhersagen verwendet und exportiert; die Übersicht der Aufgaben enthält die vollständige Referenz.

Die erste Zeile setzt du bereits ein. In den Lektionen 2 bis 8 lernst du die fünf mittleren Zeilen kennen, und in den Lektionen 9 und 10 verknüpfst du sie und bringst sie zum Einsatz. Die letzte Zeile, die monokulare Tiefenschätzung, sagt für jedes Pixel eines einzelnen Bildes eine Entfernung in Metern voraus. Die Labels stammen von Tiefensensoren oder 3D-Renderern statt von Annotierenden, weshalb dafür ein eigenes Datensatzformat verwendet wird. Dieser Kurs behandelt die Tiefenschätzung überall dort, wo sich der Arbeitsablauf überschneidet: in diesem Plan, in der Validierungsschleife und bei der Exportprüfung in der letzten Lektion.

Wähle jeweils eine Frage aus#

Gehe die Fragen der Reihe nach durch und halte beim ersten Ja an:

Der Entscheidungsbaum deckt die häufigsten Fälle ab. Vier Entscheidungshilfen helfen bei den meisten übrigen Fällen:

Die Aufgabe wird beim Erstellen des Datensatzes festgelegt — auf der Ultralytics Platform ist das das Feld Task Type im Dialog „Neuer Datensatz“. Diese Entscheidung fällt also vor dem ersten Label:

Eine API, sieben Ergebnisfelder#

Für jede Aufgabe kommt derselbe Aufruf zum Einsatz; das Modell liest seine Aufgabe aus der Gewichtsdatei. Der Unterschied liegt darin, welches Ergebnisfeld ausgefüllt ist — und genau dieses Feld liest dein Code aus:

from ultralytics import YOLO

WEIGHTS = ["yolo26n.pt", "yolo26n-seg.pt", "yolo26n-sem.pt", "yolo26n-pose.pt", "yolo26n-obb.pt", "yolo26n-cls.pt", "yolo26n-depth.pt"]
FIELDS = ("boxes", "masks", "semantic_mask", "keypoints", "obb", "probs", "depth")

for weights in WEIGHTS:
    model = YOLO(weights)
    result = model("https://ultralytics.com/images/bus.jpg", verbose=False)[0]
    fields = [f for f in FIELDS if getattr(result, f) is not None]
    print(f"{weights:17s} task={model.task:9s} fields={fields}")

yolo26n.pt        task=detect    fields=['boxes']
yolo26n-seg.pt    task=segment   fields=['boxes', 'masks']
yolo26n-sem.pt    task=semantic  fields=['semantic_mask']
yolo26n-pose.pt   task=pose      fields=['boxes', 'keypoints']
yolo26n-obb.pt    task=obb       fields=['obb']
yolo26n-cls.pt    task=classify  fields=['probs']
yolo26n-depth.pt  task=depth     fields=['depth']

Die Ergebnisse von Segmentierung und Pose enthalten weiterhin boxes. Daher funktioniert dein bestehender Detektionscode auch mit ihnen. Ergebnisse der Klassifizierung, semantischen Segmentierung und Tiefenschätzung beschreiben das gesamte Bild und enthalten überhaupt keine Felder für einzelne Objekte.

Wenn ein Modell nicht ausreicht#

Die meisten Produktionssysteme, die über die Detektion hinausgehen, folgen einer von drei Strukturen:

• Erst detektieren, dann klassifizieren. Der Detektor findet kleine Objekte in einem großen Bild; ein Bildklassifikator klassifiziert jeden Ausschnitt in voller Auflösung detailliert: Helmtyp, Fehlergrad, Produkt-SKU.
• Pose plus Tracking. Keypoints beschreiben ein Einzelbild; ein Tracker erstellt daraus eine Zeitreihe pro Person, anhand derer du Wiederholungen zählen oder Stürze erkennen kannst.
• Erst segmentieren, dann messen. Das Modell liefert Pixel; einfacher Code wandelt sie in Flächen, Breiten, Abdeckungsverhältnisse oder (mit Tiefeninformationen) Entfernungen um.

Für die Labels einer Pipeline, die erst segmentiert und dann misst, wird ein Polygon pro Objekt benötigt, wie bei diesen Paketen auf Lagerrobotern im Editor der Ultralytics Platform:

Stolperfallen#