Beginne mit dem Geschäftsziel

Die einseitige Zielsetzung#

Fünf Zeilen beantworten die Fragen, von denen alle späteren Schritte abhängen. Der Leitfaden zum Festlegen von Projektzielen behandelt dieselben Themen ausführlicher. Hier ist ein ausgefülltes Beispiel aus einem Lager, auf dem dieser Kurs aufbaut:

Hänge die Seite dort auf, wo das ganze Team sie sehen kann. Wenn später jemand aus dem Kreis der Beteiligten eine Zeile infrage stellt, ändere zuerst die Seite und erst danach den Datensatz.

Wähle die einfachste Aufgabe, die die Frage beantwortet#

Die Aufgabe bestimmt, was Annotatoren einzeichnen müssen, und davon hängt der Großteil des Beschriftungsaufwands ab. Gehe diesen Entscheidungsbaum durch und höre bei der ersten Aufgabe auf, die die Geschäftsfrage beantwortet:

Ultralytics YOLO unterstützt sieben Aufgaben. Bei der Planung des Datensatzes kommt es darauf an, wie viel Aufwand die Beschriftung jeder Aufgabe erfordert; Grundlagen der Computer Vision vergleicht sie ausführlich in der Lektion zu Computer-Vision-Aufgaben.

Lies die Bananenübersicht wie eine Preisliste: Die Objekterkennung liefert bereits Vorhandensein, Position und Anzahl; nur die beiden Segmentierungsfelder ergänzen Größe und Form – bei deutlich höheren Annotationskosten. Wenn das Unternehmen nur wissen muss, „wie viele Bananen“ es gibt, ist die Objekterkennung die richtige Wahl, und Polygone sind verschwendetes Budget.

Formuliere Klassen, die Annotatoren zuordnen können#

Eine Klasse ist nur dann nützlich, wenn zwei Annotatoren dasselbe Objekt gleich kennzeichnen. Schreibe für jede Klasse eine Definition in einem Satz, die ein ähnlich aussehendes Objekt nennt, das sie ausschließt:

• forklift: ein motorisierter Gabelstapler einschließlich Gabeln und Hubmast. Handhubwagen sind ausgeschlossen.
• person: jeder Mensch, auch wenn er teilweise sichtbar oder sitzend ist oder sich in einer Fahrzeugkabine befindet. Spiegelungen und Poster sind ausgeschlossen.
• pallet: eine hölzerne oder Kunststoffpalette für den Versand, beladen oder leer. Gestapelte Kisten ohne Palettenunterbau sind ausgeschlossen.

Wähle anschließend bewusst den Detaillierungsgrad. Grobe Klassen („Fahrzeug“) sind günstiger und lassen sich schneller vereinheitlichen; feinere Klassen („Limousine“, „Pick-up“) sind für nachgelagerte Anwendungen nützlicher, aber schwerer konsistent zu halten. Beginne mit dem, was das Unternehmen braucht. Feine Kennzeichnungen lassen sich später mit einer Codezeile zu groben Klassen zusammenfassen; grobe Kennzeichnungen lassen sich jedoch nur durch erneute Annotation aufteilen.

Mach aus der Metrik einen ausführbaren Abnahmetest#

Wähle die Metrik passend zu den Kosten eines Fehlers:

• Ein übersehenes Objekt ist teuer (Sicherheit, Defekte): Lege für diese Klasse eine Recall-Schwelle fest.
• Ein Fehlalarm ist teuer (automatisches Aussortieren von Teilen, Alarmierung von Mitarbeitenden): Lege eine Precision-Schwelle fest.
• Jede Klasse ist gleich wichtig (Zählung, Lagerbestand): Lege eine Schwelle für die AP pro Klasse fest, damit keine Klasse hinter dem Durchschnitt verschwindet.

Der Leitfaden zu YOLO-Leistungsmetriken erklärt jede davon. Schreibe den Test anschließend als Code, damit „Ist das gut genug?“ nicht mehr zur Diskussion steht. Dieses Skript läuft heute mit einem vortrainierten Modell auf dem Demosatz COCO8 und später mit deinem eigenen Checkpoint und Holdout:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # later: your fine-tuned runs/detect/train/weights/best.pt
metrics = model.val(data="coco8.yaml", classes=[0], verbose=False)  # 0 = person; later: your holdout YAML

precision, recall = metrics.box.mp, metrics.box.mr
print(f"person: precision={precision:.2f} recall={recall:.2f}")
print("PASS" if recall >= 0.95 and precision >= 0.85 else "FAIL: below the acceptance test")

                   all          4         10      0.939        0.8      0.848      0.387
person: precision=0.94 recall=0.80
FAIL: below the acceptance test

Was dir die einzelnen Zeilen sagen:

• classes=[0] bewertet nur person, sodass andere Klassen das Ergebnis nicht aufbessern können. Verwende die ID deiner eigenen Sicherheitsklasse.
• Die Zeile des Validators zeigt 4 Bilder mit 10 gekennzeichneten Personen. mp und mr sind Precision und Recall an der Konfidenzschwelle, bei der beide am besten ausgeglichen sind (maximaler F1-Wert).
• Ein vortrainiertes COCO-Modell erkennt 8 der 10 Personen, der Recall beträgt also 0.80: präzise, aber nicht sicher genug. Dass der Test FEHLGESCHLAGEN ist, zeigt, dass er funktioniert. In diesem Kurs führt ein FEHLGESCHLAGEN zurück zu den Daten, nicht zu den Hyperparametern.

Halte fest, was Version 1 nicht leisten wird#

Kein Modell ist perfekt. Benenne daher vorab die akzeptablen Fehler: Bedingungen, für die du keine Leistung versprichst (dichter Nebel, völlige Dunkelheit), ähnlich aussehende Objekte, die das Modell verwechseln darf, und seltene Klassen, die auf Version 2 verschoben werden. Diese Zeile verhindert, dass ein Modell, das sein Ziel erreicht, an einer nicht festgehaltenen 100-%-Vorgabe gemessen wird. Außerdem zeigt sie dem Datenerfassungsteam, wo sich zusätzlicher Aufwand vorerst nicht lohnt.