Erkennungsmetriken richtig interpretieren

So wird jede Vorhersage bewertet#

Bei der Validierung wird jede vorhergesagte Box mit der Ground Truth abgeglichen. Eine Vorhersage ist ein richtig positives Ergebnis (TP), wenn sie die richtige Klasse hat und ihre IoU mit einer noch nicht zugeordneten Ground-Truth-Box einen Schwellenwert überschreitet; andernfalls ist sie ein falsch positives Ergebnis (FP). Jedes nicht zugeordnete Ground-Truth-Objekt ist ein falsch negatives Ergebnis (FN).

Wenn du den Konfidenzschwellenwert senkst, kommen Boxen hinzu: Recall steigt und Precision sinkt. Die Precision-Recall-Kurve zeigt diesen Zielkonflikt über alle Schwellenwerte hinweg; die Fläche darunter ist die durchschnittliche Präzision (AP) für eine Klasse. mAP50 mittelt die AP über alle Klassen bei einer IoU von 0.5, wobei auch merklich ungenaue Boxen zählen. mAP50-95 mittelt über zehn IoU-Schwellenwerte von 0.5 bis 0.95 und belohnt daher präzise Boxen; in den Modelltabelle von Ultralytics ist dies der wichtigste Kennwert.

Validierung ausführen#

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml")

print(f"precision={metrics.box.mp:.3f} recall={metrics.box.mr:.3f}")
print(f"mAP50={metrics.box.map50:.3f} mAP50-95={metrics.box.map:.3f}")

                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)
                   all          4         17      0.551      0.962      0.943      0.669
                person          3         10      0.551        0.8      0.848      0.387
                   dog          1          1       0.36          1      0.995      0.597
                 horse          1          2       0.36          1      0.995      0.696
              elephant          1          2      0.656      0.969      0.828      0.545
              umbrella          1          1      0.543          1      0.995      0.895
          potted plant          1          1      0.833          1      0.995      0.895

Lies die Ausgabe von oben nach unten:

• Instanzen 17, Bilder 4. COCO8 ist ein Schnelltest. Vier Bilder reichen nicht für eine Einsatzentscheidung; betrachte alle Zahlen als Beispiele.
• mAP50 0.943 gegenüber mAP50-95 0.669. Die meisten Objekte werden gefunden, aber viele Boxen sind ungenau. Eine große Abweichung bedeutet, dass die Lokalisierung und nicht die Erkennung die Schwachstelle ist.
• person AP50-95 0.387. Die häufigste Klasse ist die schwächste. Das ist dein Engpass.
• P 0.551, R 0.962. Diese Werte werden bei der einzelnen Konfidenz abgelesen, die den F1-Wert über alle Klassen hinweg maximiert – hier also bei einem niedrigen Schwellenwert – und nicht bei 0.25, mit dem du Vorhersagen triffst. Bezeichne sie nicht als „Precision des Modells“.

AP pro Klasse und der Schwellenwert für den Einsatz#

Derselbe Lauf enthält die AP pro Klasse sowie Precision und Recall für jeden Konfidenzschwellenwert. So kannst du einen Schwellenwert anhand eines Zielwerts statt nach Gefühl auswählen:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml", plots=False, verbose=False)
box = metrics.box

# Per-class AP from the same run: the average hides the weakest class
for i, c in enumerate(box.ap_class_index):
    print(f"{model.names[int(c)]:13} AP50={box.ap50[i]:.3f}  AP50-95={box.ap[i]:.3f}")

# Precision and recall at every confidence threshold for one class
row = list(box.ap_class_index).index(0)  # class 0 = person
for conf in (0.1, 0.25, 0.5, 0.75):
    j = int(conf * (len(box.px) - 1))
    print(f"person @ conf {conf:.2f}: precision {box.p_curve[row, j]:.2f}, recall {box.r_curve[row, j]:.2f}")

                   all          4         17      0.551      0.962      0.943      0.669
person        AP50=0.848  AP50-95=0.387
dog           AP50=0.995  AP50-95=0.597
horse         AP50=0.995  AP50-95=0.696
elephant      AP50=0.828  AP50-95=0.545
umbrella      AP50=0.995  AP50-95=0.895
potted plant  AP50=0.995  AP50-95=0.895
person @ conf 0.10: precision 0.63, recall 0.80
person @ conf 0.25: precision 1.00, recall 0.54
person @ conf 0.50: precision 1.00, recall 0.40
person @ conf 0.75: precision 1.00, recall 0.14

Der Schwellenwert ist jetzt eine Entscheidungsregel und keine Gefühlssache:

Beides ist hier nicht gut genug: Hohe Precision kostet die Hälfte der Personen, hohe Recall ein Drittel der Alarme. Das spricht für „weiterentwickeln“ und nicht für ein Problem mit dem Schwellenwert. Die Validierung speichert außerdem BoxPR_curve.png, BoxP_curve.png, BoxR_curve.png, BoxF1_curve.png und confusion_matrix.png im Laufordner, sodass du denselben Zielkonflikt in den Diagrammen ablesen kannst; der Leitfaden zu Leistungsmetriken erläutert die einzelnen Diagramme.

Was als Nächstes zu beheben ist#

Die Konfusionsmatrix zeigt dir, womit eine schwache Klasse verwechselt wird. Wenn die AP von forklift niedrig ist und Gabelstapler als pallet_jack vorhergesagt werden, liegt eine Klassenverwechslung und kein Lokalisierungsproblem vor: Füge Beispiele hinzu, die den visuellen Unterschied zeigen, oder fasse die Klassen zusammen, falls kein nachgelagerter Code sie getrennt benötigt. Der Leitfaden zu Erkenntnissen aus der Modellbewertung führt durch den Arbeitsablauf.

Die meisten Verbesserungsmöglichkeiten liegen im ersten und dritten Feld: bessere Daten und bessere Labels für die Engpassklasse. Ändere das Modell oder die Trainingseinstellungen erst, nachdem die Datenprüfungen aus den vorherigen drei Lektionen bestanden sind.

Stolperfallen#