Datensätze, die die Realität abbilden

Modelle lernen den Datensatz, nicht die Welt#

Ein Modell interpoliert zwischen den Beispielen, die es gesehen hat. Trainierst du es mit sonnigen Straßen am Tag und setzt es nachts in einer nebligen Garage ein, versagt es – nicht, weil Autos anders aussehen, sondern weil das Modell noch nie ein Auto unter diesen Bedingungen gesehen hat. Diese Abweichung heißt Domänenverschiebung. Mit der Validierung lässt sie sich nicht aufdecken, wenn die Validierungsbilder aus derselben verzerrten Sammlung stammen:

Die Lösung ist strukturell, nicht algorithmisch: Erfasse gezielt Bilder aus der späteren Einsatzumgebung, bevor du sie labelst. Der Leitfaden zur Datenerfassung und Annotation beschreibt die praktische Umsetzung.

Einen echten Datensatz prüfen#

Der oben gezeigte Datensatz medical-pills – Nahaufnahmen von Blisterpackungen, bei denen jede Pille mit einer Box markiert ist – eignet sich gut für eine Prüfung. Die Ultralytics Platform zeigt die wichtigsten Kennzahlen auf der Datensatzseite an. Das folgende Skript berechnet die Zahlen, die Aufschluss über die Abdeckung geben, anhand der mit ultralytics ausgelieferten Kopie:

from collections import Counter
from pathlib import Path

from PIL import Image, ImageStat
from ultralytics.data.utils import check_det_dataset

data = check_det_dataset("medical-pills.yaml")  # downloads the dataset on first use

for split in ("train", "val"):
    images = sorted(Path(data[split]).glob("*.jpg"))
    labels = [Path(str(p).replace("/images/", "/labels/")).with_suffix(".txt") for p in images]
    rows = [line.split() for f in labels if f.exists() for line in f.read_text().splitlines()]
    classes = Counter(data["names"][int(r[0])] for r in rows)
    backgrounds = sum(not f.exists() or not f.read_text().strip() for f in labels)
    areas = sorted(float(r[3]) * float(r[4]) for r in rows)  # box area as a share of the image
    sizes = Counter(Image.open(p).size for p in images)
    brightness = [ImageStat.Stat(Image.open(p).convert("L")).mean[0] for p in images]
    print(f"{split}: {len(images)} images, {backgrounds} backgrounds, {dict(classes)}, sizes {dict(sizes)}")
    print(f"  boxes: median {areas[len(areas) // 2]:.1%} of the image, {sum(a < 0.01 for a in areas)} of {len(areas)} under 1%")
    print(f"  brightness: {min(brightness):.0f} to {max(brightness):.0f} (0 = black, 255 = white)")

train: 92 images, 0 backgrounds, {'pill': 1623}, sizes {(1920, 1080): 92}
  boxes: median 1.4% of the image, 320 of 1623 under 1%
  brightness: 171 to 198 (0 = black, 255 = white)
val: 23 images, 0 backgrounds, {'pill': 399}, sizes {(1920, 1080): 23}
  boxes: median 1.4% of the image, 79 of 399 under 1%
  brightness: 171 to 198 (0 = black, 255 = white)

Lies die Ergebnisse als Abdeckungsbericht, mit einem Befund pro Zeile:

Nichts davon schlägt sich im Validierungsergebnis nieder, weil die Validierungsdaten all diese Merkmale teilen.

Die vier Dimensionen der Abdeckung#

Die Perspektive ist die Dimension, die im Beispiel mit dem Yachthafen fehlte: Dieselbe Klasse aus einem neuen Blickwinkel, und die Trefferquote sank auf null.

Schwierige Negativbeispiele und Hintergrundbilder#

Ein Detektor muss auch lernen, was nicht das Ziel ist. Schwierige Negativbeispiele sehen dem Ziel auf den ersten Blick ähnlich: bei einem Gabelstaplerdetektor etwa ein Hubwagen, eine Scherenhebebühne, die Spiegelung eines Gabelstaplers auf einem polierten Boden oder ein Sicherheitsplakat mit dem Bild eines Gabelstaplers.

Im YOLO-Format ist ein Hintergrundbild einfach ein Bild ohne Labeldatei – es gibt nichts einzuzeichnen. Die Trainingstipps von Ultralytics empfehlen etwa 0–10 % Hintergrundbilder, um Fehlalarme zu verringern; COCO selbst enthält ungefähr 1 %. Fülle diesen Anteil mit schwierigen Negativbeispielen aus deiner eigenen Umgebung statt mit beliebigen leeren Bildern. Mit Datenerweiterung lassen sich Helligkeit und Winkel variieren, aber sie kann keinen Hubwagen erzeugen, den das Modell noch nie gesehen hat.

Stolperfallen#

Für einen Stichprobenplan mit Zielzahlen pro Bedingung geht es weiter mit Hochwertige, repräsentative Daten sammeln in Leistungsstarke YOLO-Datensätze erstellen.