Erkennen, wann der Datensatz bereit ist

Die acht Prüfungen#

Die Checkliste prüft dieselben Entscheidungen, die der Leitfaden zur Datenerfassung und Annotation einzeln behandelt; hier werden sie zu einer einzigen Freigabeentscheidung zusammengeführt.

Zählbare Prüfungen automatisieren#

Die Prüfungen 4, 7 und 8 sind reine Berechnungen, daher bewertet ein Skript sie jedes Mal auf dieselbe Weise. Dieses Skript liest den Übungsdatensatz und die Aufteilungslisten ein, die group_split.py in der vorherigen Lektion erstellt hat:

from collections import Counter
from pathlib import Path

root = Path("datasets/practice")  # images/, labels/, and the train/val/test.txt lists from group_split.py
splits = {s: [Path(p).stem for p in (root / f"{s}.txt").read_text().split()] for s in ("train", "val", "test")}

def classes(stem):
    label = root / "labels" / f"{stem}.txt"
    return [int(r.split()[0]) for r in label.read_text().splitlines() if r.strip()] if label.exists() else []

stems = [s for split in splits.values() for s in split]
instances = Counter(c for s in stems for c in classes(s))
images = Counter(c for s in stems for c in set(classes(s)))
background = sum(not classes(s) for s in stems) / len(stems)
groups = {split: {s.rsplit("_", 1)[0] for s in names} for split, names in splits.items()}
per_split = {split: {c for s in names for c in classes(s)} for split, names in splits.items()}
shared = (groups["train"] & groups["val"]) | (groups["train"] & groups["test"]) | (groups["val"] & groups["test"])
weakest = min(instances, key=lambda c: (images[c], instances[c]))

checks = {
    "4 volume": (images[weakest] >= 1500 and instances[weakest] >= 10_000,
                 f"weakest class {weakest}: {images[weakest]} images, {instances[weakest]} instances"),
    "7 no shared groups": (not shared, f"{len(shared)} groups appear in more than one split"),
    "7 every class in every split": (all(per_split[s] == set(instances) for s in splits),
                                     ", ".join(f"{s} misses {len(set(instances) - per_split[s])}" for s in splits)),
    "8 background 0-10%": (background <= 0.10, f"{background:.1%} background images"),
}
for name, (ok, detail) in checks.items():
    print(f"{'PASS' if ok else 'FAIL'}  {name:<29} {detail}")

FAIL  4 volume                      weakest class 30: 1 images, 1 instances
PASS  7 no shared groups            0 groups appear in more than one split
FAIL  7 every class in every split  train misses 5, val misses 36, test misses 41
PASS  8 background 0-10%            1.6% background images

Die gruppenbasierte Aufteilung hat die Datenüberschneidung beseitigt, aber der Übungsdatensatz ist noch lange nicht bereit: Die schwächste Klasse (30, skis) hat nur eine beschriftete Instanz, und die Validierung kann die Hälfte der Klassen nicht bewerten. Das ist das zu erwartende Urteil für 128 Demobilder und genau das Urteil, das diese Prüfung vor einer Trainingswoche liefern soll.

Entscheide: trainieren, mit einer Lücke freigeben oder korrigieren#

Wenn eine Prüfung fehlschlägt, ist der verlockende nächste Schritt fast immer etwas anderes, als die Daten zu korrigieren:

Drei Fälle, in denen der Datensatz fast bereit ist#

Mit einer bekannten Lücke ausliefern#

Oft ist ein gezieltes erstes Modell die richtige Entscheidung, bevor alle Prüfungen bestanden sind: ein Pilotprojekt, ein Prototyp oder eine erste Version für einen Teil der Kameras. Ein Modell im Produktivbetrieb zeigt schneller, was tatsächlich nicht stimmt, als wenn du den Datensatz im Dunkeln weiter optimierst. Wenn du mit einer Lücke auslieferst, halte drei Dinge fest:

• Welche Prüfung fehlgeschlagen ist.
• Die erwarteten Auswirkungen, zum Beispiel „keine Nachtdaten; rechne nach Einbruch der Dunkelheit mit geringerer Trefferquote“.
• Der Erfassungsplan, mit dem du die Lücke schließt, während Version 1 läuft.

Vor jedem erneuten Training erneut prüfen#

Ein Datensatz, der für Version 1 bereit war, ist nicht automatisch auch für Version 3 geeignet. Neue Klassen, neue Quellen und neue Annotatoren können jeweils eine Prüfung zum Scheitern bringen, die zuvor bestanden wurde. Außerdem verändern sich die Produktionsdaten, während immer mehr neue Annotationen hinzukommen. Führe vor jedem erneuten Training readiness.py erneut aus und bewerte die manuellen Prüfungen noch einmal; das dauert nur wenige Minuten. Wenn du darauf verzichtest, kann dich das eine Woche Training mit einem fehlerhaften Datensatz kosten.