Sapere quando il set di dati è pronto

Gli otto controlli#

La checklist verifica una per una le stesse decisioni trattate dalla guida alla raccolta e all'annotazione dei dati; qui diventano un'unica decisione di via libera o di stop.

Automatizza i controlli quantificabili#

I controlli 4, 7 e 8 si basano su calcoli, quindi uno script li valuta sempre allo stesso modo. Questo script legge il set di esercitazione e gli elenchi delle suddivisioni creati da group_split.py nella lezione precedente:

from collections import Counter
from pathlib import Path

root = Path("datasets/practice")  # images/, labels/, and the train/val/test.txt lists from group_split.py
splits = {s: [Path(p).stem for p in (root / f"{s}.txt").read_text().split()] for s in ("train", "val", "test")}

def classes(stem):
    label = root / "labels" / f"{stem}.txt"
    return [int(r.split()[0]) for r in label.read_text().splitlines() if r.strip()] if label.exists() else []

stems = [s for split in splits.values() for s in split]
instances = Counter(c for s in stems for c in classes(s))
images = Counter(c for s in stems for c in set(classes(s)))
background = sum(not classes(s) for s in stems) / len(stems)
groups = {split: {s.rsplit("_", 1)[0] for s in names} for split, names in splits.items()}
per_split = {split: {c for s in names for c in classes(s)} for split, names in splits.items()}
shared = (groups["train"] & groups["val"]) | (groups["train"] & groups["test"]) | (groups["val"] & groups["test"])
weakest = min(instances, key=lambda c: (images[c], instances[c]))

checks = {
    "4 volume": (images[weakest] >= 1500 and instances[weakest] >= 10_000,
                 f"weakest class {weakest}: {images[weakest]} images, {instances[weakest]} instances"),
    "7 no shared groups": (not shared, f"{len(shared)} groups appear in more than one split"),
    "7 every class in every split": (all(per_split[s] == set(instances) for s in splits),
                                     ", ".join(f"{s} misses {len(set(instances) - per_split[s])}" for s in splits)),
    "8 background 0-10%": (background <= 0.10, f"{background:.1%} background images"),
}
for name, (ok, detail) in checks.items():
    print(f"{'PASS' if ok else 'FAIL'}  {name:<29} {detail}")

FAIL  4 volume                      weakest class 30: 1 images, 1 instances
PASS  7 no shared groups            0 groups appear in more than one split
FAIL  7 every class in every split  train misses 5, val misses 36, test misses 41
PASS  8 background 0-10%            1.6% background images

La suddivisione per gruppi ha risolto la fuga, ma il set di esercitazione è ben lontano dall'essere pronto: la classe più debole (30, skis) ha una sola istanza etichettata e val non può valutare metà delle classi. È il verdetto atteso per 128 immagini dimostrative, ed è proprio il verdetto che questo controllo deve fornire prima di una settimana di addestramento.

Decidi: addestrare, procedere con una lacuna o correggere#

Quando un controllo non viene superato, il passo successivo più allettante è quasi sempre qualcosa di diverso dal correggere i dati:

Tre situazioni quasi pronte#

Rilascia con una lacuna nota#

Spesso la scelta giusta è un primo modello mirato prima che tutti i controlli siano superati: un progetto pilota, un prototipo o una v1 su un sottoinsieme di telecamere. Un modello in produzione mostra cosa non va davvero più in fretta che perfezionare il dataset senza vedere i risultati. Quando rilasci con una lacuna, annota tre cose:

• Quale controllo non è stato superato.
• L'impatto previsto, per esempio "nessun dato notturno; aspettati un richiamo inferiore dopo il tramonto".
• Il piano di raccolta dati per colmare la lacuna mentre la v1 è in esecuzione.

Ripeti i controlli prima di ogni nuovo addestramento#

Un dataset pronto per la v1 non è automaticamente pronto per la v3. Nuove classi, nuove fonti e nuovi annotatori possono ciascuno compromettere un controllo che prima veniva superato, mentre i dati di produzione cambiano man mano che si accumulano nuove etichette. Esegui di nuovo readiness.py e valuta nuovamente i controlli manuali prima di ogni nuovo addestramento; bastano pochi minuti, mentre saltarli può costarti una settimana di addestramento su un dataset compromesso.