Averigua cuándo está listo el conjunto de datos

Las ocho comprobaciones#

La lista de comprobación evalúa una por una las mismas decisiones que cubre la guía de recopilación y anotación de datos; aquí se convierten en una única decisión de seguir o no seguir.

Automatiza las comprobaciones cuantificables#

Las comprobaciones 4, 7 y 8 son cálculos, así que un script las evalúa siempre del mismo modo. Este lee el conjunto de práctica y las listas de particiones que escribió group_split.py en la lección anterior:

from collections import Counter
from pathlib import Path

root = Path("datasets/practice")  # images/, labels/, and the train/val/test.txt lists from group_split.py
splits = {s: [Path(p).stem for p in (root / f"{s}.txt").read_text().split()] for s in ("train", "val", "test")}

def classes(stem):
    label = root / "labels" / f"{stem}.txt"
    return [int(r.split()[0]) for r in label.read_text().splitlines() if r.strip()] if label.exists() else []

stems = [s for split in splits.values() for s in split]
instances = Counter(c for s in stems for c in classes(s))
images = Counter(c for s in stems for c in set(classes(s)))
background = sum(not classes(s) for s in stems) / len(stems)
groups = {split: {s.rsplit("_", 1)[0] for s in names} for split, names in splits.items()}
per_split = {split: {c for s in names for c in classes(s)} for split, names in splits.items()}
shared = (groups["train"] & groups["val"]) | (groups["train"] & groups["test"]) | (groups["val"] & groups["test"])
weakest = min(instances, key=lambda c: (images[c], instances[c]))

checks = {
    "4 volume": (images[weakest] >= 1500 and instances[weakest] >= 10_000,
                 f"weakest class {weakest}: {images[weakest]} images, {instances[weakest]} instances"),
    "7 no shared groups": (not shared, f"{len(shared)} groups appear in more than one split"),
    "7 every class in every split": (all(per_split[s] == set(instances) for s in splits),
                                     ", ".join(f"{s} misses {len(set(instances) - per_split[s])}" for s in splits)),
    "8 background 0-10%": (background <= 0.10, f"{background:.1%} background images"),
}
for name, (ok, detail) in checks.items():
    print(f"{'PASS' if ok else 'FAIL'}  {name:<29} {detail}")

FAIL  4 volume                      weakest class 30: 1 images, 1 instances
PASS  7 no shared groups            0 groups appear in more than one split
FAIL  7 every class in every split  train misses 5, val misses 36, test misses 41
PASS  8 background 0-10%            1.6% background images

La partición por grupos corrigió la fuga, pero el conjunto de práctica está muy lejos de estar listo: la clase más débil (30, skis) solo tiene una instancia etiquetada y la validación no puede evaluar la mitad de las clases. Ese es el veredicto esperado para 128 imágenes de demostración, y justo el que esta comprobación debe ofrecer antes de dedicar una semana al entrenamiento.

Decide: entrenar, seguir adelante con una carencia o corregirla#

Cuando una comprobación falla, el siguiente paso tentador casi siempre es hacer algo distinto de corregir los datos:

Tres situaciones en las que casi todo está listo#

Publica con una carencia conocida.#

A menudo, lo más adecuado es crear un primer modelo centrado antes de que todas las comprobaciones estén en verde: un piloto, un prototipo o una v1 para un subconjunto de cámaras. Un modelo en producción muestra qué falla de verdad más rápido que pulir el conjunto de datos a ciegas. Si publicas con una carencia, anota tres cosas:

• Qué comprobación ha fallado.
• El impacto previsto, por ejemplo: "no hay datos nocturnos; espera una menor exhaustividad cuando oscurezca".
• El plan de recopilación para subsanarla mientras la v1 está en marcha.

Vuelve a ejecutar las comprobaciones antes de cada nuevo entrenamiento.#

Un conjunto de datos que estaba listo para la v1 no está automáticamente listo para la v3. Las clases, las fuentes y los anotadores nuevos pueden hacer que falle una comprobación que antes superaba, y los datos de producción cambian mientras se acumulan nuevas etiquetas. Vuelve a ejecutar readiness.py y vuelve a puntuar las comprobaciones manuales antes de cada nuevo entrenamiento; solo lleva unos minutos, y saltártelo puede costarte una semana de entrenamiento con un conjunto de datos defectuoso.