Descobre quando o conjunto de dados está pronto

As oito verificações#

A lista de verificação valida as mesmas decisões abordadas, uma a uma, no guia de recolha de dados e anotação; aqui, elas se tornam uma única decisão de avançar ou não.

Automatiza as verificações quantificáveis#

As verificações 4, 7 e 8 são aritméticas, então um script as avalia sempre da mesma forma. Este script lê o conjunto de prática e as listas de divisões criadas por group_split.py na lição anterior:

from collections import Counter
from pathlib import Path

root = Path("datasets/practice")  # images/, labels/, and the train/val/test.txt lists from group_split.py
splits = {s: [Path(p).stem for p in (root / f"{s}.txt").read_text().split()] for s in ("train", "val", "test")}

def classes(stem):
    label = root / "labels" / f"{stem}.txt"
    return [int(r.split()[0]) for r in label.read_text().splitlines() if r.strip()] if label.exists() else []

stems = [s for split in splits.values() for s in split]
instances = Counter(c for s in stems for c in classes(s))
images = Counter(c for s in stems for c in set(classes(s)))
background = sum(not classes(s) for s in stems) / len(stems)
groups = {split: {s.rsplit("_", 1)[0] for s in names} for split, names in splits.items()}
per_split = {split: {c for s in names for c in classes(s)} for split, names in splits.items()}
shared = (groups["train"] & groups["val"]) | (groups["train"] & groups["test"]) | (groups["val"] & groups["test"])
weakest = min(instances, key=lambda c: (images[c], instances[c]))

checks = {
    "4 volume": (images[weakest] >= 1500 and instances[weakest] >= 10_000,
                 f"weakest class {weakest}: {images[weakest]} images, {instances[weakest]} instances"),
    "7 no shared groups": (not shared, f"{len(shared)} groups appear in more than one split"),
    "7 every class in every split": (all(per_split[s] == set(instances) for s in splits),
                                     ", ".join(f"{s} misses {len(set(instances) - per_split[s])}" for s in splits)),
    "8 background 0-10%": (background <= 0.10, f"{background:.1%} background images"),
}
for name, (ok, detail) in checks.items():
    print(f"{'PASS' if ok else 'FAIL'}  {name:<29} {detail}")

FAIL  4 volume                      weakest class 30: 1 images, 1 instances
PASS  7 no shared groups            0 groups appear in more than one split
FAIL  7 every class in every split  train misses 5, val misses 36, test misses 41
PASS  8 background 0-10%            1.6% background images

A divisão agrupada corrigiu o vazamento, mas o conjunto de prática está longe de estar pronto: a classe mais fraca (30, skis) tem apenas uma instância anotada, e a validação não consegue avaliar metade das classes. Esse é o veredito esperado para 128 imagens de demonstração e exatamente o veredito que esta verificação deve fornecer antes de uma semana de treinamento.

Decide: treinar, avançar com uma lacuna ou corrigir#

Quando uma verificação falha, o próximo passo tentador quase sempre é algo diferente de corrigir os dados:

Três padrões de conjuntos de dados quase prontos#

Lance mesmo com uma lacuna conhecida#

Muitas vezes, a decisão certa é começar com um primeiro modelo focado antes de todas as verificações serem aprovadas: um piloto, um protótipo ou uma v1 em um subconjunto de câmeras. Um modelo em produção mostra o que realmente está errado mais rápido do que aprimorar o conjunto de dados às cegas. Quando lançar mesmo com uma lacuna, registre três coisas:

• Qual verificação falhou.
• O impacto esperado, por exemplo: "sem dados noturnos; espere uma redução na revocação após o anoitecer".
• O plano de coleta que resolve a lacuna enquanto a v1 está em execução.

Repita as verificações antes de cada novo treinamento#

Um conjunto de dados que estava pronto para a v1 não está automaticamente pronto para a v3. Novas classes, novas fontes e novos anotadores podem fazer falhar verificações que antes eram aprovadas, enquanto os dados de produção mudam e novos rótulos se acumulam. Execute novamente readiness.py e reavalie manualmente as verificações antes de cada novo treinamento; isso leva minutos, e ignorá-las pode custar uma semana de treinamento em um conjunto de dados com problemas.