Dataset che rispecchiano la realtà

I modelli imparano il dataset, non il mondo#

Un modello interpola tra gli esempi che ha visto. Se lo addestri su strade diurne e soleggiate e lo usi di notte in un garage nebbioso, fallirà: non perché le auto abbiano un aspetto diverso, ma perché non ne ha mai viste in quelle condizioni. Questa discrepanza si chiama cambiamento di dominio e la validazione non può segnalartela se le immagini di validazione provengono dalla stessa raccolta distorta:

La soluzione è strutturale, non algoritmica: campiona intenzionalmente il mondo in cui userai il modello, prima di etichettare. La guida alla raccolta e annotazione dei dati spiega i passaggi pratici.

Verifica un dataset reale#

Il dataset medical-pills qui sopra — primi piani di blister con un riquadro attorno a ogni pillola — è un buon candidato per una verifica. Ultralytics Platform mostra i conteggi principali nella pagina del dataset; lo script seguente calcola i valori che rivelano la copertura, usando la copia fornita con ultralytics:

from collections import Counter
from pathlib import Path

from PIL import Image, ImageStat
from ultralytics.data.utils import check_det_dataset

data = check_det_dataset("medical-pills.yaml")  # downloads the dataset on first use

for split in ("train", "val"):
    images = sorted(Path(data[split]).glob("*.jpg"))
    labels = [Path(str(p).replace("/images/", "/labels/")).with_suffix(".txt") for p in images]
    rows = [line.split() for f in labels if f.exists() for line in f.read_text().splitlines()]
    classes = Counter(data["names"][int(r[0])] for r in rows)
    backgrounds = sum(not f.exists() or not f.read_text().strip() for f in labels)
    areas = sorted(float(r[3]) * float(r[4]) for r in rows)  # box area as a share of the image
    sizes = Counter(Image.open(p).size for p in images)
    brightness = [ImageStat.Stat(Image.open(p).convert("L")).mean[0] for p in images]
    print(f"{split}: {len(images)} images, {backgrounds} backgrounds, {dict(classes)}, sizes {dict(sizes)}")
    print(f"  boxes: median {areas[len(areas) // 2]:.1%} of the image, {sum(a < 0.01 for a in areas)} of {len(areas)} under 1%")
    print(f"  brightness: {min(brightness):.0f} to {max(brightness):.0f} (0 = black, 255 = white)")

train: 92 images, 0 backgrounds, {'pill': 1623}, sizes {(1920, 1080): 92}
  boxes: median 1.4% of the image, 320 of 1623 under 1%
  brightness: 171 to 198 (0 = black, 255 = white)
val: 23 images, 0 backgrounds, {'pill': 399}, sizes {(1920, 1080): 23}
  boxes: median 1.4% of the image, 79 of 399 under 1%
  brightness: 171 to 198 (0 = black, 255 = white)

Leggi i risultati come un rapporto sulla copertura, con un rilievo per riga:

Nessuno di questi problemi emerge dal punteggio di validazione, perché il set di validazione condivide tutte queste caratteristiche.

I quattro assi della copertura#

Il punto di vista è l’asse trascurato nell’esempio del porto turistico: la stessa classe ripresa da una nuova angolazione e il richiamo è sceso a zero.

Hard negative e immagini di sfondo#

Un rilevatore deve imparare anche cosa non è il bersaglio. Le hard negative sono superficialmente simili: per un rilevatore di carrelli elevatori, un transpallet, una piattaforma a forbice, il riflesso di un carrello elevatore su un pavimento lucido o un poster di sicurezza con l’immagine di un carrello elevatore.

Nel formato YOLO, un’immagine di sfondo è semplicemente un’immagine senza file di etichette: non c’è nulla da disegnare. I consigli per l’addestramento di Ultralytics raccomandano circa lo 0–10% di immagini di sfondo per ridurre i falsi positivi; COCO stesso ne contiene circa l’1%. Usa questa quota per inserire hard negative dal tuo ambiente, anziché fotogrammi vuoti scelti a caso. L’aumento dei dati può variare luminosità e angolazione, ma non può inventare un transpallet che il modello non ha mai visto.

Insidie#

Per un piano di campionamento con conteggi obiettivo per condizione, continua con Raccogliere dati rappresentativi e di alta qualità in Creare dataset YOLO ad alte prestazioni.