Des jeux de données représentatifs de la réalité

Les modèles apprennent le jeu de données, pas le monde#

Un modèle interpole entre les exemples qu’il a vus. Entraîne-le sur des rues ensoleillées de jour et déploie-le dans un garage brumeux la nuit : il échouera — non pas parce que les voitures ont changé d’apparence, mais parce qu’il n’a jamais vu de voiture dans ces conditions. Ce décalage s’appelle le décalage de domaine, et la validation ne peut pas t’en avertir si ses images proviennent du même échantillon biaisé :

La solution est structurelle, pas algorithmique : échantillonne délibérément l’environnement de déploiement avant l’annotation. Le guide sur la collecte et l’annotation des données explique comment procéder.

Auditer un jeu de données réel#

Le jeu de données medical-pills ci-dessus — des gros plans de plaquettes où chaque comprimé est encadré — se prête bien à un audit. Ultralytics Platform affiche les principaux décomptes sur la page du jeu de données ; le script ci-dessous calcule les nombres qui révèlent sa couverture, à partir de la copie fournie avec ultralytics :

from collections import Counter
from pathlib import Path

from PIL import Image, ImageStat
from ultralytics.data.utils import check_det_dataset

data = check_det_dataset("medical-pills.yaml")  # downloads the dataset on first use

for split in ("train", "val"):
    images = sorted(Path(data[split]).glob("*.jpg"))
    labels = [Path(str(p).replace("/images/", "/labels/")).with_suffix(".txt") for p in images]
    rows = [line.split() for f in labels if f.exists() for line in f.read_text().splitlines()]
    classes = Counter(data["names"][int(r[0])] for r in rows)
    backgrounds = sum(not f.exists() or not f.read_text().strip() for f in labels)
    areas = sorted(float(r[3]) * float(r[4]) for r in rows)  # box area as a share of the image
    sizes = Counter(Image.open(p).size for p in images)
    brightness = [ImageStat.Stat(Image.open(p).convert("L")).mean[0] for p in images]
    print(f"{split}: {len(images)} images, {backgrounds} backgrounds, {dict(classes)}, sizes {dict(sizes)}")
    print(f"  boxes: median {areas[len(areas) // 2]:.1%} of the image, {sum(a < 0.01 for a in areas)} of {len(areas)} under 1%")
    print(f"  brightness: {min(brightness):.0f} to {max(brightness):.0f} (0 = black, 255 = white)")

train: 92 images, 0 backgrounds, {'pill': 1623}, sizes {(1920, 1080): 92}
  boxes: median 1.4% of the image, 320 of 1623 under 1%
  brightness: 171 to 198 (0 = black, 255 = white)
val: 23 images, 0 backgrounds, {'pill': 399}, sizes {(1920, 1080): 23}
  boxes: median 1.4% of the image, 79 of 399 under 1%
  brightness: 171 to 198 (0 = black, 255 = white)

Lis-le comme un rapport de couverture, avec un constat par ligne :

Aucun de ces problèmes n’apparaît dans le score de validation, car l’ensemble de validation présente les mêmes lacunes.

Les quatre axes de couverture#

Le point de vue est l’axe qui manquait dans l’exemple de la marina : la même classe vue sous un nouvel angle, et le rappel est tombé à zéro.

Exemples difficiles négatifs et images d’arrière-plan#

Un détecteur doit aussi apprendre ce qui n’est pas la cible. Les exemples difficiles négatifs présentent une ressemblance superficielle avec celle-ci : pour un détecteur de chariots élévateurs, un transpalette, une nacelle à ciseaux, le reflet d’un chariot élévateur sur un sol poli, une affiche de sécurité représentant un chariot élévateur.

Au format YOLO, une image d’arrière-plan est simplement une image sans fichier d’annotation — rien à dessiner. Les conseils d’entraînement d’Ultralytics recommandent environ 0–10 % d’images d’arrière-plan pour réduire les faux positifs ; COCO en contient environ 1 %. Remplis cette proportion avec des exemples difficiles négatifs issus de ton propre environnement plutôt qu’avec des images vides choisies au hasard. L’augmentation des données peut faire varier la luminosité et l’angle, mais elle ne peut pas inventer un transpalette que le modèle n’a jamais vu.

Pièges#

Pour un plan d’échantillonnage avec des nombres cibles par condition, poursuis avec Collecter des données représentatives de haute qualité dans Créer des jeux de données YOLO hautes performances.