Organiser, dédoublonner et partitionner

Exemple détaillé : repérer les images partagées entre partitions#

La plateforme conserve une seule copie d’une image par partition et te demande comment gérer les collisions lors du téléversement, mais rien n’empêche une même image ou scène de se retrouver à la fois dans l’entraînement et la validation. Vérifie avant le téléversement, puis de nouveau après la fusion des jeux de données :

import hashlib
from pathlib import Path

from ultralytics.data.utils import check_det_dataset

data = check_det_dataset("coco128.yaml")  # any local YOLO dataset YAML before you upload it

def hashes(split_dir):
    return {hashlib.md5(p.read_bytes()).hexdigest(): p.name for p in Path(split_dir).rglob("*.jpg")}

train, val = hashes(data["train"]), hashes(data["val"])
shared = train.keys() & val.keys()
print(f"train {len(train)} images, val {len(val)} images, identical in both: {len(shared)}")
print("examples:", sorted(val[h] for h in shared)[:3])

train 128 images, val 128 images, identical in both: 128
examples: ['000000000009.jpg', '000000000025.jpg', '000000000030.jpg']

Toutes les images de validation de COCO128 sont aussi des images d’entraînement. C’est intentionnel pour un jeu de données de test rapide, et c’est exactement pourquoi son mAP de validation ne dit rien sur la capacité de généralisation. Dans tes données, tout décompte non nul signale une fuite : déplace ou supprime une copie de chaque image avant l’entraînement.

Repérer les quasi-doublons avec Clustering#

Les hachages ne détectent que les octets identiques. Les images vidéo consécutives, les photos en rafale et les copies réencodées diffèrent de quelques pixels. Ouvre l’icône de nuage de points dans la barre d’outils de la galerie et clique sur Analyze Dataset (de 20 à 200 000 images, jeux de données téléversés uniquement) :

• Colorer par partition : un îlot compact qui mélange des points d’entraînement et de validation signale une fuite de quasi-doublons.
• Colorer par clusters ou classes : un grand îlot d’une seule classe révèle ce que le jeu de données surreprésente ; les points isolés sont des valeurs aberrantes (mauvaise caméra, image corrompue, image mal étiquetée).
• Trace un lasso ou clique sur une région pour filtrer la galerie et n’afficher que ces images (jusqu’à 1 000), puis supprime-les, déplace-les ou réétiquette-les.

Les mêmes plongements alimentent Rechercher des images similaires dans le menu contextuel d’une image. Cette fonction ajoute à train des images similaires provenant de jeux de données publics et d’équipe, sans étiquette : le moyen le plus rapide de combler une lacune repérée par l’audit ci-dessous.

Exemple détaillé : auditer les classes par partition#

Télécharge l’export NDJSON depuis l’en-tête du jeu de données ou l’onglet Versions. Chaque ligne suivant l’en-tête correspond à une image, avec sa partition et ses étiquettes ; quelques lignes de Python suffisent donc à compter chaque classe dans chaque partition. Voici l’exécution sur l’export public COCO8 :

import json
from collections import Counter, defaultdict

counts = defaultdict(Counter)  # split -> class name -> instances
images = Counter()
with open("coco8.ndjson") as f:  # the NDJSON export from the dataset header or Versions tab
    header = json.loads(f.readline())
    names = header["class_names"]
    for line in f:
        record = json.loads(line)
        images[record["split"]] += 1
        for box in (record.get("annotations") or {}).get("boxes", []):
            counts[record["split"]][names[str(box[0])]] += 1

print("images per split:", dict(images))
for name in sorted(set(counts["train"]) | set(counts["val"])):
    train, val = counts["train"][name], counts["val"][name]
    flag = "missing in train" if not train else "too few in val" if val < 10 else ""
    print(f"{name:<14} train {train:>3}  val {val:>3}  {flag}")

images per split: {'train': 4, 'val': 4}
bowl           train   3  val   0  too few in val
broccoli       train   1  val   0  too few in val
dog            train   0  val   1  missing in train
elephant       train   0  val   2  missing in train
giraffe        train   2  val   0  too few in val
horse          train   0  val   2  missing in train
orange         train   4  val   0  too few in val
person         train   0  val  10  missing in train
potted plant   train   1  val   1  too few in val
umbrella       train   0  val   1  missing in train
vase           train   1  val   0  too few in val
zebra          train   1  val   0  too few in val

Interprétation : la ligne d’en-tête contient class_names ; chaque boîte de détection est un [class, x, y, w, h]. Absente de l’entraînement signifie que le modèle ne peut pas du tout apprendre la classe et que son AP de validation sera nul. Trop peu d’instances dans la validation signifie que son AP variera fortement d’une exécution à l’autre : avec 7 palettes dans la validation, une palette manquée fait varier l’AP des palettes d’environ 14 points. COCO8 est un test rapide sur 8 images, donc toutes les classes échouent ; ta version de production ne devrait afficher aucun signalement. Comble les lacunes en collectant davantage d’exemples, pas en réglant les paramètres.

L’onglet Classes affiche les mêmes décomptes pour le jeu de données actif, avec une option d’échelle logarithmique pour les données déséquilibrées. Fusionner en une seule classe regroupe les doublons tels que car, automobile et vehicle dans une seule classe, sans perdre d’annotations ; Supprimer élimine une classe et toutes ses annotations.

Partitionner selon l’unité sur laquelle tu veux généraliser#

Les images d’une même caméra, session ou journée sont corrélées. Si elles figurent à la fois dans l’entraînement et la validation, le modèle est évalué sur des scènes qu’il a déjà vues. Réserve des unités entières correspondant aux variations en production : si tu utilises de nouvelles caméras, réserve certaines caméras ; si tu utilises les mêmes caméras à de nouvelles dates, réserve certaines journées.

Les outils de partitionnement de la plateforme se distinguent précisément sur ce point :

La leçon Partitionner correctement le jeu de données traite du choix de l’unité ; pour les très petits jeux de données, la validation croisée k-fold permet de tirer davantage d’informations des données. Pour vérifier les groupes après le téléversement, ajoute une clé de groupe à l’audit des classes (par exemple record["file"].split("_")[0] pour les fichiers nommés cam07_000123.jpg, ou un champ camera dans les métadonnées des images) et signale tout groupe présent dans deux partitions.

Figer une version ayant réussi les vérifications#

L’entraînement nécessite un instantané fixe. Dans l’onglet Versions, saisis une description (« v5 : cam07 réservée, +80 images de palettes »), puis clique sur Nouvelle version. Chaque version est un instantané NDJSON numéroté et immuable que tu peux télécharger, comparer ou restaurer ; la boîte de dialogue d’entraînement propose la même opération au lancement avec Enregistrer la version du jeu de données et réutilise une version correspondante si rien n’a changé. Les versions ne sont pas disponibles pour les jeux de données connectés au cloud ou sur site.

Pièges#