Valider et diagnostiquer

Exemple détaillé : valider best.pt#

from ultralytics import YOLO

model = YOLO("runs/detect/pills_v1/weights/best.pt")
metrics = model.val(data="my_dataset/data.yaml")

print(f"precision {metrics.box.mp:.3f}  recall {metrics.box.mr:.3f}")
print(f"mAP50 {metrics.box.map50:.3f}  mAP50-95 {metrics.box.map:.3f}")

Sortie réelle de val.py :

precision 0.970  recall 0.957
mAP50 0.977  mAP50-95 0.659

Les graphiques sont placés dans un nouveau dossier runs/detect/val (puis val-2, etc.). Mets les valeurs à côté de la référence :

Ce que disent les chiffres :

• Précision 0.970, rappel 0.957 : l’équilibre est bon. Peu de fausses alertes, peu d’objets manqués.
• mAP50 0.977 : avec une exigence de chevauchement peu stricte, le modèle détecte presque toutes les pilules.
• mAP50-95 0.659 : avec un chevauchement strict, beaucoup de boîtes ne sont pas assez ajustées. Un écart aussi important pointe vers la localisation — davantage d’époques, un imgsz plus grand ou des annotations plus précises — plutôt que vers un manque de données.

Pour comprendre les compromis entre précision, rappel et mAP, consulte Lire honnêtement les métriques de détection.

Savoir quel fichier répond à quelle question#

Lire la matrice de confusion#

La matrice de confusion est l’outil de diagnostic le plus utile. Dans les graphiques Ultralytics, les colonnes représentent la classe réelle et les lignes la classe prédite, avec une ligne et une colonne background supplémentaires. La version normalisée divise chaque colonne par son total : chaque colonne indique donc où sont passés les objets de cette classe. Pills ne compte qu’une seule classe ; entraînons-nous donc sur cet exemple d’entrepôt à trois classes (chiffres illustratifs) :

• Diagonale : proportion de chaque classe correctement détectée. La palette, à 0.65, est la classe la moins performante.
• Hors diagonale : confusions. 18 % des palettes réelles ont été prédites comme des chariots élévateurs, et 10 % des chariots élévateurs comme des palettes.
• Ligne d’arrière-plan : objets manqués. 17 % des palettes n’ont pas été détectées du tout.
• Colonne d’arrière-plan : faux positifs, c’est-à-dire des boîtes tracées sur des zones vides. Parmi ceux-ci, 45 % ont été classés comme des chariots élévateurs.

Chaque type de cellule correspond à une correction :

Lire les chiffres par classe#

Avec plusieurs classes, le journal de validation affiche une ligne par classe, et metrics.box.maps contient les mAP50-95 par classe pour le code. Continuons avec l’exemple de l’entrepôt :

                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)
                   all         50        102       0.78       0.71       0.74       0.51
              forklift         30         45       0.85       0.78       0.81       0.58
                person         40         50       0.92       0.88       0.91       0.64
                pallet          5          7       0.58       0.48       0.51       0.31

pallet est bien inférieur aux autres, et il ne compte que 7 instances dans l’ensemble de validation. Le modèle est peut-être mauvais pour détecter les palettes, ou les données de validation sont peut-être trop peu nombreuses pour le savoir. Dans les deux cas, la même étape s’impose : collecter davantage de palettes, pour l’entraînement et la validation.

Examiner les échecs#

Ouvre val_batch0_labels.jpg et val_batch0_pred.jpg côte à côte. Les différences montrent les échecs sous forme d’images, et les motifs qui s’en dégagent permettent de poser le diagnostic : objets manqués au bord de l’image, petits objets, une condition d’éclairage particulière, un sosie difficile à distinguer. Ces motifs liés au jeu de données sont presque toujours plus utiles que le réglage des hyperparamètres.

Dans les images de validation du modèle de pilules, les pilules clairement visibles obtiennent un score proche de 1.0. Les boîtes à faible confiance, autour de 0.3–0.5, se concentrent sur les pilules partiellement cachées sous une autre plaquette et sur celles coupées par le bord de l’image. Ce n’est pas un problème à corriger en ajustant conf ; c’est une question de politique d’annotation. Une pilule à moitié cachée doit-elle être comptée ? Décide, consigne la règle et annote chaque image de la même façon.

Ouvre ensuite results.png. Les pertes d’entraînement et de validation doivent diminuer ensemble. Si la perte d’entraînement continue de diminuer alors que la perte de validation augmente, le modèle fait du surapprentissage ; si les deux restent élevées, il est en sous-apprentissage. Le compromis biais-variance permet d’analyser ces deux situations.

Pour le surapprentissage, voici les corrections classées selon leur fréquence d’efficacité : davantage de données variées ; moins d’époques ou un patience plus strict ; et l’augmentation des données (hsv_h, degrees, translate, scale, fliplr, mosaic, ...). Les valeurs par défaut de l’augmentation sont déjà efficaces ; ne les modifie que si tu as une raison, par exemple désactiver fliplr lorsque la gauche et la droite sont importantes.

Transformer les constats en liste de corrections#

Corrige les données avant de régler les hyperparamètres, et ne change qu’un élément par itération pour savoir ce qui a aidé. La partie du cycle consacrée au jeu de données est abordée dans Premier ajustement fin et cycle d’itération.

Éviter ces erreurs#