Lire honnêtement les métriques de détection

Comment chaque prédiction est évaluée#

La validation compare chaque boîte prédite à la vérité terrain. Une prédiction est un vrai positif (TP) si sa classe est correcte et si son IoU avec une boîte de vérité terrain qui n’a pas encore été appariée dépasse un seuil ; sinon, c’est un faux positif (FP). Chaque objet de vérité terrain qui reste sans correspondance est un faux négatif (FN).

Abaisser le seuil de confiance ajoute des boîtes : le rappel augmente et la précision diminue. La courbe précision-rappel représente ce compromis pour tous les seuils, et l’aire sous cette courbe correspond à la précision moyenne (AP) pour une classe. mAP50 calcule la moyenne de l’AP sur les classes avec un IoU de 0,5, où même une boîte nettement trop large reste comptabilisée. mAP50-95 calcule la moyenne sur dix seuils d’IoU, de 0,5 à 0,95, et récompense donc les boîtes bien ajustées ; c’est le chiffre principal des tableaux de modèles Ultralytics.

Lancer une validation#

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml")

print(f"precision={metrics.box.mp:.3f} recall={metrics.box.mr:.3f}")
print(f"mAP50={metrics.box.map50:.3f} mAP50-95={metrics.box.map:.3f}")

                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)
                   all          4         17      0.551      0.962      0.943      0.669
                person          3         10      0.551        0.8      0.848      0.387
                   dog          1          1       0.36          1      0.995      0.597
                 horse          1          2       0.36          1      0.995      0.696
              elephant          1          2      0.656      0.969      0.828      0.545
              umbrella          1          1      0.543          1      0.995      0.895
          potted plant          1          1      0.833          1      0.995      0.895

Lis les résultats de haut en bas :

• Instances 17, images 4. COCO8 est un test rapide de bon fonctionnement. Quatre images ne suffisent pas pour décider d’une mise en production ; considère chaque chiffre comme une illustration.
• mAP50 0,943 contre mAP50-95 0,669. La plupart des objets sont détectés, mais de nombreuses boîtes sont trop larges. Un écart important indique que le problème vient de la localisation, pas de la détection.
• person AP50-95 0,387. La classe la plus fréquente est la plus faible. C’est ton goulot d’étranglement.
• P 0,551, R 0,962. Ces colonnes sont calculées au seuil de confiance unique qui maximise le F1 sur toutes les classes — ici, un seuil bas — et non au seuil de 0,25 que tu utilises pour les prédictions. Ne les cite pas comme « la précision du modèle ».

AP par classe et seuil de mise en production#

La même exécution fournit l’AP par classe ainsi que la précision et le rappel à chaque seuil de confiance. Tu peux donc choisir un seuil en fonction d’un objectif plutôt que de le deviner :

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml", plots=False, verbose=False)
box = metrics.box

# Per-class AP from the same run: the average hides the weakest class
for i, c in enumerate(box.ap_class_index):
    print(f"{model.names[int(c)]:13} AP50={box.ap50[i]:.3f}  AP50-95={box.ap[i]:.3f}")

# Precision and recall at every confidence threshold for one class
row = list(box.ap_class_index).index(0)  # class 0 = person
for conf in (0.1, 0.25, 0.5, 0.75):
    j = int(conf * (len(box.px) - 1))
    print(f"person @ conf {conf:.2f}: precision {box.p_curve[row, j]:.2f}, recall {box.r_curve[row, j]:.2f}")

                   all          4         17      0.551      0.962      0.943      0.669
person        AP50=0.848  AP50-95=0.387
dog           AP50=0.995  AP50-95=0.597
horse         AP50=0.995  AP50-95=0.696
elephant      AP50=0.828  AP50-95=0.545
umbrella      AP50=0.995  AP50-95=0.895
potted plant  AP50=0.995  AP50-95=0.895
person @ conf 0.10: precision 0.63, recall 0.80
person @ conf 0.25: precision 1.00, recall 0.54
person @ conf 0.50: precision 1.00, recall 0.40
person @ conf 0.75: precision 1.00, recall 0.14

Le seuil devient alors une règle de décision, et non une intuition :

Aucun des deux choix n’est satisfaisant ici : une précision élevée fait perdre la moitié des personnes, et un rappel élevé laisse passer un tiers des alertes. C’est une raison d’« itérer », pas un problème de seuil. La validation enregistre également BoxPR_curve.png, BoxP_curve.png, BoxR_curve.png, BoxF1_curve.png et confusion_matrix.png dans le dossier d’exécution, pour que tu puisses observer le même compromis sur les graphiques ; le guide des métriques de performance explique chacune d’elles.

Que corriger ensuite#

La matrice de confusion t’indique à quoi une classe faible est confondue. Si l’AP de forklift est faible et que les chariots élévateurs sont prédits comme pallet_jack, il s’agit d’une confusion entre classes, et non d’un problème de localisation : ajoute des exemples qui montrent la différence visuelle ou fusionne les classes si aucun code en aval n’a besoin de les distinguer. Le guide sur les enseignements tirés de l’évaluation du modèle détaille le processus.

La plupart des corrections concernent le premier et le troisième volets : améliorer les données et les étiquettes de la classe limitante. Ne modifie le modèle ou les paramètres d’entraînement qu’après avoir réussi les vérifications des données présentées dans les trois leçons précédentes.

Pièges#