Interpretar correctamente las métricas de detección

Cómo se puntúa cada predicción#

Durante la validación, cada caja predicha se compara con la verdad terreno. Una predicción es un verdadero positivo (TP) si tiene la clase correcta y su IoU con una caja de verdad terreno aún no emparejada supera un umbral; de lo contrario, es un falso positivo (FP). Cada objeto de verdad terreno que queda sin emparejar es un falso negativo (FN).

Al reducir el umbral de confianza, se añaden cajas: aumenta la exhaustividad y disminuye la precisión. La curva precisión-exhaustividad representa ese equilibrio para todos los umbrales, y el área bajo la curva es la precisión media (AP) de una clase. mAP50 calcula la media del AP de todas las clases con un IoU de 0,5, donde una caja claramente imprecisa sigue contando. mAP50-95 calcula la media con diez umbrales de IoU entre 0,5 y 0,95, por lo que recompensa las cajas ajustadas; es la cifra principal de las tablas de modelos de Ultralytics.

Ejecuta una validación#

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml")

print(f"precision={metrics.box.mp:.3f} recall={metrics.box.mr:.3f}")
print(f"mAP50={metrics.box.map50:.3f} mAP50-95={metrics.box.map:.3f}")

                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)
                   all          4         17      0.551      0.962      0.943      0.669
                person          3         10      0.551        0.8      0.848      0.387
                   dog          1          1       0.36          1      0.995      0.597
                 horse          1          2       0.36          1      0.995      0.696
              elephant          1          2      0.656      0.969      0.828      0.545
              umbrella          1          1      0.543          1      0.995      0.895
          potted plant          1          1      0.833          1      0.995      0.895

Léela de arriba abajo:

• Instancias 17, imágenes 4. COCO8 sirve para una prueba rápida. Cuatro imágenes no bastan para decidir si publicar el modelo; interpreta todas las cifras como ejemplos.
• mAP50 0,943 frente a mAP50-95 0,669. Se encuentran la mayoría de los objetos, pero muchas cajas son imprecisas. Una diferencia grande indica que el punto débil es la localización, no la detección.
• AP50-95 de person: 0,387. La clase más común es la más débil. Ese es tu cuello de botella.
• P 0,551, R 0,962. Estas columnas se leen en el nivel de confianza único que maximiza F1 entre todas las clases —un umbral bajo en este caso—, no en el 0,25 con el que haces predicciones. No las cites como «la precisión del modelo».

AP por clase y umbral para producción#

La misma ejecución incluye el AP por clase y la precisión y la exhaustividad para cada umbral de confianza, así que puedes elegir un umbral según un objetivo en lugar de hacer una suposición:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml", plots=False, verbose=False)
box = metrics.box

# Per-class AP from the same run: the average hides the weakest class
for i, c in enumerate(box.ap_class_index):
    print(f"{model.names[int(c)]:13} AP50={box.ap50[i]:.3f}  AP50-95={box.ap[i]:.3f}")

# Precision and recall at every confidence threshold for one class
row = list(box.ap_class_index).index(0)  # class 0 = person
for conf in (0.1, 0.25, 0.5, 0.75):
    j = int(conf * (len(box.px) - 1))
    print(f"person @ conf {conf:.2f}: precision {box.p_curve[row, j]:.2f}, recall {box.r_curve[row, j]:.2f}")

                   all          4         17      0.551      0.962      0.943      0.669
person        AP50=0.848  AP50-95=0.387
dog           AP50=0.995  AP50-95=0.597
horse         AP50=0.995  AP50-95=0.696
elephant      AP50=0.828  AP50-95=0.545
umbrella      AP50=0.995  AP50-95=0.895
potted plant  AP50=0.995  AP50-95=0.895
person @ conf 0.10: precision 0.63, recall 0.80
person @ conf 0.25: precision 1.00, recall 0.54
person @ conf 0.50: precision 1.00, recall 0.40
person @ conf 0.75: precision 1.00, recall 0.14

Ahora el umbral es una regla de decisión, no una corazonada:

Ninguna de las dos opciones es suficientemente buena en este caso: una precisión alta deja fuera a la mitad de las personas, y una exhaustividad alta genera un tercio de alertas. Eso justifica «iterar»; no es un problema de umbral. La validación también guarda BoxPR_curve.png, BoxP_curve.png, BoxR_curve.png, BoxF1_curve.png y confusion_matrix.png en la carpeta de ejecución, para que puedas observar el mismo equilibrio en los gráficos; la guía de métricas de rendimiento explica cada una.

Qué corregir a continuación#

La matriz de confusión te indica con qué se confunde una clase débil. Si el AP de forklift es bajo y las carretillas elevadoras se predicen como pallet_jack, se trata de una confusión entre clases, no de un problema de localización: añade ejemplos que muestren la diferencia visual o combina las clases si ningún código posterior necesita distinguirlas. La guía de análisis de evaluación de modelos explica el flujo de trabajo.

La mayoría de las mejoras corresponden al primer y al tercer panel: mejores datos y mejores etiquetas para la clase limitante. Cambia el modelo o los parámetros de entrenamiento solo después de superar las comprobaciones de datos de las tres lecciones anteriores.

Errores habituales#