Interpretar métricas de detecção com rigor

Como cada previsão é avaliada#

Na validação, cada caixa prevista é comparada com a verdade fundamental. Uma previsão é um verdadeiro positivo (TP) quando tem a classe correta e a IoU com uma caixa da verdade fundamental ainda não associada supera um limiar; caso contrário, é um falso positivo (FP). Cada objeto da verdade fundamental que não for associado é um falso negativo (FN).

Reduzir o limiar de confiança adiciona caixas: a revocação aumenta e a precisão diminui. A curva precisão-revocação mostra essa relação em todos os limiares, e a área sob a curva é a precisão média (AP) de uma classe. mAP50 calcula a média do AP entre classes com IoU de 0.5, em que uma caixa visivelmente imprecisa ainda conta. mAP50-95 calcula a média em dez limiares de IoU, de 0.5 a 0.95, recompensando caixas mais precisas; é o principal número nas tabelas de modelos da Ultralytics.

Execute uma validação#

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml")

print(f"precision={metrics.box.mp:.3f} recall={metrics.box.mr:.3f}")
print(f"mAP50={metrics.box.map50:.3f} mAP50-95={metrics.box.map:.3f}")

                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)
                   all          4         17      0.551      0.962      0.943      0.669
                person          3         10      0.551        0.8      0.848      0.387
                   dog          1          1       0.36          1      0.995      0.597
                 horse          1          2       0.36          1      0.995      0.696
              elephant          1          2      0.656      0.969      0.828      0.545
              umbrella          1          1      0.543          1      0.995      0.895
          potted plant          1          1      0.833          1      0.995      0.895

Leia de cima para baixo:

• Instâncias 17, imagens 4. COCO8 é um teste rápido. Quatro imagens não são suficientes para decidir se deve implantar; trate cada número como uma ilustração.
• mAP50 0.943 vs mAP50-95 0.669. A maioria dos objetos é encontrada, mas muitas caixas são imprecisas. Uma grande diferença indica que a localização, e não a detecção, é o ponto fraco.
• person AP50-95 0.387. A classe mais comum é a mais fraca. Esse é o seu gargalo.
• P 0.551, R 0.962. Estas colunas são lidas no único nível de confiança que maximiza o F1 entre as classes — um limiar baixo neste caso — e não em 0.25, o limiar usado nas suas previsões. Não as apresente como "a precisão do modelo".

AP por classe e o limiar de implantação#

A mesma execução contém o AP por classe e os valores de precisão e revocação em cada limiar de confiança, para que você possa escolher um limiar com base em uma meta, em vez de adivinhar:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml", plots=False, verbose=False)
box = metrics.box

# Per-class AP from the same run: the average hides the weakest class
for i, c in enumerate(box.ap_class_index):
    print(f"{model.names[int(c)]:13} AP50={box.ap50[i]:.3f}  AP50-95={box.ap[i]:.3f}")

# Precision and recall at every confidence threshold for one class
row = list(box.ap_class_index).index(0)  # class 0 = person
for conf in (0.1, 0.25, 0.5, 0.75):
    j = int(conf * (len(box.px) - 1))
    print(f"person @ conf {conf:.2f}: precision {box.p_curve[row, j]:.2f}, recall {box.r_curve[row, j]:.2f}")

                   all          4         17      0.551      0.962      0.943      0.669
person        AP50=0.848  AP50-95=0.387
dog           AP50=0.995  AP50-95=0.597
horse         AP50=0.995  AP50-95=0.696
elephant      AP50=0.828  AP50-95=0.545
umbrella      AP50=0.995  AP50-95=0.895
potted plant  AP50=0.995  AP50-95=0.895
person @ conf 0.10: precision 0.63, recall 0.80
person @ conf 0.25: precision 1.00, recall 0.54
person @ conf 0.50: precision 1.00, recall 0.40
person @ conf 0.75: precision 1.00, recall 0.14

Agora, o limiar é uma regra de decisão, não um palpite:

Nenhum dos dois é bom o suficiente aqui: a alta precisão custa metade das pessoas, e a alta revocação custa um terço dos alertas. Essa é a evidência para "iterar", não um problema de limiar. A validação também salva BoxPR_curve.png, BoxP_curve.png, BoxR_curve.png, BoxF1_curve.png e confusion_matrix.png na pasta da execução, para que você possa observar a mesma relação nos gráficos; o guia de métricas de desempenho explica cada uma.

O que corrigir a seguir#

A matriz de confusão mostra com o que uma classe fraca é confundida. Se o AP de forklift for baixo e empilhadeiras forem previstas como pallet_jack, trata-se de confusão entre classes, não de localização: adicione exemplos que mostrem a diferença visual ou mescle as classes se nenhum código posterior precisar mantê-las separadas. O guia de insights da avaliação de modelos apresenta o fluxo de trabalho.

A maioria das correções se concentra no primeiro e no terceiro painéis: dados melhores e rótulos melhores para a classe gargalo. Só altere o modelo ou as configurações de treinamento depois que os dados passarem pelas verificações das três lições anteriores.

Armadilhas#