Comece pelo objetivo de negócio

O objetivo de uma página#

Cinco linhas respondem às perguntas das quais dependem todas as etapas posteriores. O guia definição dos objetivos do projeto aborda os mesmos tópicos com mais detalhes. Veja um exemplo preenchido de um armazém, que serve de base para este curso:

Fixe a página em um local visível para toda a equipe. Se alguém das partes interessadas contestar uma linha depois, altere primeiro a página e depois o conjunto de dados.

Escolha a tarefa mais simples que responda à pergunta#

A tarefa determina o que os anotadores desenham, e isso determina a maior parte do orçamento de rotulagem. Percorra esta árvore de decisão e pare na primeira tarefa que responda à pergunta de negócio:

O Ultralytics YOLO oferece suporte a sete tarefas. Para planejar o conjunto de dados, o que importa é o custo de rotulagem de cada uma; Fundamentos de visão computacional faz uma comparação detalhada na lição sobre tarefas de visão computacional.

Leia o painel das bananas como uma tabela de preços: a detecção já informa presença, localização e contagem; somente os dois painéis de segmentação acrescentam tamanho e forma, com um custo de anotação muito maior. Se a empresa só precisa saber "quantas bananas", a resposta é detecção, e os polígonos são um gasto desnecessário.

Defina classes que um anotador consiga aplicar#

Uma classe só é útil se dois anotadores rotularem o mesmo objeto da mesma forma. Escreva cada definição em uma frase, mencionando algo parecido que ela exclui:

• forklift: uma empilhadeira motorizada, incluindo os garfos e o mastro. Exclui paleteiras manuais.
• person: qualquer pessoa, mesmo parcialmente visível, sentada ou dentro da cabine de um veículo. Exclui reflexos e cartazes.
• pallet: um palete de madeira ou plástico para transporte de mercadorias, carregado ou vazio. Exclui pilhas de caixas sem uma base de palete.

Depois, escolha deliberadamente o nível de granularidade. Classes abrangentes ("veículo") são mais baratas e convergem mais rápido; classes detalhadas ("sedã", "picape") são mais úteis em etapas posteriores, mas é mais difícil mantê-las consistentes. Comece pelo que a empresa precisa. Depois, é possível agrupar rótulos detalhados em classes abrangentes com uma linha de código, mas nunca é possível dividir classes abrangentes sem refazer a anotação.

Transforme a métrica em um teste de aceitação que você possa executar#

Escolha a métrica que corresponda ao custo de um erro:

• Uma detecção perdida custa caro (segurança, defeitos): defina um limite de revocação para essa classe.
• Um falso alarme custa caro (rejeitar peças automaticamente, alertar a equipe): defina um limite de precisão.
• Todas as classes têm a mesma importância (contagem, inventário): defina um limite para o AP por classe, para que nenhuma classe fique escondida pela média.

O guia de métricas de desempenho do YOLO explica cada uma delas. Em seguida, escreva o teste em código, para que a pergunta "está bom o suficiente?" deixe de ser motivo de debate. Este script funciona hoje com um modelo pré-treinado no conjunto de demonstração COCO8 e, mais tarde, com seu próprio checkpoint e conjunto reservado:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # later: your fine-tuned runs/detect/train/weights/best.pt
metrics = model.val(data="coco8.yaml", classes=[0], verbose=False)  # 0 = person; later: your holdout YAML

precision, recall = metrics.box.mp, metrics.box.mr
print(f"person: precision={precision:.2f} recall={recall:.2f}")
print("PASS" if recall >= 0.95 and precision >= 0.85 else "FAIL: below the acceptance test")

                   all          4         10      0.939        0.8      0.848      0.387
person: precision=0.94 recall=0.80
FAIL: below the acceptance test

O que cada linha informa:

• classes=[0] avalia somente person, para que outras classes não inflem o resultado. Use o ID da sua própria classe de segurança.
• A linha do validador mostra 4 imagens com 10 pessoas rotuladas. mp e mr são a precisão e a revocação no limiar de confiança que melhor as equilibra (F1 máximo).
• Um modelo COCO pré-treinado encontra 8 das 10 pessoas, então a revocação é 0.80: precisa, mas não segura o suficiente. Esse FAIL mostra que o teste está cumprindo seu papel. Neste curso, um FAIL leva de volta aos dados, não aos hiperparâmetros.

Registre o que a v1 não fará#

Nenhum modelo é perfeito, então defina de antemão quais falhas são aceitáveis: condições para as quais você não fará promessas (nevoeiro denso, escuridão total), objetos parecidos que você tolerará confundir e classes raras adiadas para a v2. Esta linha impede que um modelo que atinge a meta seja avaliado segundo um critério de 100% que nunca foi definido e indica à equipe de coleta onde ainda não vale a pena investir esforço.