Annotazione intelligente ed etichettatura in batch

Tre modi per pre-etichettare#

Nell'editor di annotazione, la modalità Draw (V) è manuale, mentre la modalità Smart (S) consente a un modello di proporre etichette:

SAM richiede un clic per oggetto e produce forme più precise. Le previsioni del modello richiedono un clic per immagine e sono valide solo quanto il modello, quindi il resto della lezione è dedicato alla scelta e alla messa a punto del modello.

Scegli il modello di etichettatura#

Un modello v0 poco accurato, addestrato su 100–200 etichette manuali, è comunque meglio che disegnare da zero e, a partire da v1, di solito è un utile alleato per l'apprendimento attivo. Le prestazioni dei modelli con prompt di classe variano molto a seconda del dominio: alcuni modelli che trovano quasi tutto nelle foto di tutti i giorni non rilevano la maggior parte degli oggetti nelle immagini di PCB, radiografie o prodotti al dettaglio, quindi controlla dieci previsioni prima di fidarti.

Esempio pratico: misura il lavoro di revisione per soglia#

La soglia di confidenza determina su cosa i revisori impiegano il loro tempo: se è troppo bassa, eliminano riquadri falsi; se è troppo alta, disegnano i riquadri ignorati dal modello. Misurala su immagini già etichettate correttamente, qui le 128 immagini etichettate di COCO128, usando YOLO26n preaddestrato come modello di etichettatura:

from pathlib import Path

import torch

from ultralytics import YOLO
from ultralytics.data.utils import check_det_dataset
from ultralytics.utils.metrics import box_iou
from ultralytics.utils.ops import xywhn2xyxy

data = check_det_dataset("coco128.yaml")  # 128 labeled images, downloaded on first use
images = sorted(Path(data["train"]).glob("*.jpg"))
results = YOLO("yolo26n.pt").predict(images, conf=0.05, verbose=False)  # your labeling model

def review_work(result, image, conf):
    """Return (kept, delete, draw): correct pre-labels, false positives to delete, missed objects to draw."""
    label = Path(str(image).replace("images", "labels")).with_suffix(".txt")
    lines = label.read_text().splitlines() if label.exists() else []  # no label file = background image
    gt = torch.tensor([[float(x) for x in line.split()] for line in lines]).reshape(-1, 5)
    h, w = result.orig_shape
    gt_boxes, gt_cls = xywhn2xyxy(gt[:, 1:], w=w, h=h), gt[:, 0]
    boxes = result.boxes[result.boxes.conf >= conf]
    iou = box_iou(boxes.xyxy, gt_boxes) * (boxes.cls[:, None] == gt_cls[None])  # IoU with same-class boxes only
    matched = set()
    for row in iou:  # greedily match each prediction to its best unmatched ground-truth box
        for j in row.argsort(descending=True).tolist():
            if row[j] >= 0.5 and j not in matched:
                matched.add(j)
                break
    return len(matched), len(boxes) - len(matched), len(gt) - len(matched)

print("conf  kept  delete  draw  edits/image")
for conf in (0.1, 0.25, 0.4, 0.5, 0.7):
    kept, delete, draw = (sum(t) for t in zip(*(review_work(r, i, conf) for r, i in zip(results, images))))
    print(f"{conf:<5} {kept:>4} {delete:>7} {draw:>5} {(delete + draw) / len(images):>12.1f}")

conf  kept  delete  draw  edits/image
0.1    590     490   339          6.5
0.25   468     138   461          4.7
0.4    386      58   543          4.7
0.5    328      35   601          5.0
0.7    230       6   699          5.5

Come funziona e cosa indica:

1. Il modello genera previsioni una sola volta con una conf=0.05 bassa; ogni soglia filtra poi le stesse previsioni, quindi la scansione è veloce.
2. review_work abbina ogni previsione a un riquadro di riferimento della stessa classe con IoU pari o superiore a 0.5. Le previsioni non abbinate sono riquadri che il revisore elimina; gli oggetti di riferimento non abbinati sono oggetti che il revisore disegna.
3. Le modifiche per immagine raggiungono il minimo tra 0.25 e 0.4 (4.7). Al di sotto, le eliminazioni aumentano vertiginosamente; al di sopra, aumentano gli oggetti mancati.
4. Anche con la soglia migliore, i revisori disegnano circa 3.6 riquadri per immagine, perché la lunga coda di oggetti piccoli di COCO è difficile da gestire per un modello nano.

Criteri decisionali: scegli la soglia con il minor numero di modifiche per immagine. Se disegnare è l'operazione prevalente a ogni soglia, il modello di etichettatura è troppo debole per i dati: usa un modello più grande o il tuo modello ottimizzato. Se eliminare è l'operazione prevalente anche a 0.5, il modello confonde classi simili, quindi controlla la matrice di confusione prima di etichettare altri dati. Nel tuo progetto, esegui la scansione con il tuo modello ottimizzato su 50–100 immagini che hai già etichettato.

Esegui l'annotazione in batch#

L'annotazione in batch esegue un modello YOLO o con prompt di classe sull'intero dataset. Aprila da More actions > Batch Annotation oppure fai clic su Annotate all nella notifica dopo una previsione nell'editor:

1. Scegli il modello. I dataset di rilevamento si aprono con Moondream 3.1 selezionato; passa al tuo modello ottimizzato o al modello YOLO.
2. Per un modello YOLO, imposta la confidenza sulla soglia scelta dalla scansione (il valore predefinito è 0.25) e IoU (0.7), quindi controlla le anteprime di esempio.
3. Lascia disattivata l'opzione Include annotated images per etichettare solo le immagini senza etichette.
4. Controlla Estimated Cost ($1.00 ogni 1.000 immagini, minimo $0.01) e fai clic su Start.

L'avvio di un'esecuzione salva prima una versione del dataset, così puoi ripristinare lo stato precedente. Stop conserva e addebita le immagini elaborate fino a quel momento.

Rivedi, poi misura il tasso di modifiche#

Le previsioni diventano normali annotazioni, quindi nulla le contrassegna come non revisionate. Filtra per classe per controllare prima quelle rare e ordina per Annotations in ordine crescente (probabili oggetti mancati) e decrescente (scene affollate in cui i riquadri si fondono). Crea poi una versione, apri Compare versions nella scheda Versions e scegli v_auto come versione From:

Monitora il tasso di modifiche per ogni batch. Un tasso in aumento è il primo segnale che le nuove immagini si discostano da ciò che il modello di etichettatura conosce. La lezione sulle best practice di annotazione tratta le guide all'etichettatura e l'accordo tra revisori.

Insidie#