Intelligente Annotation und Batch-Labeling

Drei Möglichkeiten für vorab erstellte Labels#

Im Annotationseditor ist Draw mode (V) der manuelle Modus. In Smart mode (S) schlägt ein Modell Labels vor:

Für SAM ist ein Klick pro Objekt nötig und es liefert die präzisesten Formen. Modellvorhersagen erfordern einen Klick pro Bild und sind nur so gut wie das Modell. Im Rest dieser Lektion geht es daher darum, das passende Modell auszuwählen und einzustellen.

Wähle das Labeling-Modell aus#

Ein schwaches v0-Modell, das mit 100–200 manuell gelabelten Beispielen trainiert wurde, ist immer noch besser, als ganz von vorn anzufangen. Ab v1 ist es normalerweise ein nützlicher Partner für aktives Lernen. Die Leistung von Modellen mit Klassenabfrage variiert stark je nach Anwendungsbereich: Einige erkennen in alltäglichen Fotos fast alles, übersehen aber die meisten Objekte in Leiterplatten-, Röntgen- oder Einzelhandelsbildern. Prüfe daher zehn Vorhersagen, bevor du einem solchen Modell vertraust.

Praxisbeispiel: Miss den Prüfaufwand für jede Schwelle#

Die Konfidenzschwelle bestimmt, wofür Prüfende ihre Zeit aufwenden: Ist sie zu niedrig, löschen sie falsche Boxen; ist sie zu hoch, zeichnen sie die vom Modell übersehenen Boxen. Miss den Aufwand anhand von Bildern mit bereits korrekten Labels. Hier kommen die 128 gelabelten Bilder von COCO128 und ein vortrainiertes YOLO26n als Labeling-Modell zum Einsatz:

from pathlib import Path

import torch

from ultralytics import YOLO
from ultralytics.data.utils import check_det_dataset
from ultralytics.utils.metrics import box_iou
from ultralytics.utils.ops import xywhn2xyxy

data = check_det_dataset("coco128.yaml")  # 128 labeled images, downloaded on first use
images = sorted(Path(data["train"]).glob("*.jpg"))
results = YOLO("yolo26n.pt").predict(images, conf=0.05, verbose=False)  # your labeling model

def review_work(result, image, conf):
    """Return (kept, delete, draw): correct pre-labels, false positives to delete, missed objects to draw."""
    label = Path(str(image).replace("images", "labels")).with_suffix(".txt")
    lines = label.read_text().splitlines() if label.exists() else []  # no label file = background image
    gt = torch.tensor([[float(x) for x in line.split()] for line in lines]).reshape(-1, 5)
    h, w = result.orig_shape
    gt_boxes, gt_cls = xywhn2xyxy(gt[:, 1:], w=w, h=h), gt[:, 0]
    boxes = result.boxes[result.boxes.conf >= conf]
    iou = box_iou(boxes.xyxy, gt_boxes) * (boxes.cls[:, None] == gt_cls[None])  # IoU with same-class boxes only
    matched = set()
    for row in iou:  # greedily match each prediction to its best unmatched ground-truth box
        for j in row.argsort(descending=True).tolist():
            if row[j] >= 0.5 and j not in matched:
                matched.add(j)
                break
    return len(matched), len(boxes) - len(matched), len(gt) - len(matched)

print("conf  kept  delete  draw  edits/image")
for conf in (0.1, 0.25, 0.4, 0.5, 0.7):
    kept, delete, draw = (sum(t) for t in zip(*(review_work(r, i, conf) for r, i in zip(results, images))))
    print(f"{conf:<5} {kept:>4} {delete:>7} {draw:>5} {(delete + draw) / len(images):>12.1f}")

conf  kept  delete  draw  edits/image
0.1    590     490   339          6.5
0.25   468     138   461          4.7
0.4    386      58   543          4.7
0.5    328      35   601          5.0
0.7    230       6   699          5.5

Funktionsweise und Aussage:

1. Das Modell erstellt einmal Vorhersagen mit einem niedrigen Wert für conf=0.05. Anschließend filtert jede Schwelle dieselben Vorhersagen, sodass der Test schnell läuft.
2. review_work ordnet jede Vorhersage einer Ground-Truth-Box derselben Klasse mit einem IoU von mindestens 0.5 zu. Nicht zugeordnete Vorhersagen sind Boxen, die Prüfende löschen; nicht zugeordnete Ground-Truth-Objekte sind Objekte, die Prüfende einzeichnen.
3. Bei 0.25–0.4 ist die Zahl der Bearbeitungen pro Bild mit 4.7 am niedrigsten. Darunter steigt die Zahl der Löschungen stark an, darüber die der übersehenen Objekte.
4. Selbst bei der besten Schwelle zeichnen Prüfende etwa 3.6 Boxen pro Bild ein, denn die vielen kleinen Objekte in der langen COCO-Verteilung sind für ein Nano-Modell schwer zu erkennen.

Entscheidungsregeln: Wähle die Schwelle mit den wenigsten Bearbeitungen pro Bild. Überwiegt Einzeichnen bei allen Schwellen, ist das Labeling-Modell für die Daten zu schwach. Verwende dann ein größeres Modell oder dein feinabgestimmtes Modell. Überwiegt Löschen selbst bei 0.5, verwechselt das Modell ähnliche Klassen. Prüfe daher die Konfusionsmatrix, bevor du weitere Daten labelst. Führe für dein eigenes Projekt den Test mit deinem feinabgestimmten Modell auf 50–100 bereits gelabelten Bildern aus.

Batch Annotation ausführen#

Batch Annotation führt ein YOLO-Modell oder ein Modell mit Klassenabfrage über den gesamten Datensatz aus. Öffne die Funktion über More actions > Batch Annotation oder wähle nach einer Vorhersage im Editor in der Toast-Benachrichtigung Annotate all:

1. Wähle das Modell aus. Bei Erkennungsdatensätzen ist Moondream 3.1 vorausgewählt. Wechsle zu deinem feinabgestimmten Modell oder einem YOLO-Modell.
2. Lege bei einem YOLO-Modell die Konfidenz auf die vom Test ermittelte Schwelle fest (Standardwert: 0.25) und stelle den IoU-Wert auf 0.7 ein. Prüfe anschließend die Beispielvorschauen.
3. Lass Include annotated images deaktiviert, um nur ungelabelte Bilder zu labeln.
4. Prüfe die Estimated Cost (1,00 $ pro 1.000 Bilder, mindestens 0,01 $) und klicke auf Start.

Beim Start eines Durchlaufs wird zuerst eine Datensatzversion gespeichert, sodass du den Zustand vor dem Durchlauf wiederherstellen kannst. Mit Stop bleiben die bis dahin verarbeiteten Bilder erhalten und werden abgerechnet.

Prüfe die Ergebnisse und miss anschließend die Bearbeitungsrate#

Die Vorhersagen werden als gewöhnliche Annotationen gespeichert und sind daher nicht als ungeprüft gekennzeichnet. Filtere nach Klasse, um zuerst seltene Klassen zu prüfen. Sortiere anschließend Annotations aufsteigend (möglicherweise übersehene Objekte) und absteigend (überfüllte Szenen, in denen Boxen zusammenlaufen). Erstelle danach eine Version, öffne im Tab „Versions“ die Option Compare versions und wähle v_auto als Version From:

Verfolge die Bearbeitungsrate für jeden Batch. Ein Anstieg ist ein frühes Warnsignal dafür, dass sich neue Bilder von den Daten unterscheiden, die das Labeling-Modell kennt. In der Lektion zu den bewährten Methoden für Annotationen geht es um Labeling-Anleitungen und die Übereinstimmung zwischen Prüfenden.

Stolperfallen#