Bewährte Verfahren für die Annotation

Wähle das Annotationswerkzeug#

Welches Werkzeug passt, hängt von der Aufgabe, dem Team und dem Ort des Trainings ab:

Auf der Ultralytics Platform funktioniert die intelligente Annotation mit SAM 2.1, SAM 3 und SAM 3.1 für Datensätze zur Objekterkennung, Segmentierung, semantischen Segmentierung und OBB. Vergewissere dich unabhängig von deiner Wahl, dass das Werkzeug das für deine Aufgabe benötigte YOLO-Format exportiert; Einen benutzerdefinierten Datensatz vorbereiten behandelt das Beschriftungsformat und die Konvertierung.

Die sieben Beschriftungstypen#

Verfasse zuerst den Leitfaden zur Beschriftung#

Verfasse einen Leitfaden mit fünf Abschnitten, bevor jemand eine Box einzeichnet:

1. Klassenbeschreibungen: ein Absatz pro Klasse mit positiven Beispielen, ähnlichen Objekten, die nicht zu dieser Klasse gehören, und Grenzfällen.
2. Zeichenregeln: eng an den sichtbaren Objekten anliegende Boxen; Polygone, die dem sichtbaren Umriss folgen.
3. Regeln für Verdeckungen und Größe: ein Schwellenwert für teilweise sichtbare Objekte („beschriften, wenn sich die Klasse erkennen lässt“) und einer für sehr kleine Objekte („Personen beschriften, die mehr als 10 Pixel hoch sind“); beide Regeln gelten überall.
4. Protokoll für Zweifelsfälle: jede Frage nach dem Muster „Was ist mit diesem Fall?“ samt vereinbarter Antwort und Screenshot.
5. Was ausgelassen wird: alles, was für diese Aufgabe nicht beschriftet werden muss.

Ein oder zwei Seiten mit Screenshots reichen völlig aus. Der Leitfaden bildet dann die Grundlage für einen kurzen Ablauf, der vor der Ausweitung der Beschriftung durchgeführt wird:

Zehn Fehler, die die Genauigkeit beeinträchtigen#

Die Fehler, die das Annotationsteam von Ultralytics am häufigsten sieht, veranschaulicht anhand von Bildern mit Gabelstaplern, Personen und Paletten (nach einer Präsentation von Alexis Schutzger). Nimm sie als erste Einträge in deinen Leitfaden auf.

1. Die Form des Objekts ergänzen. Beschrifte nur, was du sehen kannst. Hier steht der Gabelstapler hinter einer Person und einem Holzstapel, doch seine Box reicht über beide hinweg bis zu der Stelle, an der die annotierende Person den Rest des Fahrzeugs vermutet. Zeichne eine Box um den sichtbaren Teil.

2. Ungenaue Boxen. Boxen müssen eng am Objekt anliegen. Diese Box schneidet die Leuchten am Überrollschutz; eine Box, die einen Teil des Objekts abschneidet oder einen Bodenrand mit einschließt, vermittelt die falsche Ausdehnung.

3. Uneinheitliche Konventionen bei ähnlichen Objekten. Die linke Box schließt die Gabeln ein, die rechte nicht. Das Modell erhält zwei Antworten auf dieselbe Frage. Halte daher die Konvention schriftlich fest: Gabeln einschließen oder weglassen.

4. Fehlende Beschriftungen. Neben dem Gabelstapler stehen zwei Personen, doch nur eine ist eingerahmt. Die nicht beschriftete Person wird so zum Trainingsbeispiel für „Personen sind Hintergrund“.

5. Falsche Klasse. Prüfe die Klasse, nicht nur die Box. Eine korrekte Box um einen Gabelstapler mit der Klasse person verfälscht beide Klassen und entsteht meist durch einen versehentlichen Tastenkürzel-Treffer.

6. Leere oder verirrte Annotationen. Jede Annotation braucht ein echtes Objekt und eine echte Klasse. Ein verirrter Klick hinterlässt eine fast leere Box wie die hier in der Ecke, und eine Box, die ohne Klasse gespeichert wird, kann als None oder Klasse 0 exportiert werden. Korrigiere oder lösche sie.

7. Doppelte Boxen. Ein Objekt, eine Box. Zwei überlappende Boxen um denselben Gabelstapler erhöhen die Anzahl der Instanzen und bringen dem Modell bei, Duplikate vorherzusagen.

8. Unklare Richtlinien. Ohne schriftliche Regel improvisieren die Annotierenden: Hier hat eine Person nur den Kopf der Fahrerin oder des Fahrers eingerahmt und ihm die Klasse forklift zugewiesen. Gehört die fahrende Person zum Gabelstapler oder ist sie eine separate person? Beantworte diese Frage einmalig in der Anleitung.

9. Ausreißerbilder. Entferne Bilder, die nicht zur späteren Anwendung passen. Ein Foto einer Stadtsilhouette in einem Gabelstapler-Datensatz bringt nichts Nützliches bei und verwässert alles andere.

10. Durch Augmentierung verursachte Mehrdeutigkeit. Wenn ein Zuschnitt das Merkmal entfernen kann, das eine Klasse definiert, werden zwei Klassen identisch. Schneide das Ecksymbol eines Herzkönigs ab, und er sieht aus wie die Karten mit der Bezeichnung unknown. Augmentierung mit Bedacht einsetzen erklärt die Lösung.

Übereinstimmung messen, nicht schätzen#

Bei einer Kalibrierungsrunde erhalten zwei annotierende Personen dieselben Bilder, und ihre Labels werden Objekt für Objekt verglichen. Zwei Labels stimmen überein, wenn sie dieselbe Klasse haben und sich mit einem IoU von mindestens 0,5 überlappen. Dieses Skript berechnet den Wert anhand der Validierungsbilder von COCO8. Damit das Skript ohne zweite Person ausführbar ist, übernimmt ein vortrainiertes Modell die Rolle der annotierenden Person B; bei einem echten Team liest du die Boxen von B stattdessen aus den Labeldateien aus:

from pathlib import Path

import torch

from ultralytics import YOLO
from ultralytics.data.utils import check_det_dataset, img2label_paths
from ultralytics.utils.metrics import box_iou
from ultralytics.utils.ops import xywh2xyxy

data = check_det_dataset("coco8.yaml")
model = YOLO("yolo26n.pt")  # stands in for a second annotator; compare two label folders the same way
names = data["names"]

matched = total = 0
for image in sorted(Path(data["val"]).glob("*.jpg")):
    rows = [r.split() for r in Path(img2label_paths([str(image)])[0]).read_text().splitlines() if r.strip()]
    a_cls = torch.tensor([int(r[0]) for r in rows])  # annotator A: the dataset labels
    a_box = xywh2xyxy(torch.tensor([[float(v) for v in r[1:]] for r in rows]))
    b = model(image, conf=0.5, verbose=False)[0].boxes  # annotator B: confident model proposals
    iou = box_iou(a_box, b.xyxyn)
    used = set()
    for i in range(len(rows)):  # pair each A object with the best unused same-class B box at IoU >= 0.5
        ok = [j for j in range(len(b)) if j not in used and b.cls[j] == a_cls[i] and iou[i, j] >= 0.5]
        if ok:
            used.add(max(ok, key=lambda j: iou[i, j]))
        else:
            print(f"{image.name}: {names[int(a_cls[i])]} labeled by A only")
    for j in set(range(len(b))) - used:
        print(f"{image.name}: {names[int(b.cls[j])]} labeled by B only")
    matched += len(used)
    total += len(rows) + len(b) - len(used)

print(f"agreement: {matched}/{total} objects = {matched / total:.0%}")

000000000049.jpg: person labeled by A only
000000000049.jpg: person labeled by A only
000000000049.jpg: potted plant labeled by A only
000000000049.jpg: person labeled by A only
000000000049.jpg: person labeled by A only
000000000049.jpg: person labeled by A only
000000000061.jpg: person labeled by A only
000000000061.jpg: elephant labeled by A only
000000000061.jpg: person labeled by A only
agreement: 8/17 objects = 47%

So liest du die Ergebnisse:

• Der Wert entspricht der Anzahl der zugeordneten Objekte geteilt durch die Anzahl aller von beiden annotierenden Personen eingezeichneten Objekte: 8 von 17.
• Die Abweichungen häufen sich. Alle neun treten in zwei Bildern auf, und die meisten betreffen Personen, die deutlich weniger als 1 % des Bildes einnehmen. Das sind nicht neun zufällige Fehler, sondern eine fehlende Regel: Kennzeichnen wir Personen in der Ferne?
• Die Lösung ist ein Eintrag in der Anleitung, zum Beispiel: „Kennzeichne jede Person, die bei einer Bildgröße von 640 Pixeln mindestens 10 Pixel groß ist.“ Beide annotierenden Personen beschriften die zwei Bilder erneut, und anschließend wird der Wert noch einmal gemessen.

Die Entscheidungsregel: Erst dann mehr Annotationen erstellen lassen, wenn die Übereinstimmung 90 % erreicht. Darunter vergrößert jede zusätzliche annotierende Person die Inkonsistenz.

Intelligente Annotation als Beschleuniger einsetzen#

Bei der intelligenten Annotation schlägt ein YOLO-Modell oder SAM Labels vor, die eine Person bestätigt oder korrigiert. So kann der Durchsatz um ein Vielfaches steigen. Arbeite in Runden: Trainiere mit einem geprüften Stapel, lass das Modell die nächsten Labels vorschlagen, prüfe sie und trainiere erneut. Das ist die Schleife des aktiven Lernens, und Intelligente Annotation und Stapelbeschriftung führt dich auf der Ultralytics Platform durch den Ablauf.

Mit bloßem Auge prüfen#

Bei jedem Ultralytics-Trainingslauf werden labels.jpg und train_batch*.jpg im Ordner des Trainingslaufs gespeichert. Die erste Datei stellt Klassenanzahlen sowie Positionen und Größen der Boxen dar; die anderen zeigen echte Trainingsbilder mit eingezeichneten Labels. Öffne sie, bevor die erste Epoche abgeschlossen ist. Das Auge erkennt, was Kennzahlen niemals erkennen: Boxen um Schatten, vertauschte Klassen-IDs und Polygone, die nicht geschlossen sind.