Orientierte Bounding-Boxes für gedrehte Objekte

Wann die Drehung wichtig ist#

Pose-Schätzung und OBB behandelt, wann OBB gegenüber der Erkennung vorzuziehen ist. Der Praxistest: Wenn sich achsenparallele Bounding-Boxes benachbarter Objekte stärker überlappen als die Objekte selbst, unterdrückt NMS echte Erkennungen und die Zählwerte fallen zu niedrig aus. Luftbilder sind der klassische Anwendungsfall. Deshalb wird das vortrainierte Modell yolo26n-obb.pt mit DOTA auf imgsz=1024 trainiert.

Das xyxyxyxy-Label-Format#

Eine OBB-Label-Zeile besteht aus dem Klassenindex, gefolgt von den vier Ecken, normalisiert und in der Reihenfolge entlang des Umfangs. Eine echte DOTA8-Zeile (Klasse 1 ist ship):

1 0.813477 0.523437 0.814453 0.504882 0.87207 0.504882 0.87207 0.524414

Lies die Zeile als vier Punkte: (0.813, 0.523) → (0.814, 0.505) → (0.872, 0.505) → (0.872, 0.524). Dieses Schiff liegt fast waagerecht und ist etwa 0.059 der Bildbreite und 0.019 der Bildhöhe groß. Ultralytics wandelt jeden Satz von Ecken intern in Mittelpunkt, Breite, Höhe und Drehung (xywhr) um, indem es das Rechteck mit der kleinsten Fläche einpasst. Daher lassen sich auch leicht unrunde Vierecke aus einem Annotationswerkzeug für das Training verwenden. Der OBB-Datensatz-Leitfaden dokumentiert das Format, und convert_dota_to_yolo_obb in ultralytics.data.converter konvertiert ursprüngliche DOTA-Annotationen.

Mit DOTA8 trainieren#

DOTA8 ist ein kleiner Datensatz mit orientierten Begrenzungsrahmen, der zum Testen von Pipelines entwickelt wurde:

from ultralytics import YOLO

model = YOLO("yolo26n-obb.pt")
model.train(data="dota8.yaml", epochs=1, imgsz=320, device="cpu")
metrics = model.val()
print(f"OBB mAP50: {metrics.box.map50:.3f}  mAP50-95: {metrics.box.map:.3f}")

OBB mAP50: 0.995  mAP50-95: 0.832

OBB-Metriken findest du in metrics.box, aber der IoU-Wert dahinter wird zwischen gedrehten Rechtecken berechnet.

Vorhersagen auslesen und den Winkel normalisieren#

import math
from collections import Counter

from ultralytics import YOLO

def long_side_axis(w, h, r):
    """Angle of the box's long side in degrees, in [0, 180), whichever side the model called width."""
    deg = math.degrees(r) + (90 if w < h else 0)
    return deg % 180

model = YOLO("yolo26n-obb.pt")  # trained on DOTAv1, 15 aerial classes
result = model("https://ultralytics.com/images/boats.jpg", verbose=False)[0]
obb = result.obb.cpu()

print("xywhr:", tuple(obb.xywhr.shape), " xyxyxyxy:", tuple(obb.xyxyxyxy.shape))
print(Counter(result.names[int(c)] for c in obb.cls.tolist()))
for (cx, cy, w, h, r), conf in list(zip(obb.xywhr.tolist(), obb.conf.tolist()))[:5]:
    print(f"{conf:.2f} center=({cx:.0f},{cy:.0f}) size={w:.0f}x{h:.0f} raw={math.degrees(r):4.0f} deg  axis={long_side_axis(w, h, r):4.0f} deg")

xywhr: (173, 5)  xyxyxyxy: (173, 4, 2)
Counter({'ship': 168, 'harbor': 5})
0.87 center=(619,850) size=33x108 raw= -15 deg  axis=  75 deg
0.86 center=(1650,937) size=116x33 raw=  21 deg  axis=  21 deg
0.86 center=(1105,571) size=124x35 raw=  21 deg  axis=  21 deg
0.86 center=(1596,1037) size=129x35 raw=  25 deg  axis=  25 deg
0.86 center=(825,940) size=34x99 raw= -15 deg  axis=  75 deg

Zeile für Zeile:

• xywhr: (173, 5) — 173 Erkennungen, jeweils mit Mittelpunkt-x, Mittelpunkt-y, Breite und Höhe in Pixeln sowie einer Drehung in Radiant. xyxyxyxy enthält dieselben Begrenzungsrahmen als vier Eckpunkte, bereit für cv2.polylines.
• Der Zähler zählt anhand von result.obb.cls: 168 Schiffe und 5 Häfen. Bei OBB-Modellen ist result.boxes gleich None; daher muss Zählcode, der für die Objekterkennung geschrieben wurde, die Felder wechseln.
• raw gegenüber axis. Das erste Schiff ist 33 × 108 bei −15°: Sein w ist die kurze Seite, daher verläuft der Rumpf entlang −15° + 90° = 75°. Das zweite Schiff ist 116 × 33 bei 21° und hat bereits zuerst die lange Seite. Liest du die Rohwinkel aus, ist die Achse des ersten Schiffs um 90° falsch; nach der Normalisierung bedeutet der Winkel bei jedem Schiff dasselbe und lässt sich zwischen Schiffen und Einzelbildern vergleichen.

Die Regel stammt aus dem installierten Quellcode: Die vorhergesagte Drehung liegt im Bereich [−π/4, 3π/4) — ungefähr −45° bis 135° — und dasselbe Rechteck kann (w, h, θ) oder (h, w, θ + 90°) sein. Gehe niemals davon aus, dass w die lange Seite ist.

Kleine Objekte brauchen Kacheln, keine Verkleinerung#

Luftbildobjekte sind klein, und die Validierung oder Bereitstellung mit einer geringeren Auflösung als der beim Training verwendeten imgsz lässt den Recall schnell sinken. Teile Satelliten-Kacheln, die größer als die Modelleingabe sind, in überlappende Kacheln auf, statt sie zu verkleinern; sonst wird ein 30 Pixel großes Auto zu einem 5 Pixel großen Fleck. Der Leitfaden zur gekachelten Inferenz mit SAHI zeigt die Methode; bei einem Autobahnbild übersieht ein Detektor bei der Inferenz des Gesamtbilds viele weit entfernte Fahrzeuge:

Die Inferenz mit Kacheln findet sie:

Stolperfallen#