Cuadros delimitadores orientados para objetos girados

Cuándo importa la rotación#

Estimación de pose y OBB explica cuándo elegir OBB en lugar de detección. La prueba práctica: si los cuadros delimitadores alineados con los ejes alrededor de objetos cercanos se solapan más que los propios objetos, NMS suprimirá detecciones reales y los recuentos quedarán por debajo de lo esperado. Las imágenes aéreas son el caso clásico, por eso el modelo preentrenado yolo26n-obb.pt se entrena con DOTA a imgsz=1024.

El formato de etiqueta xyxyxyxy#

Una fila de etiqueta OBB contiene el índice de clase seguido de las cuatro esquinas, normalizadas y ordenadas a lo largo del perímetro. Una fila real de DOTA8 (la clase 1 es ship):

1 0.813477 0.523437 0.814453 0.504882 0.87207 0.504882 0.87207 0.524414

Léelo como cuatro puntos: (0.813, 0.523) → (0.814, 0.505) → (0.872, 0.505) → (0.872, 0.524). Este barco está casi horizontal: mide aproximadamente 0.059 del ancho de la imagen y 0.019 de alto. Internamente, Ultralytics convierte cada conjunto de esquinas en un centro, ancho, alto y rotación (xywhr) ajustando el rectángulo de área mínima, así que también se puede entrenar con un cuadrilátero ligeramente irregular procedente de una herramienta de anotación. La guía de conjuntos de datos OBB documenta el formato, y convert_dota_to_yolo_obb de ultralytics.data.converter convierte las anotaciones originales de DOTA.

Entrena con DOTA8#

DOTA8 es un pequeño conjunto de datos de cajas orientadas creado para probar flujos de trabajo:

from ultralytics import YOLO

model = YOLO("yolo26n-obb.pt")
model.train(data="dota8.yaml", epochs=1, imgsz=320, device="cpu")
metrics = model.val()
print(f"OBB mAP50: {metrics.box.map50:.3f}  mAP50-95: {metrics.box.map:.3f}")

OBB mAP50: 0.995  mAP50-95: 0.832

Las métricas OBB se encuentran en metrics.box, pero el IoU se calcula entre rectángulos girados.

Lee las predicciones y normaliza el ángulo#

import math
from collections import Counter

from ultralytics import YOLO

def long_side_axis(w, h, r):
    """Angle of the box's long side in degrees, in [0, 180), whichever side the model called width."""
    deg = math.degrees(r) + (90 if w < h else 0)
    return deg % 180

model = YOLO("yolo26n-obb.pt")  # trained on DOTAv1, 15 aerial classes
result = model("https://ultralytics.com/images/boats.jpg", verbose=False)[0]
obb = result.obb.cpu()

print("xywhr:", tuple(obb.xywhr.shape), " xyxyxyxy:", tuple(obb.xyxyxyxy.shape))
print(Counter(result.names[int(c)] for c in obb.cls.tolist()))
for (cx, cy, w, h, r), conf in list(zip(obb.xywhr.tolist(), obb.conf.tolist()))[:5]:
    print(f"{conf:.2f} center=({cx:.0f},{cy:.0f}) size={w:.0f}x{h:.0f} raw={math.degrees(r):4.0f} deg  axis={long_side_axis(w, h, r):4.0f} deg")

xywhr: (173, 5)  xyxyxyxy: (173, 4, 2)
Counter({'ship': 168, 'harbor': 5})
0.87 center=(619,850) size=33x108 raw= -15 deg  axis=  75 deg
0.86 center=(1650,937) size=116x33 raw=  21 deg  axis=  21 deg
0.86 center=(1105,571) size=124x35 raw=  21 deg  axis=  21 deg
0.86 center=(1596,1037) size=129x35 raw=  25 deg  axis=  25 deg
0.86 center=(825,940) size=34x99 raw= -15 deg  axis=  75 deg

Línea por línea:

• xywhr: (173, 5): 173 detecciones, cada una con las coordenadas x e y del centro, la anchura y la altura en píxeles, y un giro en radianes. xyxyxyxy contiene las mismas cajas como cuatro puntos de las esquinas, listas para cv2.polylines.
• El contador cuenta a partir de result.obb.cls: 168 barcos y 5 puertos. result.boxes es None en los modelos OBB, así que el código de conteo escrito para detección debe cambiar de campos.
• raw frente a axis. El primer barco mide 33 × 108 a −15°: su w es el lado corto, así que el casco sigue la dirección −15° + 90° = 75°. El segundo mide 116 × 33 a 21°; ya tiene primero el lado largo. Si lees los ángulos sin procesar, el eje del primer barco estará desviado 90°; tras normalizarlos, el ángulo de todos los barcos significa lo mismo y se puede comparar entre barcos y fotogramas.

La regla procede del código fuente instalado: la rotación predicha está en [−π/4, 3π/4), aproximadamente entre −45° y 135°, y el mismo rectángulo puede ser (w, h, θ) o (h, w, θ + 90°). Nunca des por hecho que w es el lado largo.

Para los objetos pequeños, usa teselas en vez de reducir el tamaño#

Los objetos aéreos son pequeños, y validar o desplegar por debajo de imgsz durante el entrenamiento reduce rápidamente la exhaustividad. Divide las teselas satélite que superen el tamaño de entrada del modelo en teselas superpuestas, en lugar de reducirlas; de lo contrario, un coche de 30 píxeles se convierte en una mancha de 5 píxeles. La guía de inferencia con teselas de SAHI explica la técnica; en un fotograma de una autopista, un detector aplicado a la imagen completa pasa por alto muchos vehículos lejanos:

y la inferencia con teselas los detecta:

Errores habituales#