Define el problema

Por qué la especificación va primero#

Cada paso de un proyecto de visión artificial hereda su objetivo del paso 0. Una pregunta imprecisa produce un conjunto de datos impreciso, desacuerdos entre anotadores y una métrica que mide algo distinto de lo que debería; ningún entrenamiento en el paso 2 lo arreglará.

Las tres líneas#

Una especificación de tarea consta de tres frases, una por línea. Cada una responde a una pregunta que se hará una persona distinta del proyecto:

La línea de salida requiere más atención, porque su tipo de dato determina la tarea:

Una etiqueta para toda la imagen significa clasificación; los recuadros, detección; los contornos, segmentación; las articulaciones, pose; los recuadros girados, OBB; y una clase o distancia por píxel, segmentación semántica o profundidad. En la siguiente lección se explican las siete tareas.

Ejemplo práctico: separa el modelo de la regla#

«Queremos saber cuándo las carretillas elevadoras hacen algo peligroso en el almacén».

Esa frase describe un proyecto, no una tarea. Mezcla dos funciones: localizar carretillas elevadoras y personas, que depende de los píxeles, y decidir qué cuenta como peligroso, que depende de una política. Sepáralas:

Solo el detector forma parte del modelo. El rombo es código normal. Puedes probar esta separación ahora mismo: bus.jpg no tiene ninguna carretilla elevadora, pero un autobús y cuatro personas sirven para hacer la misma prueba. Una primera regla dice «avisar cuando más del 30 % del recuadro de una persona se superponga al recuadro de un vehículo»:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg", verbose=False)[0]

# The model's job ends here: a class, a box, and a confidence per object.
people = [b.xyxy[0].tolist() for b in result.boxes if result.names[int(b.cls)] == "person"]
vehicles = [b.xyxy[0].tolist() for b in result.boxes if result.names[int(b.cls)] == "bus"]

def share_inside(a, b):
    """Fraction of box a's area that lies inside box b."""
    w = max(0, min(a[2], b[2]) - max(a[0], b[0]))
    h = max(0, min(a[3], b[3]) - max(a[1], b[1]))
    return w * h / ((a[2] - a[0]) * (a[3] - a[1]))

# The decision rule is plain code: change the policy without retraining.
ALERT_SHARE = 0.30
for person in people:
    share = max(share_inside(person, v) for v in vehicles)
    print(f"person at x={person[0]:3.0f}: {share:4.0%} inside the bus box -> {'ALERT' if share > ALERT_SHARE else 'ok'}")

person at x= 49:  70% inside the bus box -> ALERT
person at x=223:  76% inside the bus box -> ALERT
person at x=670:  70% inside the bus box -> ALERT
person at x=  0:  62% inside the bus box -> ALERT

Cuatro avisos, todos falsos: las personas están en la acera, delante de un autobús aparcado. El detector acierta con todos los recuadros; la regla está mal, porque la superposición en una imagen 2D no significa que dos cosas estén cerca en el mundo real. Como la regla es código, se corrige con código. Compara dónde tocan el suelo los pies de cada persona con la línea de las ruedas del autobús:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg", verbose=False)[0]
people = [b.xyxy[0].tolist() for b in result.boxes if result.names[int(b.cls)] == "person"]
vehicles = [b.xyxy[0].tolist() for b in result.boxes if result.names[int(b.cls)] == "bus"]

def same_ground_line(person, vehicle, tolerance=40):
    """True when the person's feet are level with the vehicle's wheels and inside its width."""
    feet_x, feet_y = (person[0] + person[2]) / 2, person[3]
    return vehicle[0] < feet_x < vehicle[2] and abs(feet_y - vehicle[3]) < tolerance

for person in people:
    alert = any(same_ground_line(person, v) for v in vehicles)
    print(f"person at x={person[0]:3.0f}: feet y={person[3]:.0f}, bus wheels y={vehicles[0][3]:.0f} -> {'ALERT' if alert else 'ok'}")

person at x= 49: feet y=902, bus wheels y=751 -> ok
person at x=223: feet y=861, bus wheels y=751 -> ok
person at x=670: feet y=880, bus wheels y=751 -> ok
person at x=  0: feet y=871, bus wheels y=751 -> ok

Los pies de todas las personas están entre 110 y 150 píxeles por debajo de la línea de las ruedas, así que están más cerca de la cámara que el autobús. No hace falta volver a entrenar ni etiquetar: el equipo de seguridad itera sobre la regla mientras el detector permanece igual. Una versión de producción transformaría la posición de los pies en coordenadas del suelo con una cámara calibrada y añadiría la persistencia de 2 segundos mediante el seguimiento de objetos; seguiría siendo código sobre los mismos recuadros.

Errores habituales#

De la especificación a los criterios de éxito#

La especificación indica qué hace el modelo, no qué nivel de calidad es suficiente ni cuánto cuesta un fallo en comparación con una falsa alarma. Empieza por el objetivo de negocio en Crear conjuntos de datos YOLO de alto rendimiento convierte la especificación en objetivos medibles. Todas las lecciones posteriores de este curso remiten a tus tres líneas.