Scegli l'attività e pianifica la pipeline

Una foto, quattro risposte diverse#

Poni una domanda su una foto — quanta parte di questa immagine è occupata dall'autobus e quanto è lontano? — e lascia che quattro attività Ultralytics YOLO rispondano:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
det = YOLO("yolo26n.pt")(image, verbose=False)[0]
seg = YOLO("yolo26n-seg.pt")(image, retina_masks=True, verbose=False)[0]
sem = YOLO("yolo26n-sem.pt")(image, verbose=False)[0]
depth = YOLO("yolo26n-depth.pt")(image, verbose=False)[0]
frame = det.orig_shape[0] * det.orig_shape[1]  # pixels in the photo

i = [det.names[int(c)] for c in det.boxes.cls].index("bus")
x1, y1, x2, y2 = det.boxes.xyxy[i].tolist()
print(f"detect    bus box covers   {(x2 - x1) * (y2 - y1) / frame:.1%} of the frame")

i = [seg.names[int(c)] for c in seg.boxes.cls].index("bus")
bus_mask = seg.masks.data[i].bool()  # H x W, True on bus pixels
print(f"segment   bus mask covers  {bus_mask.sum().item() / frame:.1%} of the frame")

ratios = {row["name"]: row["pixel_ratio"] for row in sem.summary()}
print(f"semantic  'train' pixels   {ratios['train']:.1%} of the frame")

meters = depth.depth.data[bus_mask].median().item()  # depth map and mask share the original size
print(f"depth     bus is about     {meters:.1f} m from the camera")

detect    bus box covers   47.7% of the frame
segment   bus mask covers  29.2% of the frame
semantic  'train' pixels   30.9% of the frame
depth     bus is about     4.5 m from the camera

Esaminiamole una per una:

• detect risponde a dove. Il riquadro include anche la strada sotto l'autobus e le quattro persone davanti a esso, quindi l'area risulta sovrastimata del 63%.
• segment risponde a che forma. Il 29,2% è l'effettiva impronta dell'autobus nell'immagine: il valore da usare per qualsiasi regola relativa ad area, copertura o sovrapposizione.
• semantic risponde a quali pixel appartengono a quale classe. L'area è simile a quella della maschera, ma il modello definisce l'autobus train: assegna alle superfici le classi del proprio set di addestramento (Cityscapes, lezione 4) e non distingue mai un veicolo dall'altro.
• depth risponde a a che distanza. La profondità mediana all'interno della maschera dell'autobus è di 4,5 m: due attività combinate per rispondere a una domanda a cui nessuna delle due potrebbe rispondere da sola.

Panoramica dei sette task#

Fondamenti di Computer Vision spiega nel dettaglio come scegliere tra le attività: se la scelta non è ovvia, ripassa Le sette attività di visione. Questo è il riepilogo operativo per il resto del corso. Ogni riga corrisponde a un'attività che il pacchetto ultralytics installato addestra, convalida, usa per le previsioni ed esporta tramite la stessa API; la panoramica delle attività è il riferimento completo.

Hai già messo in produzione la prima riga. Le lezioni dalla 2 alla 8 insegnano le cinque righe centrali, mentre le lezioni 9 e 10 le concatenano e le mettono in produzione. L'ultima riga, la stima della profondità monoculare, prevede una distanza in metri per ogni pixel di una singola immagine. Le etichette provengono da sensori di profondità o renderer 3D, non da annotatori, quindi ha un proprio formato del dataset; il corso la include nei punti in cui il flusso di lavoro è condiviso: questo piano, il ciclo di convalida e il controllo dell'esportazione nell'ultima lezione.

Scegli una domanda alla volta#

Esamina le domande nell'ordine e fermati alla prima risposta affermativa:

Il diagramma copre i casi più comuni. Quattro criteri per dirimere i casi dubbi coprono gran parte degli altri:

L'attività viene definita quando crei il dataset — su Ultralytics Platform corrisponde al campo Tipo di attività della finestra di dialogo Nuovo dataset — quindi questa scelta va fatta prima della prima annotazione:

Una API, sette campi dei risultati#

Tutte le attività usano la stessa chiamata; il modello ricava l'attività dal file dei pesi. Cambia il campo dei risultati che viene compilato: è quello che leggerà il tuo codice.

from ultralytics import YOLO

WEIGHTS = ["yolo26n.pt", "yolo26n-seg.pt", "yolo26n-sem.pt", "yolo26n-pose.pt", "yolo26n-obb.pt", "yolo26n-cls.pt", "yolo26n-depth.pt"]
FIELDS = ("boxes", "masks", "semantic_mask", "keypoints", "obb", "probs", "depth")

for weights in WEIGHTS:
    model = YOLO(weights)
    result = model("https://ultralytics.com/images/bus.jpg", verbose=False)[0]
    fields = [f for f in FIELDS if getattr(result, f) is not None]
    print(f"{weights:17s} task={model.task:9s} fields={fields}")

yolo26n.pt        task=detect    fields=['boxes']
yolo26n-seg.pt    task=segment   fields=['boxes', 'masks']
yolo26n-sem.pt    task=semantic  fields=['semantic_mask']
yolo26n-pose.pt   task=pose      fields=['boxes', 'keypoints']
yolo26n-obb.pt    task=obb       fields=['obb']
yolo26n-cls.pt    task=classify  fields=['probs']
yolo26n-depth.pt  task=depth     fields=['depth']

I risultati di segmentazione e pose mantengono boxes, quindi il codice di rilevamento che hai già continua a funzionare anche con loro. I risultati di classificazione, semantica e profondità descrivono l'intera immagine e non hanno campi per singolo oggetto.

Quando un modello non basta#

La maggior parte dei sistemi di produzione che vanno oltre il rilevamento adotta una di queste tre strutture:

• Rileva, poi classifica. Il rilevatore trova gli oggetti piccoli in un'immagine grande; un classificatore di immagini assegna un'etichetta dettagliata a ogni ritaglio a piena risoluzione: tipo di casco, livello del difetto, codice SKU del prodotto.
• Pose e tracking. I punti chiave descrivono un singolo fotogramma; un tracker li trasforma in una serie temporale per persona, da cui puoi contare le ripetizioni o rilevare le cadute.
• Segmenta, poi misura. Il modello restituisce i pixel; il normale codice li converte in aree, larghezze, rapporti di copertura o distanze (con la profondità).

Le etichette di una pipeline di segmentazione e misurazione consistono in un poligono per oggetto, come per questi pacchi sui robot da magazzino nell'editor di Ultralytics Platform:

Insidie#