I sette task di visione

Panoramica dei sette task#

Leggi la tabella partendo dalla colonna dell’output: è ciò a cui deve corrispondere la riga dell’output della tua specifica.

Ci sono due coppie che spesso creano confusione. Segmentazione di istanze vs semantica: la segmentazione di istanze distingue ogni oggetto (tre auto, tre maschere); quella semantica assegna un'etichetta ai pixel solo in base alla classe (un'unica regione "auto", senza conteggio). Rilevamento vs OBB: entrambi restituiscono un riquadro per oggetto, ma un OBB ruota insieme all'oggetto, aspetto importante quando gli oggetti sono inclinati nelle immagini dall'alto.

Un'API, sette output#

Cambiare attività non significa cambiare strumenti. Il file dei pesi determina cosa viene restituito e l'oggetto Results valorizza l'attributo corrispondente:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
outputs = ["probs", "boxes", "masks", "semantic_mask", "depth", "keypoints", "obb"]

for suffix in ["-cls", "", "-seg", "-sem", "-depth", "-pose", "-obb"]:
    weights = f"yolo26n{suffix}.pt"
    model = YOLO(weights)
    result = model(image, verbose=False)[0]
    filled = [name for name in outputs if getattr(result, name) is not None]
    print(f"{weights:18} task={model.task:9} -> {', '.join(filled)}")

yolo26n-cls.pt     task=classify  -> probs
yolo26n.pt         task=detect    -> boxes
yolo26n-seg.pt     task=segment   -> boxes, masks
yolo26n-sem.pt     task=semantic  -> semantic_mask
yolo26n-depth.pt   task=depth     -> depth
yolo26n-pose.pt    task=pose      -> boxes, keypoints
yolo26n-obb.pt     task=obb       -> obb

Leggi la colonna a destra: anche la segmentazione e la stima della posa restituiscono riquadri, perché aggiungono un elemento al rilevamento. La segmentazione semantica e la profondità non restituiscono alcun output per oggetto: descrivono invece ogni pixel. Il codice a valle legge esattamente uno di questi attributi, quindi nella riga dell'output della tua specifica devi indicare quale.

Come scegliere in pratica#

Parti da ciò che deve descrivere una singola predizione, poi scegli l'attività meno costosa che consente di prendere la decisione:

1. Una sola etichetta per l'intera immagine → classificazione.
2. Una classe per ogni pixel, senza dover distinguere gli oggetti → segmentazione semantica.
3. Una distanza per ogni pixel → stima della profondità.
4. Qualcosa che riguarda ogni oggetto:
   • dove si trova, per contarlo, localizzarlo o filtrarlo → rilevamento (aggiungi il tracciamento per mantenerne l'identità tra i fotogrammi);
   • la sua forma esatta, il contorno o l'area → segmentazione di istanze;
   • la sua postura → stima della posa;
   • la sua rotazione nelle immagini dall'alto → OBB.

Quando due attività sono entrambe adatte, scegli quella meno costosa da annotare ed eseguire. Il rilevamento è la scelta predefinita per la maggior parte dei prodotti: i riquadri sono veloci da disegnare e verificare e, con il tracciamento, consentono già di realizzare conteggi, avvisi nelle zone e analisi del traffico, come in questa immagine dell'autostrada:

Profondità: l'attività che risponde alla domanda "a quale distanza"#

La stima della profondità restituisce una mappa delle dimensioni dell'immagine con una distanza in metri per ogni pixel: nessuna classe e nessun riquadro. Usala quando la decisione dipende dalla distanza: per un robot che evita gli ostacoli, un veicolo che rallenta quando qualcosa è vicino o una stima approssimativa del volume di un cumulo.

from ultralytics import YOLO

model = YOLO("yolo26n-depth.pt")
result = model("https://ultralytics.com/images/bus.jpg", verbose=False)[0]

depth = result.depth.data  # meters, one value per pixel
print(f"depth map {tuple(depth.shape)}, nearest {float(depth.min()):.1f} m, farthest {float(depth.max()):.1f} m")

depth map (1080, 810), nearest 2.0 m, farthest 14.9 m

Una singola telecamera deduce la profondità da indizi appresi, come la prospettiva e le dimensioni degli oggetti; prima di usarla per distanze rilevanti per la sicurezza, misurane quindi l'errore nelle tue scene. La profondità si abbina bene al rilevamento: rileva l'oggetto, poi leggi la mappa di profondità all'interno del suo riquadro.

Insidie#