Ottimizzazione di costi e latenza

Misura prima l'intera pipeline#

Ogni oggetto Results suddivide il proprio tempo in fasi:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4"
totals = {"preprocess": 0.0, "inference": 0.0, "postprocess": 0.0}
for n, r in enumerate(model.predict(video, stream=True, verbose=False), 1):
    for stage in totals:
        totals[stage] += r.speed[stage]
print({stage: round(ms / n, 1) for stage, ms in totals.items()}, "ms per frame")

{'preprocess': 0.7, 'inference': 36.1, 'postprocess': 0.7} ms per frame

Qui l'inferenza occupa il 95% del tempo del modello, quindi le leve relative al modello saranno utili. Misura allo stesso modo i tempi di decodifica e di output della tua pipeline (inserendo time.perf_counter() attorno a ciascuna fase), poi applica la regola corrispondente a ciò che rilevi:

La classifica delle leve#

Prova le opzioni partendo dall'alto e fermati quando raggiungi il budget:

I valori provengono dalle tabelle dei benchmark di YOLO26, TensorRT e OpenVINO, oltre che dalle misurazioni qui sotto; i tuoi risultati saranno diversi, quindi misura.

Modello più piccolo#

La tabella dei benchmark di YOLO26 su COCO:

Su CPU, ogni passaggio al modello più piccolo è 2.2–2.5× più veloce. La differenza di precisione su COCO rappresenta il caso peggiore: un rilevatore per magazzino a 3 classi con oggetti grandi di solito perde molto meno passando da m a n rispetto a un rilevatore generalista a 80 classi, quindi vale sempre la pena provare il modello più piccolo sul proprio set di convalida.

Input più piccolo#

Il calcolo aumenta all'incirca in proporzione al numero di pixel, quindi imgsz=480 richiede circa il 56% del lavoro rispetto a 640. Misurazione eseguita sulla CPU del laptop di prova con ONNX Runtime e batch 1 (mediana di 25 esecuzioni su bus.jpg):

Criterio decisionale: se l'oggetto importante più piccolo occupa ancora circa 10 pixel o più alla nuova dimensione, prova questa opzione; se gli oggetti sono piccoli o lontani (droni, scaffali distanti dalla telecamera), mantieni la risoluzione e riduci il modello.

Meno fotogrammi#

Se l'inferenza limita il frame rate e la scena si muove lentamente, esegui il rilevamento a ogni N-esimo fotogramma con vid_stride=N e lascia che il tracker colmi gli intervalli:

import time

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4"
model.predict(video, vid_stride=30, verbose=False)  # warm up so the first timing is fair

for stride in (1, 2, 3):
    start, ids, frames = time.perf_counter(), set(), 0
    for r in model.track(video, stream=True, vid_stride=stride, tracker="bytetrack.yaml", classes=[0], verbose=False):
        frames += 1
        if r.boxes.is_track:
            ids.update(r.boxes.id.int().tolist())
    print(f"vid_stride={stride}: {frames} frames in {time.perf_counter() - start:.2f} s, {len(ids)} person IDs")

vid_stride=1: 62 frames in 2.66 s, 32 person IDs
vid_stride=2: 31 frames in 1.19 s, 30 person IDs
vid_stride=3: 20 frames in 0.95 s, 28 person IDs

Usare la metà dei fotogrammi richiede circa la metà del tempo e il tracker ha mantenuto 30 identità su 32. Con vid_stride=3 ne ha perse 4: per questa scena con persone che camminano, è il segnale che indica di fermarsi.

Riduci i costi del cloud#

Il costo è dato dalle ore di utilizzo dell'istanza divise per il lavoro utile. Una scheda come questa mostra i due valori che ti servono: il costo orario ($0.17 per 1 vCPU e 4 GiB in questo caso) e il lavoro svolto (59 richieste in 24 ore a una latenza P95 di 226 ms: un endpoint perlopiù inattivo). Poi:

• Aumenta l'utilizzo. Una GPU con un utilizzo del 30% spreca il 70% della spesa. Raggruppa i flussi (come spiegato nelle lezioni precedenti) o servi le richieste tramite Triton Inference Server.
• Scegli la dimensione giusta. Esegui benchmark su una GPU più piccola o su una CPU con OpenVINO prima di dare per scontato di averne bisogno di una grande.
• Usa capacità spot o prerilasciabile per i job batch. La rielaborazione di video archiviati tollera le interruzioni; i flussi live no.

Insidie#