Ottimizza con TensorRT

FP16 è il primo passaggio sicuro#

Le GPU NVIDIA dalla generazione Volta in poi hanno tensor core FP16 e, in fase di inferenza, raramente i modelli di rilevamento hanno bisogno di FP32. Inizia da qui:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # oppure runs/detect/pills_v1/weights/best.pt
model.export(format="engine", quantize=16, workspace=4)  # Motore FP16, fino a 4 GiB di memoria di lavoro del compilatore

workspace limita la memoria GPU che TensorRT può usare durante la creazione; non impostarlo se vuoi lasciare decidere TensorRT. La pagina sull'integrazione di TensorRT pubblica questo risultato su A100 (YOLOv8n, 640 px):

Il modello è più vecchio di YOLO26, ma l'andamento del compromesso resta valido: FP16 era circa 1,5× più veloce senza costi; INT8 ha aggiunto un altro 1,2×, al costo di 4 punti. Se FP16 rispetta il tuo budget, distribuiscilo.

Non hai una GPU NVIDIA locale? La scheda Esportazione della piattaforma Ultralytics crea l'engine su una GPU cloud a tua scelta, con le stesse opzioni di dimensione immagine, precisione, batch, modalità dinamica, NMS e workspace:

Scegli la famiglia di GPU su cui distribuirai il modello: l'engine nello screenshot è stato creato su una RTX 5090 e funzionerà solo su quella famiglia.

INT8 richiede dati di calibrazione#

La quantizzazione INT8 mappa le attivazioni di ogni layer su 256 livelli. Per determinare questi intervalli, l'esportatore esegue le immagini di calibrazione nel modello e registra le attivazioni osservate; le immagini devono quindi essere simili a quelle di produzione:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    quantize=8,
    data="coco128.yaml",  # le immagini di calibrazione provengono dalla suddivisione val di questo dataset; usa my_dataset/data.yaml
    fraction=1.0,  # quota (o numero) di queste immagini da usare
    batch=8,  # batch di calibrazione più grandi producono intervalli più stabili
    dynamic=True,  # con batch=8, l'engine accetta batch da 1 a 8
    workspace=4,
)

Il costo di INT8 dipende dal modello. La documentazione sulla modalità di esportazione ha misurato gli engine TensorRT di YOLO26 su COCO val (mAP50-95):

La sola calibrazione costa 1 punto a YOLO26n e da 4 a 6 punti ai modelli più grandi. QAT affina il modello con quantize=8 in train affinché i suoi pesi tollerino INT8; il checkpoint include i propri intervalli, l'esportazione INT8 non richiede dati di calibrazione e il risultato resta entro 1–2 punti da FP32. La decisione:

Verifica l'engine prima della distribuzione#

Ogni engine deve superare gli stessi controlli sulla GPU di destinazione:

yolo val model=yolo26n.engine data=coco8.yaml  # or my_dataset/data.yaml
yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=engine quantize=16

Da dove deriva l'aumento di velocità#

TensorRT fonde ogni convoluzione, bias e ReLU in un solo kernel (i blocchi "CBR" a destra) ed elimina i passaggi di concatenazione, così la GPU avvia molti meno kernel e sposta meno dati. In YOLO26 questo migliora le catene conv-BN-attivazione presenti in tutta la rete, il blocco di attenzione (PSA) nel backbone e le numerose operazioni di piccole dimensioni nella testa di rilevamento. Se un engine è ancora lento, analizzalo con trtexec o NVIDIA Nsight: spesso un layer impiega almeno il 30% del tempo.

Insidie#

Su Jetson, DeepStream esegue gli engine risultanti in una pipeline video accelerata dall'hardware; nel data center, Triton Inference Server li mette a disposizione.