Mit TensorRT optimieren

FP16 ist der sichere erste Schritt#

NVIDIA-GPUs ab Volta verfügen über FP16-Tensor-Cores, und für die Inferenz benötigen Erkennungsmodelle selten FP32. Beginne hier:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # oder runs/detect/pills_v1/weights/best.pt
model.export(format="engine", quantize=16, workspace=4)  # FP16-Engine, bis zu 4 GiB Builder-Arbeitsspeicher

workspace begrenzt den GPU-Speicher, den TensorRT beim Erstellen verwenden darf. Lasse die Option weg, wenn TensorRT selbst entscheiden soll. Auf der Seite zur TensorRT-Integration wird dieses A100-Ergebnis veröffentlicht (YOLOv8n, 640 px):

Das Modell ist älter als YOLO26, aber das Verhältnis zwischen Geschwindigkeit und Genauigkeit bleibt bestehen: FP16 war ohne Genauigkeitseinbußen etwa 1,5× schneller; INT8 brachte weitere 1,2×, kostete aber 4 Punkte. Wenn FP16 dein Budget einhält, stelle es bereit.

Keine lokale NVIDIA-GPU? Im Export-Tab der Ultralytics Platform wird die Engine auf einer von dir ausgewählten Cloud-GPU erstellt. Dabei kannst du dieselben Optionen für Bildgröße, Genauigkeit, Batchgröße, dynamische Formen, NMS und Arbeitsbereich festlegen:

Wähle die GPU-Familie aus, auf der du das Modell bereitstellen willst: Die Engine im Screenshot wurde auf einer RTX 5090 erstellt und läuft nur auf dieser GPU-Familie.

INT8 benötigt Kalibrierungsdaten#

Bei der INT8-Quantisierung werden die Aktivierungen jeder Schicht auf 256 Werte abgebildet. Um diese Wertebereiche festzulegen, lässt der Exporter Kalibrierungsbilder durch das Modell laufen und erfasst die dabei auftretenden Aktivierungen. Die Bilder müssen daher der Produktionsumgebung ähneln:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    quantize=8,
    data="coco128.yaml",  # # Kalibrierungsbilder stammen aus der Val-Aufteilung dieses Datensatzes; verwende my_dataset/data.yaml
    fraction=1.0,  # # Anteil (oder Anzahl) der zu verwendenden Bilder
    batch=8,  # # Größere Kalibrierungs-Batches ergeben stabilere Wertebereiche
    dynamic=True,  # # Bei batch=8 akzeptiert die Engine Batches von 1 bis 8
    workspace=4,
)

Wie stark sich INT8 auf die Genauigkeit auswirkt, hängt vom Modell ab. In der Dokumentation zum Exportmodus wurden TensorRT-Engines für YOLO26 auf COCO val gemessen (mAP50-95):

Allein durch die Kalibrierung verliert YOLO26n 1 Punkt und verlieren die größeren Modelle 4–6 Punkte. Beim QAT wird das Modell mit quantize=8 in train feinabgestimmt, damit die Gewichte INT8 tolerieren. Der Checkpoint enthält seine eigenen Wertebereiche, für den INT8-Export sind keine Kalibrierungsdaten erforderlich, und der mAP liegt anschließend höchstens 1–2 Punkte unter FP32. Die Entscheidung:

Prüfe die Engine vor der Bereitstellung#

Jede Engine muss auf der GPU, auf der sie bereitgestellt wird, dieselben Prüfungen bestehen:

yolo val model=yolo26n.engine data=coco8.yaml  # or my_dataset/data.yaml
yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=engine quantize=16

Woher die Geschwindigkeitssteigerung kommt#

TensorRT fusioniert jede Faltung, jeden Bias und jede ReLU zu einem Kernel (den „CBR“-Blöcken rechts) und entfernt die Konkatenierungsschritte. Dadurch startet die GPU deutlich weniger Kernel und bewegt weniger Daten. Bei YOLO26 bringt das Vorteile bei den Conv-BN-Aktivierungsfolgen im gesamten Netzwerk, beim Attention-Block (PSA) im Backbone und bei den vielen kleinen Operationen im Erkennungskopf. Wenn eine Engine weiterhin langsam ist, profiliere sie mit trtexec oder NVIDIA Nsight: Oft benötigt eine einzelne Schicht mindestens 30 % der gesamten Laufzeit.

Stolperfallen#

Auf Jetson führt DeepStream die resultierenden Engines in einer hardwarebeschleunigten Videopipeline aus; im Rechenzentrum stellt Triton Inference Server sie bereit.