Optimiser avec TensorRT

FP16 est la première étape la plus sûre#

Les GPU NVIDIA à partir de Volta disposent de cœurs tenseurs FP16, et les modèles de détection ont rarement besoin de FP32 à l’inférence. Commence ici :

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # or runs/detect/pills_v1/weights/best.pt
model.export(format="engine", quantize=16, workspace=4)  # Moteur FP16, espace de travail du constructeur jusqu'à 4 Gio

workspace limite la mémoire GPU que TensorRT peut utiliser pendant la création ; laisse ce paramètre vide pour laisser TensorRT décider. La page d’intégration TensorRT publie ce résultat sur A100 (YOLOv8n, 640 px) :

Le modèle est plus ancien que YOLO26, mais la tendance du compromis reste valable : FP16 était environ 1,5× plus rapide sans coût ; INT8 a apporté un gain supplémentaire de 1,2× pour un coût de 4 points. Si FP16 respecte ton budget, déploie-le.

Tu n’as pas de GPU NVIDIA local ? L’onglet Export de la plateforme Ultralytics crée le moteur sur le GPU cloud de ton choix, avec les mêmes options de taille d’image, précision, lot, mode dynamique, NMS et espace de travail :

Choisis la famille de GPU sur laquelle tu vas déployer : le moteur de la capture d’écran a été créé sur un RTX 5090 et ne fonctionnera que sur cette famille.

INT8 nécessite des données d’étalonnage#

La quantification INT8 mappe les activations de chaque couche sur 256 niveaux. Pour déterminer ces plages, l’exporteur fait passer des images d’étalonnage dans le modèle et enregistre les activations observées ; ces images doivent donc ressembler aux données de production :

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    quantize=8,
    data="coco128.yaml",  # les images d’étalonnage proviennent de la partition val de ce jeu de données ; utiliser my_dataset/data.yaml
    fraction=1.0,  # part ou nombre de ces images à utiliser
    batch=8,  # des lots d’étalonnage plus importants donnent des plages plus stables
    dynamic=True,  # avec batch=8, le moteur accepte des lots de 1 à 8
    workspace=4,
)

Le coût d’INT8 dépend du modèle. La documentation du mode Export a mesuré les moteurs TensorRT YOLO26 sur COCO val (mAP50-95) :

L’étalonnage seul coûte 1 point à YOLO26n et de 4 à 6 points aux modèles plus grands. Le QAT affine le modèle avec quantize=8 dans train afin que ses poids tolèrent INT8 ; le point de contrôle contient ses propres plages, son export INT8 ne nécessite pas de données d’étalonnage et son score est à 1 ou 2 points de celui de FP32. Voici comment prendre ta décision :

Soumets le moteur à un contrôle avant le déploiement#

Chaque moteur doit réussir les mêmes contrôles sur le GPU de déploiement :

yolo val model=yolo26n.engine data=coco8.yaml  # or my_dataset/data.yaml
yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=engine quantize=16

D’où vient le gain de vitesse#

TensorRT fusionne chaque convolution, biais et ReLU dans un seul noyau (les blocs « CBR » à droite) et supprime les étapes de concaténation, ce qui réduit considérablement le nombre de noyaux lancés par le GPU et la quantité de données transférées. Dans YOLO26, cela accélère les chaînes conv-BN-activation présentes dans tout le réseau, le bloc d’attention (PSA) du backbone et les nombreuses petites opérations de la tête de détection. Si un moteur reste lent, profile-le avec trtexec ou NVIDIA Nsight : une seule couche prend souvent 30 % ou plus du temps.

Pièges#

Sur Jetson, DeepStream exécute les moteurs obtenus dans un pipeline vidéo accéléré matériellement ; dans un centre de données, Triton Inference Server les met à disposition.