Optimizar con TensorRT

FP16 es el primer paso seguro#

Las GPU NVIDIA a partir de Volta cuentan con núcleos tensoriales FP16, y los modelos de detección rara vez necesitan FP32 durante la inferencia. Empieza aquí:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # or runs/detect/pills_v1/weights/best.pt
model.export(format="engine", quantize=16, workspace=4)  # Motor FP16, hasta 4 GiB de espacio de trabajo para el compilador

workspace limita la memoria de la GPU que TensorRT puede usar durante la compilación; déjalo sin establecer para que TensorRT decida. La página de integración de TensorRT publica este resultado en A100 (YOLOv8n, 640 px):

El modelo es anterior a YOLO26, pero la relación entre coste y beneficio se mantiene: FP16 fue aproximadamente 1,5× más rápido sin coste; INT8 aportó otro 1,2× y costó 4 puntos. Si FP16 cumple tu presupuesto, publícalo.

¿No tienes una GPU NVIDIA local? La pestaña Export de Ultralytics Platform compila el motor en la GPU en la nube que elijas, con las mismas opciones de tamaño de imagen, precisión, lote, modo dinámico, NMS y espacio de trabajo:

Elige la familia de GPU en la que vayas a desplegar: el motor de la captura se compiló en una RTX 5090 y solo se ejecutará en esa familia.

INT8 necesita datos de calibración#

La cuantización INT8 asigna las activaciones de cada capa a 256 niveles. Para elegir esos rangos, el exportador ejecuta imágenes de calibración a través del modelo y registra las activaciones que encuentra, así que las imágenes deben parecerse a las de producción:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    quantize=8,
    data="coco128.yaml",  # las imágenes de calibración proceden de la partición val de este conjunto de datos; usa my_dataset/data.yaml
    fraction=1.0,  # proporción (o número) de esas imágenes que se usarán
    batch=8,  # los lotes de calibración más grandes proporcionan rangos más estables
    dynamic=True,  # con batch=8, el motor acepta lotes de 1 a 8
    workspace=4,
)

El coste de INT8 depende del modelo. La documentación del modo Export midió motores TensorRT de YOLO26 en COCO val (mAP50-95):

La calibración por sí sola resta 1 punto a YOLO26n y entre 4 y 6 a los modelos más grandes. QAT ajusta el modelo con quantize=8 en train para que sus pesos toleren INT8; el punto de control incluye sus propios rangos, la exportación INT8 no necesita datos de calibración y queda a menos de 1–2 puntos de FP32. La decisión:

Valida el motor antes de publicarlo#

Todos los motores deben superar las mismas comprobaciones en la GPU de despliegue:

yolo val model=yolo26n.engine data=coco8.yaml  # or my_dataset/data.yaml
yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=engine quantize=16

De dónde viene la aceleración#

TensorRT fusiona cada convolución, sesgo y ReLU en un único kernel (los bloques «CBR» de la derecha) y elimina los pasos de concatenación, por lo que la GPU ejecuta muchos menos kernels y mueve menos datos. En YOLO26, esto resulta útil en todas las cadenas conv-BN-activación de la red, en el bloque de atención (PSA) del backbone y en las numerosas operaciones pequeñas del cabezal de detección. Si un motor sigue siendo lento, perfílalo con trtexec o NVIDIA Nsight: a menudo una capa representa el 30 % o más del tiempo.

Errores habituales#

En Jetson, DeepStream ejecuta los motores resultantes en una canalización de vídeo acelerada por hardware; en el centro de datos, los sirve Triton Inference Server.