Otimizar com TensorRT

FP16 é o primeiro passo seguro#

As GPUs NVIDIA a partir da arquitetura Volta têm núcleos tensoriais FP16, e os modelos de deteção raramente precisam de FP32 durante a inferência. Começa por aqui:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # or runs/detect/pills_v1/weights/best.pt
model.export(format="engine", quantize=16, workspace=4)  # Mecanismo FP16, até 4 GiB de espaço de trabalho do compilador

workspace limita a memória da GPU que o TensorRT pode usar durante a criação; deixa-o sem definir para permitir que o TensorRT decida. A página de integração do TensorRT publica este resultado obtido numa A100 (YOLOv8n, 640 px):

O modelo é anterior ao YOLO26, mas o padrão desta relação entre velocidade e precisão mantém-se: o FP16 foi cerca de 1,5× mais rápido sem custo; o INT8 trouxe mais 1,2× de velocidade e custou 4 pontos. Se o FP16 cumprir o teu orçamento, lança-o.

Não tens uma GPU NVIDIA local? O separador Exportar da Ultralytics Platform cria o engine numa GPU na nuvem à tua escolha, com as mesmas opções de tamanho da imagem, precisão, lote, modo dinâmico, NMS e espaço de trabalho:

Escolhe a família de GPU em que vais fazer a implementação: o engine da captura de ecrã foi criado numa RTX 5090 e só será executado nessa família.

O INT8 requer dados de calibração#

A quantização INT8 mapeia as ativações de cada camada para 256 níveis. Para escolher esses intervalos, o exportador executa imagens de calibração no modelo e regista as ativações observadas; por isso, as imagens devem ser semelhantes às de produção:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    quantize=8,
    data="coco128.yaml",  # as imagens de calibração vêm da divisão val deste conjunto de dados; usa my_dataset/data.yaml
    fraction=1.0,  # percentagem (ou número) dessas imagens a utilizar
    batch=8,  # lotes de calibração maiores produzem intervalos mais estáveis
    dynamic=True,  # com batch=8, o engine aceita lotes de 1 a 8
    workspace=4,
)

O custo do INT8 depende do modelo. A documentação do modo Exportar mediu engines TensorRT YOLO26 na validação do COCO (mAP50-95):

Só a calibração custa 1 ponto ao YOLO26n e 4–6 pontos aos modelos maiores. O QAT ajusta o modelo com quantize=8 em train para que os pesos tolerem INT8; o checkpoint inclui os próprios intervalos, a exportação INT8 não precisa de dados de calibração e fica a 1–2 pontos do FP32. A decisão:

Valida o engine antes de o lançar#

Cada engine tem de passar pelas mesmas verificações na GPU de implementação:

yolo val model=yolo26n.engine data=coco8.yaml  # or my_dataset/data.yaml
yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=engine quantize=16

De onde vem o aumento de velocidade#

O TensorRT funde cada convolução, bias e ReLU num único kernel (os blocos “CBR” à direita) e elimina as etapas de concatenação, pelo que a GPU executa muito menos kernels e movimenta menos dados. No YOLO26, isto traz vantagens nas sequências conv-BN-ativação presentes em toda a rede, no bloco de atenção (PSA) do backbone e nas muitas operações pequenas da cabeça de deteção. Se um engine continuar lento, analisa-o com trtexec ou NVIDIA Nsight: muitas vezes, uma camada ocupa 30% ou mais do tempo.

Armadilhas#

No Jetson, o DeepStream executa os engines resultantes num pipeline de vídeo acelerado por hardware; no centro de dados, o Triton Inference Server disponibiliza-os.