Оптимизация с TensorRT

FP16 — безопасный первый шаг#

В GPU NVIDIA начиная с поколения Volta есть тензорные ядра FP16, а детекционным моделям при инференсе редко требуется FP32. Начни с этого:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # or runs/detect/pills_v1/weights/best.pt
model.export(format="engine", quantize=16, workspace=4)  # Движок FP16, до 4 GiB памяти рабочей области сборщика

workspace ограничивает объём памяти GPU, который TensorRT может использовать при сборке; если не задавать этот параметр, TensorRT выберет значение самостоятельно. На странице интеграции TensorRT опубликован результат для A100 (YOLOv8n, 640 пикселей):

Модель старше YOLO26, но соотношение скорости и точности остаётся показательным: FP16 примерно в 1,5 раза быстрее без потери точности, а INT8 ускоряет ещё в 1,2 раза ценой 4 пунктов. Если FP16 укладывается в твои ограничения, выпускай его.

Нет локального GPU NVIDIA? На вкладке Export платформы Ultralytics движок собирается на выбранном тобой облачном GPU с теми же настройками размера изображений, точности, batch, динамического режима, NMS и рабочей области:

Выбери семейство GPU, на котором будешь развёртывать модель: движок на скриншоте собран на RTX 5090 и будет работать только на этом семействе.

Для INT8 нужны калибровочные данные#

При квантовании INT8 активации каждого слоя преобразуются в 256 уровней. Чтобы выбрать диапазоны, экспортёр пропускает через модель изображения для калибровки и записывает наблюдаемые активации. Поэтому изображения должны быть похожи на производственные данные:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    quantize=8,
    data="coco128.yaml",  # изображения для калибровки берутся из val-части этого датасета; используй my_dataset/data.yaml
    fraction=1.0,  # доля или количество изображений, которые нужно использовать
    batch=8,  # увеличение batch для калибровки делает диапазоны стабильнее
    dynamic=True,  # при batch=8 движок принимает batch от 1 до 8
    workspace=4,
)

Потери от INT8 зависят от модели. В документации по режиму Export приведены измерения движков TensorRT для YOLO26 на COCO val (mAP50-95):

Одна калибровка снижает mAP YOLO26n на 1 пункт, а более крупных моделей — на 4–6 пунктов. При QAT модель дообучается с помощью quantize=8 в train, чтобы её веса лучше переносили INT8; контрольная точка содержит собственные диапазоны, для экспорта в INT8 не нужны калибровочные данные, а точность отличается от FP32 всего на 1–2 пункта. Решение:

Проверь движок перед выпуском#

Проверь каждый движок на целевом GPU по одним и тем же критериям:

yolo val model=yolo26n.engine data=coco8.yaml  # or my_dataset/data.yaml
yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=engine quantize=16

За счёт чего достигается ускорение#

TensorRT объединяет свёртку, смещение и ReLU в одно ядро (блоки «CBR» справа) и удаляет этапы concat, поэтому GPU запускает гораздо меньше ядер и перемещает меньше данных. В YOLO26 это ускоряет цепочки conv-BN-активация по всей сети, блок внимания (PSA) в backbone и множество небольших операций в detection head. Если движок всё ещё работает медленно, профилируй его с помощью trtexec или NVIDIA Nsight: часто на один слой уходит 30% времени или больше.

Подводные камни#

На Jetson DeepStream запускает полученные движки в аппаратно-ускоренном видеоконвейере; в дата-центре их обслуживает Triton Inference Server.