Экспорт для развёртывания

Пример: экспорт в ONNX#

yolo export model=runs/detect/pills_v1/weights/best.pt format=onnx

PyTorch: starting from 'runs/detect/pills_v1/weights/best.pt' with input shape (1, 3, 320, 320) BCHW and output shape(s) (1, 5, 2100) (5.2 MB)
ONNX: export success ✅ 0.9s, saved as 'runs/detect/pills_v1/weights/best.onnx' (9.3 MB)
Predict:         yolo predict task=detect model=runs/detect/pills_v1/weights/best.onnx imgsz=320
Validate:        yolo val task=detect model=runs/detect/pills_v1/weights/best.onnx imgsz=320 data=my_dataset/data.yaml

Построчно:

• input shape (1, 3, 320, 320): одно изображение, 3 цветовых канала, квадрат фиксированного размера 320×320 — параметр imgsz, заданный при обучении и встроенный в файл.
• output shape(s) (1, 5, 2100): 4 значения рамки плюс оценка класса для 2 100 кандидатов на рамки; по умолчанию NMS выполняется вне графа.
• 9.3 MB: файл ONNX хранит веса FP32, поэтому он больше, чем .pt с FP16.
• Predict: / Validate:: готовые команды для экспортированного файла с уже заданным правильным imgsz.

Большинство задач решается несколькими аргументами; остальные перечислены в руководстве по интеграции ONNX.

Пример: проверь, что экспорт совпадает с исходной моделью#

Класс YOLO также загружает экспортированные файлы, поэтому код предсказания из предыдущего примера работает без изменений. Сравни оба файла на одном и том же валидационном изображении:

from ultralytics import YOLO

image = "my_dataset/images/val/Frame_144.jpg"
pt = YOLO("runs/detect/pills_v1/weights/best.pt")(image, rect=False, verbose=False)[0]  # square input, like ONNX
onnx = YOLO("runs/detect/pills_v1/weights/best.onnx")(image, verbose=False)[0]

print(f"pt:   {len(pt.boxes)} pills, mean conf {pt.boxes.conf.mean():.3f}")
print(f"onnx: {len(onnx.boxes)} pills, mean conf {onnx.boxes.conf.mean():.3f}")
print(f"max box difference: {(pt.boxes.xyxy - onnx.boxes.xyxy).abs().max():.4f} px")

pt:   25 pills, mean conf 0.870
onnx: 25 pills, mean conf 0.870
max box difference: 0.0002 px

Число объектов и уверенность совпадают, рамки идентичны с точностью до долей пикселя. Теперь проведи более строгую проверку: валидацию на всём наборе:

from ultralytics import YOLO

pt = YOLO("runs/detect/pills_v1/weights/best.pt").val(data="my_dataset/data.yaml", rect=False, verbose=False)
onnx = YOLO("runs/detect/pills_v1/weights/best.onnx").val(data="my_dataset/data.yaml", verbose=False)
print(f".pt   mAP50-95 {pt.box.map:.4f}")
print(f".onnx mAP50-95 {onnx.box.map:.4f}")

.pt   mAP50-95 0.6570
.onnx mAP50-95 0.6570

Результаты идентичны. (При стандартной прямоугольной валидации файл .pt получил 0.659: небольшое расхождение вызвано дополнением входных данных, а не экспортом.)

Когда убедишься в совпадении, измерь скорость с помощью yolo benchmark на целевом устройстве, чтобы знать реальную производительность до запуска в production.

Выбери формат для целевой платформы#

from ultralytics import YOLO

model = YOLO("runs/detect/pills_v1/weights/best.pt")

model.export(format="onnx")  # Кроссплатформенный: ONNX Runtime
model.export(format="openvino")  # CPU / встроенный графический процессор Intel
model.export(format="engine", quantize=16)  # NVIDIA TensorRT, FP16 (запускай на целевом GPU)
model.export(format="coreml")  # Apple iOS / macOS
model.export(format="litert", quantize=8, data="my_dataset/data.yaml")  # Android / периферийные устройства, INT8
model.export(format="qnn", name="73", data="my_dataset/data.yaml")  # NPU Qualcomm Snapdragon (HTP v73); выполни калибровку на собственных данных

Каждый экспорт сохраняет файлы рядом с весами: best.onnx, best_openvino_model/, best.engine и так далее. Начни с ONNX, даже если в итоге выберешь другой формат: его быстрее всего проверить, и он служит входным форматом для нескольких других цепочек инструментов. В руководстве по вариантам развёртывания сравниваются все форматы, а в разделе Выбор целевой платформы описан процесс выбора.

Квантование модели позволяет уменьшить размер и увеличить скорость за счёт точности. FP16 (quantize=16) уменьшает размер файла вдвое почти без потери точности. INT8 (quantize=8) ещё компактнее и быстрее, но требует калибровочных изображений — репрезентативных кадров, на которых экспорт подбирает диапазоны значений; Ultralytics рекомендует использовать не менее 300 изображений. Перед выпуском всегда проверяй модель INT8: потери могут быть как незначительными, так и существенными — в зависимости от модели и набора для калибровки.

Избегай этих ошибок#

Модель развёрнута#

Теперь у тебя есть обученная модель best.pt, результаты валидации для сравнения с базовым уровнем, файл экспорта для среды выполнения и подтверждение того, что экспорт соответствует исходной модели. Это полный цикл — данные, обучение, валидация, экспорт, развёртывание — и производственные команды выполняют его по расписанию. В курсе Ultralytics YOLO в производственной среде рассматриваются дальнейшие шаги после проверки экспорта: оптимизированные среды выполнения, конвейеры отслеживания, обслуживание нескольких потоков и мониторинг.