Выбери целевую платформу развёртывания

Начни с устройства#

Среду выполнения выбирают исходя из того, где выполняется инференс, а не по привычке. Пройди по схеме сверху вниз и остановись на первом подходящем варианте:

Каждой среде выполнения соответствует одно значение format= в режиме экспорта:

На новейших платформах Apple можно также экспортировать модель в более новый формат Apple Core AI (format=coreai, экспортированный на Apple silicon с macOS 26+ или на Linux x86-64). Впервые экспортируешь модель? В уроке Экспорт для развёртывания рассмотрены основы.

Если ты вообще не хочешь запускать серверы инференса, Ultralytics Platform развернёт модель в виде выделенной конечной точки в одном из 42 регионов, а на вкладке Deployments твоего профиля показано, где работает каждая из них:

Этот способ описан в разделе Развёртывание и вызов конечной точки. Остальная часть курса предназначена для тех случаев, когда ты запускаешь модель самостоятельно.

Переведи целевое значение FPS в бюджет миллисекунд#

«Работа в реальном времени» — это не требование, а вот число — требование. Рассчитай его до любого бенчмарка:

Затем примени следующие правила выбора:

• Если YOLO26n требует на CPU устройства больше времени, чем выделено модели, перейди на ускоритель (GPU, iGPU, NPU) или сначала уменьши imgsz; в бенчмарках YOLO26 для YOLO26n указано 38.9 мс на CPU с ONNX и 1.7 мс на T4 с TensorRT.
• Если одно устройство должно обслуживать несколько камер, раздели бюджет модели на число камер.
• Если в парке устройств больше нескольких типов, выбирай среды выполнения, для которых не нужны сборки под каждое устройство, либо запланируй отдельную сборку для каждого класса устройств.
• Если вызывающий код написан на Swift, Kotlin или C++, перед выбором проверь, есть ли в SDK среды выполнения поддержка этого языка.

Проведи бенчмарк кандидатов на устройстве#

Технические характеристики и чужие бенчмарки — лишь отправная точка. Решение принимается на оборудовании, на котором ты будешь развёртывать модель, и по медленным кадрам, а не по среднему значению: среда выполнения, которая обычно работает быстро, но зависает на каждом двадцатом кадре, всё равно будет пропускать кадры. Этот скрипт экспортирует каждый вариант, измеряет время 100 инференсов на реальном кадре и оценивает каждый по 95-му процентилю (p95):

from ultralytics import YOLO
from ultralytics.utils.downloads import safe_download

BUDGET_MS = 30  # the model's share of a 20 FPS frame budget
CANDIDATES = ("onnx", "openvino")  # runtimes the decision tree allows on this machine

if __name__ == "__main__":  # exports and inference can start worker processes on macOS and Windows
    frame = str(safe_download("https://ultralytics.com/images/bus.jpg"))  # use a real frame from your camera
    for fmt in CANDIDATES:
        model = YOLO(YOLO("yolo26n.pt").export(format=fmt))
        for _ in range(5):  # warm up: the first calls include one-time setup
            model(frame, verbose=False)
        runs = sorted(model(frame, verbose=False)[0].speed["inference"] for _ in range(100))
        p50, p95 = runs[49], runs[94]
        verdict = "meets" if p95 <= BUDGET_MS else "misses"
        print(f"{fmt:9s} p50 {p50:5.1f} ms  p95 {p95:5.1f} ms  {verdict} the {BUDGET_MS} ms budget")

На ноутбуке с Apple silicon, использованном для тестирования этого курса, когда CPU был занят и другими задачами:

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

Разберём всё по пунктам:

• speed["inference"] — это время, затраченное самой моделью на обработку кадра, без декодирования и отрисовки, поэтому среды выполнения можно сравнивать честно.
• OpenVINO выигрывает по медиане, но проигрывает по p95 более чем вдвое. Оценивая по средним значениям, ты выбрал бы среду выполнения, которая зависает при высокой нагрузке; по p95 ONNX Runtime на этой машине оказывается более стабильным вариантом.
• Оба варианта не укладываются в бюджет, поэтому здесь стоит выбрать модель меньшего размера imgsz, ускоритель или меньше камер на устройство, а не другую среду выполнения для CPU.

Чтобы быстро сравнить точность и скорость разных форматов, режим Benchmark экспортирует, проверяет и измеряет время работы каждого из них:

yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=onnx

Убери format=, чтобы проверить все форматы, поддерживаемые машиной. В COCO8 всего четыре изображения для валидации, поэтому считай столбец mAP лишь проверкой работоспособности, а для принятия решений о точности используй YAML-файл собственного набора данных.

Подводные камни#

Для граничных устройств нужно ответить ещё на четыре вопроса#

В руководствах по Raspberry Pi, NVIDIA Jetson и DeepStream на Jetson подробно описаны распространённые целевые платформы. Прежде чем остановить выбор на граничном устройстве, ответь на вопросы:

• Холодный запуск: где собирается движок TensorRT и кто ждёт завершения сборки?
• Питание и нагрев: сможет ли корпус целый день поддерживать работу модели с полной частотой FPS?
• Память: хватит ли места для буферов кадров и состояния трекера помимо модели? INT8 вдвое уменьшает долю модели.
• Обновления: как новая версия best.pt попадёт на 1 000 устройств? Образ Docker обеспечивает их единообразие.