Настройка стоимости и задержки

Сначала измерь весь конвейер#

Каждый объект Results разбивает собственное время на этапы:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4"
totals = {"preprocess": 0.0, "inference": 0.0, "postprocess": 0.0}
for n, r in enumerate(model.predict(video, stream=True, verbose=False), 1):
    for stage in totals:
        totals[stage] += r.speed[stage]
print({stage: round(ms / n, 1) for stage, ms in totals.items()}, "ms per frame")

{'preprocess': 0.7, 'inference': 36.1, 'postprocess': 0.7} ms per frame

Здесь на инференс приходится 95% времени модели, поэтому рычаги, связанные с моделью, помогут. Замерь время декодирования и собственных этапов передачи результатов тем же способом (оберни каждый из них в time.perf_counter()), а затем действуй в зависимости от результата:

Рейтинг рычагов#

Пробуй по порядку, начиная сверху, и остановись, когда уложишься в бюджет:

Числа взяты из таблиц бенчмарков YOLO26, TensorRT и OpenVINO, а также из приведённых ниже измерений; у тебя результаты будут отличаться, поэтому измеряй.

Модель меньшего размера#

Таблица бенчмарков YOLO26 на COCO:

На CPU каждый переход на модель меньшего размера ускоряет обработку в 2,2–2,5 раза. Разрыв в точности на COCO — наихудший сценарий: детектор для склада с 3 классами и крупными объектами обычно теряет гораздо меньше при переходе с m на n, чем универсальный детектор с 80 классами, поэтому всегда проверяй модель меньшего размера на собственном val-наборе.

Меньший размер входа#

Вычислительная нагрузка примерно пропорциональна числу пикселей, поэтому imgsz=480 требует около 56% вычислений по сравнению с размером 640. Измерения выполнены на CPU тестового ноутбука с ONNX Runtime и размером пакета 1 (медиана 25 запусков на bus.jpg):

Правило принятия решения: если самый маленький важный объект всё ещё занимает около 10 пикселей или больше при новом размере, попробуй его; если объекты мелкие или удалённые (дроны, дальние стеллажи), сохрани разрешение и вместо этого уменьши модель.

Меньше кадров#

Если частоту кадров ограничивает инференс, а сцена меняется медленно, запускай детекцию на каждом N-м кадре с помощью vid_stride=N, а пробелы пусть заполняет трекер:

import time

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4"
model.predict(video, vid_stride=30, verbose=False)  # warm up so the first timing is fair

for stride in (1, 2, 3):
    start, ids, frames = time.perf_counter(), set(), 0
    for r in model.track(video, stream=True, vid_stride=stride, tracker="bytetrack.yaml", classes=[0], verbose=False):
        frames += 1
        if r.boxes.is_track:
            ids.update(r.boxes.id.int().tolist())
    print(f"vid_stride={stride}: {frames} frames in {time.perf_counter() - start:.2f} s, {len(ids)} person IDs")

vid_stride=1: 62 frames in 2.66 s, 32 person IDs
vid_stride=2: 31 frames in 1.19 s, 30 person IDs
vid_stride=3: 20 frames in 0.95 s, 28 person IDs

Обработка половины кадров занимает примерно вдвое меньше времени, а трекер сохранил 30 из 32 идентификаторов. При vid_stride=3 он потерял 4 идентификатора — для сцены с движением в темпе ходьбы это сигнал остановиться.

Снижение облачных затрат#

Стоимость — это время работы экземпляра, делённое на объём полезной работы. На карточке, как эта, указаны два нужных тебе числа: стоимость часа ($0,17 за 1 vCPU и 4 GiB в этом примере) и объём выполненной работы (59 запросов за 24 часа при P95 226 мс — конечная точка в основном простаивает). Затем:

• Повышай загрузку. GPU с загрузкой 30% впустую расходует 70% средств, потраченных на его работу. Объединяй потоки в пакеты (см. предыдущие уроки) или используй Triton Inference Server.
• Подбери ресурсы нужного размера. Прежде чем считать, что тебе нужен мощный GPU, проведи бенчмарки на менее мощном GPU или на CPU с OpenVINO.
• Используй ресурсы по модели spot или с возможностью прерывания для пакетных задач. Повторную обработку архивного видео можно прервать; прямые трансляции — нельзя.

Подводные камни#