배포 대상 선택

디바이스에서 시작하기#

런타임은 습관이 아니라 추론이 실행되는 위치에 따라 결정됩니다. 위에서부터 분기 조건을 따라가며 처음 일치하는 항목에서 멈추세요:

각 런타임은 내보내기 모드의 format= 값 하나에 대응합니다:

최신 Apple 플랫폼에서는 Apple의 새로운 Core AI 형식(format=coreai, macOS 26+ Apple silicon 또는 x86-64 Linux에서 내보냄)으로도 내보낼 수 있습니다. 내보내기가 처음이신가요? 배포를 위한 내보내기 강의에서 기본 사항을 다룹니다.

추론 서버를 전혀 실행하고 싶지 않다면 Ultralytics Platform에서 모델을 42개 리전 중 하나의 전용 엔드포인트로 배포할 수 있으며, 프로필의 Deployments 탭에서 각 엔드포인트가 실행되는 위치를 확인할 수 있습니다:

이 경로는 엔드포인트 배포 및 호출에서 다룹니다. 이 과정의 나머지 내용은 모델을 직접 실행하는 경우를 위한 것입니다.

FPS 목표를 밀리초 예산으로 변환하기#

“실시간”은 요구사항이 아닙니다. 필요한 것은 수치입니다. 벤치마크를 수행하기 전에 계산해 보세요:

그런 다음 다음 의사결정 규칙을 적용하세요:

• YOLO26n이 장치의 CPU에서 모델 예산보다 오래 걸리면, 먼저 가속기(GPU, iGPU, NPU)로 전환하거나 imgsz의 크기를 줄이세요. YOLO26 벤치마크에 따르면 YOLO26n은 CPU ONNX에서 38.9 ms, TensorRT를 사용하는 T4에서 1.7 ms가 걸립니다.
• 한 장치에서 여러 카메라를 처리해야 한다면, 모델 예산을 카메라 수로 나누세요.
• 플릿에 다양한 장치 유형이 여러 개 있다면, 장치별 빌드가 필요하지 않은 런타임을 우선 고려하거나 장치 유형별 빌드를 계획하세요.
• 호출 코드가 Swift, Kotlin 또는 C++로 작성되어 있다면, 런타임을 결정하기 전에 해당 언어용 SDK를 확인하세요.

장치에서 후보 모델 벤치마크하기#

사양표와 다른 사람들의 벤치마크는 출발점일 뿐입니다. 실제 배포할 하드웨어에서 느린 프레임을 기준으로 판단해야 하며, 평균을 기준으로 해서는 안 됩니다. 중앙값 기준으로는 빠르지만 20개 프레임 중 하나에서 지연되는 런타임은 여전히 프레임을 놓칩니다. 다음 스크립트는 각 후보를 내보내고 실제 프레임에서 추론 100회를 측정한 뒤, 95번째 백분위수(p95)를 기준으로 평가합니다:

from ultralytics import YOLO
from ultralytics.utils.downloads import safe_download

BUDGET_MS = 30  # the model's share of a 20 FPS frame budget
CANDIDATES = ("onnx", "openvino")  # runtimes the decision tree allows on this machine

if __name__ == "__main__":  # exports and inference can start worker processes on macOS and Windows
    frame = str(safe_download("https://ultralytics.com/images/bus.jpg"))  # use a real frame from your camera
    for fmt in CANDIDATES:
        model = YOLO(YOLO("yolo26n.pt").export(format=fmt))
        for _ in range(5):  # warm up: the first calls include one-time setup
            model(frame, verbose=False)
        runs = sorted(model(frame, verbose=False)[0].speed["inference"] for _ in range(100))
        p50, p95 = runs[49], runs[94]
        verdict = "meets" if p95 <= BUDGET_MS else "misses"
        print(f"{fmt:9s} p50 {p50:5.1f} ms  p95 {p95:5.1f} ms  {verdict} the {BUDGET_MS} ms budget")

이 과정을 테스트하는 데 사용한 Apple silicon 노트북에서 다른 작업이 CPU를 함께 사용하는 경우:

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

각 항목을 하나씩 살펴보겠습니다.

• speed["inference"]은 디코딩이나 그리기 없이 해당 프레임을 처리하는 모델 자체의 시간으로, 런타임을 공정하게 비교할 수 있습니다.
• OpenVINO는 중앙값에서는 앞서지만 p95에서는 두 배 넘게 느립니다. 평균으로 판단하면 사용량이 몰리는 순간에 지연되는 런타임을 배포하게 됩니다. p95를 기준으로 판단하면 이 장치에서는 ONNX Runtime이 더 안정적인 선택입니다.
• 두 런타임 모두 예산을 초과합니다. 따라서 여기서 다음으로 할 일은 다른 CPU 런타임을 시도하는 것이 아니라 더 작은 imgsz을 사용하거나, 가속기를 쓰거나, 장치당 카메라 수를 줄이는 것입니다.

형식별 정확도와 속도를 빠르게 비교하려면 벤치마크 모드에서 각 형식을 내보내고, 검증하고, 측정하세요:

yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=onnx

format=을 생략하면 시스템에서 지원하는 모든 형식을 비교합니다. COCO8에는 검증 이미지가 4장뿐이므로 mAP 열은 기본 동작 점검용으로만 보고, 정확도 판단에는 자체 데이터셋 YAML을 사용하세요.

주의할 점#

엣지 장치에서 고려할 네 가지 질문#

Raspberry Pi, NVIDIA Jetson, Jetson의 DeepStream 가이드에서 일반적인 타깃을 자세히 다룹니다. 엣지 장치를 결정하기 전에 다음 질문에 답하세요:

• 콜드 스타트: TensorRT 엔진은 어디서 빌드하며, 누가 그동안 기다려야 합니까?
• 전력 및 발열: 인클로저가 하루 종일 최대 FPS로 모델을 실행할 수 있습니까?
• 메모리: 모델과 함께 프레임 버퍼 및 트래커 상태를 저장할 공간이 있습니까? INT8을 사용하면 모델이 차지하는 메모리가 절반으로 줄어듭니다.
• 업데이트: 새 best.pt을 장치 1,000대에 어떻게 전달합니까? Docker 이미지를 사용하면 장치 구성을 일관되게 유지할 수 있습니다.