Escolha um destino de implantação

Comece pelo dispositivo#

O runtime depende de onde a inferência é executada, não do hábito. Percorra a árvore desde o início e pare na primeira opção correspondente:

Cada runtime corresponde a um valor format= em Modo de exportação:

Nas plataformas Apple recentes, também podes exportar para o novo formato Core AI da Apple (format=coreai, exportado no macOS 26+ em Apple silicon ou Linux x86-64). É a primeira vez que exportas? A lição Exportar para implantação aborda os conceitos básicos.

Se preferires não executar servidores de inferência, a Ultralytics Platform implanta um modelo como endpoint dedicado numa das 42 regiões, e o separador Deployments do teu perfil mostra onde cada um é executado:

Esse caminho é abordado em Implantar e chamar um endpoint. O restante deste curso é para quando executas o modelo por conta própria.

Transforma a meta de FPS num orçamento em milissegundos#

«Tempo real» não é um requisito; um número é. Calcula-o antes de fazer qualquer benchmark:

Em seguida, aplica estas regras de decisão:

• Se o YOLO26n precisar de mais tempo do que o orçamento do teu modelo na CPU do dispositivo, muda para um acelerador (GPU, iGPU, NPU) ou reduz imgsz antes de qualquer outra coisa; os benchmarks do YOLO26 indicam 38.9 ms para o YOLO26n com ONNX na CPU e 1.7 ms numa T4 com TensorRT.
• Se um dispositivo tiver de atender várias câmaras, divide o orçamento do modelo pelo número de câmaras.
• Se a frota tiver mais do que alguns tipos de dispositivo, prefere runtimes que não exijam compilações específicas para cada dispositivo ou planeia uma compilação por classe de dispositivo.
• Se o código que faz as chamadas estiver em Swift, Kotlin ou C++, verifica o SDK do runtime para essa linguagem antes de te comprometeres.

Faz o benchmark dos candidatos no dispositivo#

As fichas técnicas e os benchmarks de outras pessoas são um ponto de partida. A decisão é tomada no hardware em que vais implantar e com base nos frames lentos, não na média: um runtime rápido na mediana, mas que bloqueia num em cada vinte frames, continuará a perder frames. Este script exporta cada candidato, mede o tempo de 100 inferências num frame real e avalia cada um pelo percentil 95 (p95):

from ultralytics import YOLO
from ultralytics.utils.downloads import safe_download

BUDGET_MS = 30  # the model's share of a 20 FPS frame budget
CANDIDATES = ("onnx", "openvino")  # runtimes the decision tree allows on this machine

if __name__ == "__main__":  # exports and inference can start worker processes on macOS and Windows
    frame = str(safe_download("https://ultralytics.com/images/bus.jpg"))  # use a real frame from your camera
    for fmt in CANDIDATES:
        model = YOLO(YOLO("yolo26n.pt").export(format=fmt))
        for _ in range(5):  # warm up: the first calls include one-time setup
            model(frame, verbose=False)
        runs = sorted(model(frame, verbose=False)[0].speed["inference"] for _ in range(100))
        p50, p95 = runs[49], runs[94]
        verdict = "meets" if p95 <= BUDGET_MS else "misses"
        print(f"{fmt:9s} p50 {p50:5.1f} ms  p95 {p95:5.1f} ms  {verdict} the {BUDGET_MS} ms budget")

No portátil com Apple silicon usado para testar este curso, enquanto outros trabalhos partilhavam a CPU:

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

Lê linha a linha:

• speed["inference"] é o tempo gasto pelo próprio modelo nesse frame, sem descodificação nem desenho, permitindo comparar os runtimes de forma justa.
• O OpenVINO vence na mediana e perde no p95 por um fator superior a dois. Se avaliares pelas médias, vais disponibilizar o runtime que bloqueia nos momentos de maior atividade; se avaliares pelo p95, o ONNX Runtime é a opção mais estável nesta máquina.
• Ambos excedem o orçamento, por isso, neste caso, o próximo passo é usar um imgsz menor, um acelerador ou menos câmaras por dispositivo, não outro runtime de CPU.

Para comparar rapidamente a precisão e a velocidade entre formatos, o modo Benchmark exporta, valida e mede o tempo de cada um:

yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=onnx

Remove format= para testar todos os formatos suportados pela máquina. O COCO8 tem apenas quatro imagens de validação; considera a coluna mAP como um teste básico e usa o YAML do teu próprio conjunto de dados para decidir sobre a precisão.

Armadilhas#

Os dispositivos de edge acrescentam quatro questões#

Os guias de Raspberry Pi, NVIDIA Jetson e DeepStream no Jetson abordam em detalhe os alvos mais comuns. Antes de te decidires por um dispositivo de edge, responde:

• Arranque a frio: onde é criado o mecanismo TensorRT e quem fica à espera?
• Energia e calor: a caixa consegue manter o modelo na velocidade máxima de FPS durante todo o dia?
• Memória: há espaço para os buffers de frames e o estado do rastreador junto ao modelo? O INT8 reduz para metade a parcela do modelo.
• Atualizações: como é que um novo best.pt chega a 1.000 dispositivos? Uma imagem Docker mantém-nos consistentes.