Elige un destino de despliegue

Empieza por el dispositivo#

El entorno de ejecución depende de dónde se realice la inferencia, no de la costumbre. Sigue el árbol desde arriba y detente en la primera opción que coincida:

Cada entorno de ejecución corresponde a un valor de format= en el modo de exportación:

En las plataformas Apple recientes también puedes exportar al nuevo formato Core AI de Apple (format=coreai, exportado en macOS 26+ con Apple silicon o en Linux x86-64). ¿Es tu primera exportación? La lección Exportar para la implementación explica los conceptos básicos.

Si prefieres no ejecutar servidores de inferencia, Ultralytics Platform implementa un modelo como endpoint dedicado en una de sus 42 regiones, y la pestaña Deployments de tu perfil muestra dónde se ejecuta cada uno:

Ese proceso se explica en Implementar y llamar a un endpoint. El resto de este curso trata de ejecutar tú mismo el modelo.

Convierte el objetivo de FPS en un presupuesto de milisegundos#

«Tiempo real» no es un requisito; un número sí. Calcúlalo antes de medir nada:

Aplica estas reglas de decisión:

• Si YOLO26n tarda más que el presupuesto de tu modelo en la CPU del dispositivo, pasa a un acelerador (GPU, iGPU, NPU) o reduce imgsz antes de hacer cualquier otra cosa; las pruebas de rendimiento de YOLO26 indican que YOLO26n tarda 38,9 ms en una CPU con ONNX y 1,7 ms en una T4 con TensorRT.
• Si un dispositivo tiene que atender varias cámaras, divide el presupuesto del modelo entre el número de cámaras.
• Si la flota tiene más de unos pocos tipos de dispositivos, prioriza los entornos de ejecución que no requieran compilaciones por dispositivo o planifica una compilación por clase de dispositivo.
• Si el código que llama al modelo está escrito en Swift, Kotlin o C++, consulta el SDK del entorno de ejecución para ese lenguaje antes de decidirte.

Mide el rendimiento de las opciones en el dispositivo#

Las especificaciones técnicas y las pruebas de rendimiento de otras personas son un punto de partida. La decisión se toma en el hardware donde vas a implementar el modelo y teniendo en cuenta los fotogramas lentos, no la media: un entorno de ejecución que es rápido en la mediana, pero se atasca en uno de cada veinte fotogramas, seguirá perdiendo fotogramas. Este script exporta cada opción, mide 100 inferencias en un fotograma real y evalúa cada una según su percentil 95 (p95):

from ultralytics import YOLO
from ultralytics.utils.downloads import safe_download

BUDGET_MS = 30  # the model's share of a 20 FPS frame budget
CANDIDATES = ("onnx", "openvino")  # runtimes the decision tree allows on this machine

if __name__ == "__main__":  # exports and inference can start worker processes on macOS and Windows
    frame = str(safe_download("https://ultralytics.com/images/bus.jpg"))  # use a real frame from your camera
    for fmt in CANDIDATES:
        model = YOLO(YOLO("yolo26n.pt").export(format=fmt))
        for _ in range(5):  # warm up: the first calls include one-time setup
            model(frame, verbose=False)
        runs = sorted(model(frame, verbose=False)[0].speed["inference"] for _ in range(100))
        p50, p95 = runs[49], runs[94]
        verdict = "meets" if p95 <= BUDGET_MS else "misses"
        print(f"{fmt:9s} p50 {p50:5.1f} ms  p95 {p95:5.1f} ms  {verdict} the {BUDGET_MS} ms budget")

En el portátil con Apple silicon utilizado para probar este curso, mientras otros trabajos compartían la CPU:

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

Léelo línea por línea:

• speed["inference"] es el tiempo que tarda el modelo en procesar ese fotograma, sin decodificar ni dibujar, así que permite comparar los entornos de ejecución en igualdad de condiciones.
• OpenVINO gana en la mediana y pierde en el p95 por un factor superior a dos. Si valoraras las medias, implementarías el entorno de ejecución que se atasca en los momentos de mayor carga; según el p95, ONNX Runtime es la opción más estable en esta máquina.
• Ninguna de las dos opciones cumple el presupuesto, así que el siguiente paso aquí es usar un imgsz más pequeño, un acelerador o menos cámaras por dispositivo; no probar otro entorno de ejecución de CPU.

Para comparar rápidamente la precisión y la velocidad de distintos formatos, el modo Benchmark exporta, valida y mide cada uno:

yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=onnx

Quita format= para probar todos los formatos compatibles con la máquina. COCO8 solo tiene cuatro imágenes de validación, así que considera su columna mAP una prueba básica y usa el YAML de tu propio conjunto de datos para tomar decisiones sobre precisión.

Errores habituales#

Los dispositivos periféricos plantean cuatro preguntas más#

Las guías de Raspberry Pi, NVIDIA Jetson y DeepStream en Jetson explican en detalle los destinos más habituales. Antes de decidirte por un dispositivo periférico, responde a estas preguntas:

• Arranque en frío: ¿dónde se compila el motor TensorRT y quién espera a que termine?
• Consumo y temperatura: ¿puede la carcasa mantener el modelo funcionando a FPS máximos durante todo el día?
• Memoria: ¿hay espacio para los búferes de fotogramas y el estado del rastreador junto al modelo? INT8 reduce a la mitad la memoria que ocupa el modelo.
• Actualizaciones: ¿cómo llega un nuevo best.pt a 1000 dispositivos? Una imagen de Docker los mantiene coherentes.