Choisir une cible de déploiement

Commencer par l'appareil#

Le moteur d'exécution dépend de l'endroit où l'inférence est effectuée, pas de tes habitudes. Suis l'arbre depuis le début et arrête-toi à la première correspondance :

Chaque moteur d'exécution correspond à une valeur format= dans le mode d'exportation :

Sur les plateformes Apple récentes, tu peux aussi exporter au format Core AI plus récent d'Apple (format=coreai, exporté sur macOS 26+ avec Apple silicon ou sur Linux x86-64). Tu débutes dans l'export ? La leçon Exporter pour le déploiement présente les bases.

Si tu préfères ne pas exécuter de serveurs d'inférence, Ultralytics Platform déploie un modèle sous forme de point de terminaison dédié dans l'une des 42 régions, et l'onglet Deployments de ton profil indique où chacun s'exécute :

Cette approche est expliquée dans Déployer et appeler un point de terminaison. Le reste de ce cours s'adresse à ceux qui exécutent eux-mêmes le modèle.

Convertis la cible FPS en budget de latence en millisecondes#

« Temps réel » n'est pas une exigence ; un nombre, si. Calcule-le avant de mesurer quoi que ce soit :

Applique ensuite ces règles de décision :

• Si YOLO26n dépasse le budget alloué au modèle sur le CPU de l'appareil, passe à un accélérateur (GPU, iGPU, NPU) ou réduis imgsz avant toute autre chose ; les benchmarks YOLO26 indiquent 38.9 ms pour YOLO26n sur CPU ONNX et 1.7 ms sur une T4 avec TensorRT.
• Si un appareil doit servir plusieurs caméras, divise le budget du modèle par le nombre de caméras.
• Si le parc compte plus qu'une poignée de types d'appareils, privilégie les environnements d'exécution qui ne nécessitent pas de compilation par appareil, ou prévois une compilation par catégorie d'appareil.
• Si le code appelant est en Swift, Kotlin ou C++, vérifie que le SDK de l'environnement d'exécution prend en charge ce langage avant de t'engager.

Mesure les performances des candidats sur l'appareil#

Les fiches techniques et les benchmarks d'autres personnes constituent un point de départ. La décision se prend sur le matériel que tu vas déployer, et en tenant compte des images les plus lentes, pas de la moyenne : un environnement d'exécution rapide en médiane, mais qui se bloque sur une image sur vingt, continuera à perdre des images. Ce script exporte chaque candidat, mesure le temps de 100 inférences sur une image réelle et évalue chaque candidat à son 95e percentile (p95) :

from ultralytics import YOLO
from ultralytics.utils.downloads import safe_download

BUDGET_MS = 30  # the model's share of a 20 FPS frame budget
CANDIDATES = ("onnx", "openvino")  # runtimes the decision tree allows on this machine

if __name__ == "__main__":  # exports and inference can start worker processes on macOS and Windows
    frame = str(safe_download("https://ultralytics.com/images/bus.jpg"))  # use a real frame from your camera
    for fmt in CANDIDATES:
        model = YOLO(YOLO("yolo26n.pt").export(format=fmt))
        for _ in range(5):  # warm up: the first calls include one-time setup
            model(frame, verbose=False)
        runs = sorted(model(frame, verbose=False)[0].speed["inference"] for _ in range(100))
        p50, p95 = runs[49], runs[94]
        verdict = "meets" if p95 <= BUDGET_MS else "misses"
        print(f"{fmt:9s} p50 {p50:5.1f} ms  p95 {p95:5.1f} ms  {verdict} the {BUDGET_MS} ms budget")

Sur l'ordinateur portable Apple silicon utilisé pour tester ce cours, alors que d'autres tâches partageaient le CPU :

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

Examinons chaque ligne :

• speed["inference"] correspond au temps pris par le modèle lui-même pour traiter cette image, sans décodage ni dessin, ce qui permet de comparer équitablement les environnements d'exécution.
• OpenVINO gagne en médiane et perd au p95 avec un écart supérieur à un facteur deux. En te basant sur les moyennes, tu déploierais l'environnement d'exécution qui se bloque lors des périodes de forte charge ; en te basant sur le p95, ONNX Runtime est le choix le plus stable sur cette machine.
• Les deux dépassent le budget ; la prochaine étape consiste donc à utiliser un imgsz plus petit, un accélérateur ou moins de caméras par appareil, et non un autre environnement d'exécution CPU.

Pour comparer rapidement la précision et la vitesse de différents formats, le mode Benchmark exporte, valide et mesure chacun d'eux :

yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=onnx

Supprime format= pour tester tous les formats pris en charge par la machine. COCO8 ne compte que quatre images de validation ; considère donc sa colonne mAP comme un simple test de bon fonctionnement et utilise le fichier YAML de ton propre jeu de données pour évaluer la précision.

Pièges#

Quatre questions supplémentaires pour les appareils Edge#

Les guides Raspberry Pi, NVIDIA Jetson et DeepStream sur Jetson détaillent les cibles les plus courantes. Avant de choisir un appareil Edge, réponds aux questions suivantes :

• Démarrage à froid : où l'engine TensorRT est-il construit, et qui doit attendre sa création ?
• Alimentation et chaleur : le boîtier peut-il faire fonctionner le modèle à plein FPS toute la journée ?
• Mémoire : reste-t-il assez de place pour les buffers d'images et l'état du tracker à côté du modèle ? INT8 réduit de moitié la part du modèle.
• Mises à jour : comment un nouveau best.pt est-il déployé sur 1 000 appareils ? Une image Docker garantit leur cohérence.