选择部署目标

从设备出发#

运行时应由推理实际运行的位置决定，而不是由使用习惯决定。从顶部开始沿着流程逐步判断，找到第一个匹配项后停止：

每种运行时都对应 导出模式 中的一个 format= 值：

在较新的 Apple 平台上，你还可以导出 Apple 新推出的 Core AI 格式（format=coreai，在 macOS 26+ Apple silicon 或 x86-64 Linux 上导出）。刚开始接触导出？面向部署的导出课程会介绍基础知识。

如果你不想运行推理服务器，Ultralytics Platform 可以将模型部署为专用端点，覆盖 42 个区域；你的个人资料中的 Deployments 标签页会显示每个端点的运行位置：

部署并调用端点会介绍这种方式。本课程其余部分适用于你自行运行模型的情况。

将 FPS 目标换算成毫秒预算#

“实时”不是具体要求，数字才是。在进行任何基准测试前，先算出这个数字：

然后根据以下规则做决定：

• 如果 YOLO26n 在设备 CPU 上的耗时超过模型预算，就改用加速器（GPU、iGPU、NPU），或者优先缩小 imgsz；YOLO26 基准测试显示，YOLO26n 在 CPU ONNX 上耗时 38.9 ms，在搭载 TensorRT 的 T4 上耗时 1.7 ms。
• 如果一台设备要服务多台摄像头，就用模型预算除以摄像头数量。
• 如果设备群包含多种设备类型，且数量超过少数几种，优先选择不需要针对每台设备单独构建的运行时，或者规划按设备类别分别构建。
• 如果调用代码使用 Swift、Kotlin 或 C++，在确定方案前，先确认运行时是否提供该语言的 SDK。

在目标设备上对候选方案进行基准测试#

规格表和他人的基准测试结果只能作为起点。你需要在实际部署的硬件上做出决定，并关注耗时较长的帧，而不是平均值：某个运行时的中位数很快，但每二十帧就有一帧卡顿，它仍然会丢帧。这个脚本会导出每个候选模型，在真实帧上计时 100 次推理，并根据第 95 百分位数（p95）评估每个模型：

from ultralytics import YOLO
from ultralytics.utils.downloads import safe_download

BUDGET_MS = 30  # the model's share of a 20 FPS frame budget
CANDIDATES = ("onnx", "openvino")  # runtimes the decision tree allows on this machine

if __name__ == "__main__":  # exports and inference can start worker processes on macOS and Windows
    frame = str(safe_download("https://ultralytics.com/images/bus.jpg"))  # use a real frame from your camera
    for fmt in CANDIDATES:
        model = YOLO(YOLO("yolo26n.pt").export(format=fmt))
        for _ in range(5):  # warm up: the first calls include one-time setup
            model(frame, verbose=False)
        runs = sorted(model(frame, verbose=False)[0].speed["inference"] for _ in range(100))
        p50, p95 = runs[49], runs[94]
        verdict = "meets" if p95 <= BUDGET_MS else "misses"
        print(f"{fmt:9s} p50 {p50:5.1f} ms  p95 {p95:5.1f} ms  {verdict} the {BUDGET_MS} ms budget")

在用于测试本课程的 Apple silicon 笔记本电脑上，CPU 同时运行其他任务时：

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

逐行来看：

• speed["inference"] 是模型处理该帧本身所需的时间，不包含解码或绘图，因此可以公平地比较不同运行时。
• OpenVINO 的中位数表现最好，但 p95 慢了两倍多。如果只看平均值，你会部署那个在繁忙时段会卡顿的运行时；如果看 p95，在这台机器上，ONNX Runtime 是更稳定的选择。
• 两者都达不到预算要求，因此这里的下一步应该是缩小 imgsz、改用加速器，或减少每台设备连接的摄像头数量，而不是再试另一个 CPU 运行时。

若要快速比较不同格式的准确率和速度，基准测试模式会逐一导出、验证并计时：

yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=onnx

删除 format=，即可测试机器支持的所有格式。COCO8 只有四张验证图像，因此应将其 mAP 列视为冒烟测试；要做准确率方面的决策，请使用你自己的数据集 YAML。

常见问题#

边缘设备还要考虑四个问题#

Raspberry Pi、NVIDIA Jetson 和 Jetson 上的 DeepStream 指南详细介绍了常见目标设备。在确定边缘计算设备之前，请先回答：

• 冷启动：TensorRT 引擎在哪里构建？谁需要等待？
• 功耗与散热：机箱能否让模型以满载 FPS 全天运行？
• 内存：模型旁边是否有足够空间容纳帧缓冲区和跟踪器状态？INT8 会让模型占用的内存减半。
• 更新：如何将新的 best.pt 部署到 1,000 台设备？使用 Docker 镜像可以让设备保持一致。