Chọn mục tiêu triển khai

Bắt đầu từ thiết bị#

Runtime được quyết định bởi nơi chạy inference, không phải thói quen. Đi theo sơ đồ từ trên xuống và dừng ở lựa chọn phù hợp đầu tiên:

Mỗi runtime tương ứng với một giá trị format= trong chế độ Export:

Trên các nền tảng Apple gần đây, bạn cũng có thể xuất sang định dạng Core AI mới hơn của Apple (format=coreai, được xuất trên macOS 26+ với Apple silicon hoặc Linux x86-64). Mới làm quen với việc xuất model? Bài học Xuất model để triển khai trình bày những kiến thức cơ bản.

Nếu không muốn chạy máy chủ inference, Ultralytics Platform triển khai model dưới dạng endpoint chuyên dụng tại một trong 42 khu vực, và tab Deployments trong hồ sơ của bạn hiển thị vị trí chạy của từng endpoint:

Phương án đó được trình bày trong Triển khai và gọi một endpoint. Phần còn lại của khóa học này dành cho trường hợp bạn tự chạy model.

Chuyển mục tiêu FPS thành ngân sách mili giây#

"Thời gian thực" không phải là một yêu cầu cụ thể; một con số thì có. Hãy tính con số đó trước khi benchmark bất cứ thứ gì:

Tiếp theo, áp dụng các quy tắc lựa chọn sau:

• Nếu YOLO26n cần nhiều thời gian hơn ngân sách dành cho model trên CPU của thiết bị, hãy chuyển sang bộ tăng tốc (GPU, iGPU, NPU) hoặc giảm kích thước imgsz trước tiên; các benchmark YOLO26 ghi nhận YOLO26n mất 38.9 ms trên CPU với ONNX và 1.7 ms trên T4 với TensorRT.
• Nếu một thiết bị phải phục vụ nhiều camera, hãy chia ngân sách model cho số lượng camera.
• Nếu hệ thống có nhiều hơn một vài loại thiết bị, hãy ưu tiên các runtime không cần build riêng cho từng thiết bị hoặc lên kế hoạch build riêng cho từng nhóm thiết bị.
• Nếu code gọi model được viết bằng Swift, Kotlin hoặc C++, hãy kiểm tra SDK của runtime có hỗ trợ ngôn ngữ đó trước khi quyết định.

Benchmark các ứng viên trên thiết bị#

Thông số kỹ thuật và benchmark của người khác là điểm khởi đầu. Quyết định cần dựa trên phần cứng bạn sẽ triển khai và các frame chậm, chứ không phải mức trung bình: runtime có tốc độ trung vị nhanh nhưng bị khựng ở một trong hai mươi frame vẫn sẽ làm rớt frame. Script này xuất từng ứng viên, đo thời gian 100 lần inference trên một frame thực tế và đánh giá từng ứng viên theo phân vị thứ 95 (p95):

from ultralytics import YOLO
from ultralytics.utils.downloads import safe_download

BUDGET_MS = 30  # the model's share of a 20 FPS frame budget
CANDIDATES = ("onnx", "openvino")  # runtimes the decision tree allows on this machine

if __name__ == "__main__":  # exports and inference can start worker processes on macOS and Windows
    frame = str(safe_download("https://ultralytics.com/images/bus.jpg"))  # use a real frame from your camera
    for fmt in CANDIDATES:
        model = YOLO(YOLO("yolo26n.pt").export(format=fmt))
        for _ in range(5):  # warm up: the first calls include one-time setup
            model(frame, verbose=False)
        runs = sorted(model(frame, verbose=False)[0].speed["inference"] for _ in range(100))
        p50, p95 = runs[49], runs[94]
        verdict = "meets" if p95 <= BUDGET_MS else "misses"
        print(f"{fmt:9s} p50 {p50:5.1f} ms  p95 {p95:5.1f} ms  {verdict} the {BUDGET_MS} ms budget")

Trên laptop Apple silicon dùng để kiểm thử khóa học này, trong khi CPU được chia sẻ với các tác vụ khác:

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

Đọc lần lượt từng dòng:

• speed["inference"] là thời gian xử lý riêng của model cho frame đó, không bao gồm giải mã hay vẽ, nhờ vậy có thể so sánh công bằng giữa các runtime.
• OpenVINO thắng về trung vị nhưng thua về p95 với chênh lệch hơn hai lần. Nếu đánh giá dựa trên mức trung bình, bạn sẽ triển khai runtime bị khựng vào những lúc tải cao; xét theo p95, ONNX Runtime là lựa chọn ổn định hơn trên máy này.
• Cả hai đều không đáp ứng ngân sách, vì vậy bước tiếp theo ở đây là dùng imgsz nhỏ hơn, dùng bộ tăng tốc hoặc giảm số camera trên mỗi thiết bị, chứ không phải thử một runtime CPU khác.

Để nhanh chóng khảo sát độ chính xác và tốc độ trên nhiều định dạng, chế độ Benchmark sẽ xuất model, đánh giá và đo thời gian cho từng định dạng:

yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=onnx

Bỏ format= để khảo sát mọi định dạng mà máy hỗ trợ. COCO8 chỉ có bốn ảnh validation, vì vậy hãy xem cột mAP là phép kiểm tra sơ bộ và dùng YAML dataset của riêng bạn để quyết định về độ chính xác.

Các lỗi thường gặp#

Thiết bị edge đặt ra bốn câu hỏi#

Các hướng dẫn về Raspberry Pi, NVIDIA Jetson và DeepStream trên Jetson trình bày chi tiết các mục tiêu phổ biến. Trước khi quyết định dùng thiết bị edge, hãy trả lời:

• Khởi động nguội: TensorRT engine được build ở đâu và ai phải chờ quá trình đó?
• Nguồn điện và nhiệt độ: thiết bị có thể vận hành model ở FPS tối đa suốt cả ngày không?
• Bộ nhớ: ngoài model, thiết bị còn đủ chỗ cho bộ đệm frame và trạng thái tracker không? INT8 giảm một nửa dung lượng bộ nhớ dành cho model.
• Cập nhật: phiên bản best.pt mới sẽ được đưa đến 1.000 thiết bị như thế nào? Một image Docker giúp đảm bảo tính nhất quán giữa các thiết bị.