Tối ưu chi phí và độ trễ

Trước tiên, đo toàn bộ pipeline#

Mỗi đối tượng Results chia thời gian xử lý thành các giai đoạn:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4"
totals = {"preprocess": 0.0, "inference": 0.0, "postprocess": 0.0}
for n, r in enumerate(model.predict(video, stream=True, verbose=False), 1):
    for stage in totals:
        totals[stage] += r.speed[stage]
print({stage: round(ms / n, 1) for stage, ms in totals.items()}, "ms per frame")

{'preprocess': 0.7, 'inference': 36.1, 'postprocess': 0.7} ms per frame

Ở đây, inference chiếm 95% thời gian của model, vì vậy các biện pháp tối ưu model sẽ có tác dụng. Đo thời gian giải mã và các sink của riêng bạn theo cách tương tự (đặt time.perf_counter() xung quanh từng phần), sau đó áp dụng quy tắc tương ứng với kết quả đo:

Bảng xếp hạng các biện pháp tối ưu#

Thử lần lượt từ trên xuống và dừng khi đạt ngân sách:

Các con số được lấy từ các bảng benchmark YOLO26, TensorRT và OpenVINO, cùng các phép đo bên dưới; kết quả của bạn sẽ khác, vì vậy hãy tự đo.

Model nhỏ hơn#

Bảng benchmark YOLO26 trên COCO:

Trên CPU, mỗi lần giảm một cỡ giúp tăng tốc 2.2–2.5×. Chênh lệch độ chính xác trên COCO là trường hợp xấu nhất: detector 3 lớp dùng trong kho với vật thể lớn thường mất ít độ chính xác hơn nhiều khi giảm từ m xuống n so với detector tổng quát 80 lớp, vì vậy model nhỏ hơn luôn đáng để thử nghiệm trên tập val của riêng bạn.

Đầu vào nhỏ hơn#

Tính toán tăng gần tương ứng với số pixel, vì vậy imgsz=480 chỉ cần khoảng 56% khối lượng xử lý so với 640. Số liệu đo trên CPU của laptop thử nghiệm, dùng ONNX Runtime với batch 1 (trung vị của 25 lần chạy trên bus.jpg):

Quy tắc ra quyết định: nếu vật thể quan trọng nhỏ nhất vẫn chiếm khoảng 10 pixel trở lên ở kích thước mới, hãy thử; nếu vật thể nhỏ hoặc ở xa (drone, hàng hóa trên kệ cách xa camera), hãy giữ độ phân giải và giảm kích thước model thay thế.

Ít frame hơn#

Nếu inference giới hạn tốc độ khung hình và cảnh chuyển động chậm, hãy chạy detection trên mỗi frame thứ N bằng vid_stride=N và để tracker kết nối các khoảng trống:

import time

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4"
model.predict(video, vid_stride=30, verbose=False)  # warm up so the first timing is fair

for stride in (1, 2, 3):
    start, ids, frames = time.perf_counter(), set(), 0
    for r in model.track(video, stream=True, vid_stride=stride, tracker="bytetrack.yaml", classes=[0], verbose=False):
        frames += 1
        if r.boxes.is_track:
            ids.update(r.boxes.id.int().tolist())
    print(f"vid_stride={stride}: {frames} frames in {time.perf_counter() - start:.2f} s, {len(ids)} person IDs")

vid_stride=1: 62 frames in 2.66 s, 32 person IDs
vid_stride=2: 31 frames in 1.19 s, 30 person IDs
vid_stride=3: 20 frames in 0.95 s, 28 person IDs

Xử lý một nửa số frame tốn khoảng một nửa thời gian, và tracker duy trì được 30 trong số 32 định danh. Ở vid_stride=3, tracker mất 4 định danh; đó là dấu hiệu nên dừng thử nghiệm với cảnh có tốc độ di chuyển như người đi bộ này.

Giảm chi phí cloud#

Chi phí bằng số giờ chạy instance chia cho khối lượng công việc hữu ích. Thẻ như hình này có hai con số bạn cần: chi phí mỗi giờ (0,17 USD cho 1 vCPU và 4 GiB ở đây) và khối lượng công việc xử lý được (59 yêu cầu trong 24 giờ với P95 là 226 ms, tức endpoint hầu như không hoạt động). Tiếp theo:

• Tăng mức sử dụng. GPU có mức sử dụng 30% đang lãng phí 70% chi phí. Hãy gom các luồng thành batch (bài học trước) hoặc phục vụ inference qua Triton Inference Server.
• Chọn quy mô phù hợp. Benchmark trên GPU nhỏ hơn hoặc CPU với OpenVINO trước khi cho rằng bạn cần GPU lớn.
• Dùng capacity theo hình thức spot hoặc có thể thu hồi cho các tác vụ batch. Xử lý lại video lưu trữ có thể chấp nhận gián đoạn; luồng trực tiếp thì không.

Các lỗi thường gặp#