Khả năng quan sát và drift

Ba lớp tín hiệu#

Hầu hết nhóm bao phủ lớp đầu tiên bằng các công cụ tiêu chuẩn rồi dừng lại. Lớp thứ hai và thứ ba là nơi các hệ thống thị giác máy tính gặp lỗi âm thầm; hướng dẫn giám sát model trình bày toàn bộ quy trình bảo trì.

Nếu triển khai qua Ultralytics Platform, trang triển khai cung cấp lớp hạ tầng (request, tỷ lệ lỗi, độ trễ P95) và nhật ký request có thể lọc theo lỗi như minh họa ở trên; bài học Giám sát tình trạng và độ chính xác trình bày các nội dung này. Bạn cần tự xây dựng lớp hành vi và độ chính xác; phần còn lại của bài học này sẽ hướng dẫn cách thực hiện.

Xuất metric cho từng frame#

Mỗi đối tượng Results đều chứa thông tin thời gian và hộp. Ghi một dòng JSON cho mỗi frame rồi gửi đến hệ thống metric bạn đang dùng:

import json
import time

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4"
with open("metrics.jsonl", "w") as log:
    for r in model.predict(video, stream=True, verbose=False):
        conf = r.boxes.conf
        record = {
            "ts": time.time(),
            "camera": "lobby-1",
            "inference_ms": round(r.speed["inference"], 1),
            "detections": len(r.boxes),
            "mean_conf": round(conf.mean().item(), 3) if len(conf) else None,
            "confs": [round(c, 3) for c in conf.tolist()],  # các giá trị thô dùng cho kiểm định drift
        }
        log.write(json.dumps(record) + "\n")
print({k: v for k, v in record.items() if k != "confs"})

{'ts': 1792003254.33, 'camera': 'lobby-1', 'inference_ms': 34.7, 'detections': 22, 'mean_conf': 0.543}

Công dụng của từng trường:

• inference_ms: cảnh báo khi p95 vượt quá ngân sách.
• detections: số lượng giảm đột ngột xuống gần bằng không thường có nghĩa camera bị chặn hoặc hỏng; tăng vọt nghĩa là cảnh đã thay đổi hoặc xuất hiện nhiều false positive.
• mean_conf: đường xu hướng nhanh, nhưng quá thô để tự phát hiện drift.
• confs: toàn bộ phân phối, cần thiết cho phép kiểm tra drift bên dưới.

Kiểm tra drift trong phân phối độ tin cậy#

Data drift thể hiện trong độ tin cậy từ lâu trước khi có người gán nhãn dữ liệu mới. Thu thập độ tin cậy lúc khởi chạy làm đường cơ sở, thu thập một cửa sổ dữ liệu gần đây, rồi so sánh hai phân phối bằng kiểm định Kolmogorov-Smirnov hai mẫu (pip install scipy). Script này mô phỏng thời điểm chạng vạng bằng cách làm tối cùng một đoạn video:

import cv2
import numpy as np
from scipy.stats import ks_2samp

from ultralytics import YOLO
from ultralytics.utils.downloads import safe_download

model = YOLO("yolo26n.pt")
video = str(safe_download("https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4"))

def confidences(darken=1.0):
    """Collect every detection confidence from the clip, optionally darkened to simulate dusk."""
    cap, out = cv2.VideoCapture(video), []
    while True:
        ok, frame = cap.read()
        if not ok:
            break
        out += model((frame * darken).astype(np.uint8), verbose=False)[0].boxes.conf.tolist()
    return np.array(out)

baseline = confidences()  # what "normal" looked like at launch
for name, recent in (("same scene", confidences()), ("dusk (35% brightness)", confidences(darken=0.35))):
    stat, p = ks_2samp(baseline, recent)
    print(f"{name:22s} n={len(recent):4d} mean_conf={recent.mean():.3f} KS={stat:.3f} p={p:.2g}")

same scene             n=1376 mean_conf=0.519 KS=0.000 p=1
dusk (35% brightness)  n=1337 mean_conf=0.508 KS=0.064 p=0.0068

Đọc lần lượt từng dòng:

• Cùng cảnh: các phân phối giống hệt nhau cho thống kê KS bằng 0 và p = 1, đây là trường hợp đối chứng.
• Chạng vạng: số detections giảm 39 và giá trị trung bình chỉ thấp hơn 0.011, mức chênh lệch không ai nhận ra trên biểu đồ. Thống kê KS (khoảng cách lớn nhất giữa hai phân phối tích lũy) là 0.064, và p = 0.0068 < 0.01 cho thấy độ lệch là có thật.

Cảnh báo drift là lý do để xem các frame mẫu, không phải bằng chứng cho thấy hệ thống bị lỗi. Khi drift là có thật, hãy thu thập và gán nhãn frame từ các camera bị ảnh hưởng: hướng dẫn thu thập và chú thích dữ liệu trình bày những gì cần thu thập, còn hướng dẫn fine-tune trình bày quy trình huấn luyện lại. Kích thước bounding box (width × height) là một tín hiệu drift dễ theo dõi khác: các giá treo và ống kính mới thường thể hiện thay đổi ở đó trước tiên.

Xác thực tập holdout hằng tuần#

Các tín hiệu hành vi cho biết có điều gì đó đã thay đổi; chỉ nhãn mới cho biết độ chính xác có giảm hay không. Duy trì một tập holdout gồm 200–500 ảnh production đã gán nhãn và xác thực mọi phiên bản model, cũng như hằng tuần:

yolo val model=yolo26n.pt data=coco8.yaml > weekly_metrics.txt  # use your production model and holdout YAML

Ghi lại mAP50-95 và AP theo từng lớp theo thời gian, đồng thời cảnh báo khi mAP giảm hơn 1 điểm so với tuần trước. Nguyên nhân phổ biến nhất là thay model trong khi dự kiến không làm thay đổi kết quả; nguyên nhân thứ hai là drift. Confusion matrix trên cùng tập holdout giúp dễ nhận ra các hồi quy theo từng lớp.

Tập holdout giúp trả lời câu hỏi trong biểu đồ này. Hãy huấn luyện lại khi tập cho thấy chất lượng bắt đầu giảm, hoặc khi bạn có đủ dữ liệu mới được gán nhãn từ các điều kiện đã drift, thay vì theo một lịch cố định.

Cảnh báo dựa trên hành động, không phải con số#

Các lỗi thường gặp#