Gán nhãn thông minh và gán nhãn hàng loạt

Ba cách gán nhãn sơ bộ#

Trong trình chỉnh sửa annotation, chế độ Draw (V) là thủ công, còn chế độ Smart (S) cho phép model đề xuất nhãn:

SAM cần một lần nhấp cho mỗi đối tượng và tạo hình dạng sát nhất. Dự đoán của model chỉ cần một lần nhấp cho mỗi ảnh và chất lượng phụ thuộc vào model, vì vậy phần còn lại của bài học tập trung vào việc chọn và tinh chỉnh model đó.

Chọn model gán nhãn#

Model v0 còn yếu, được train trên 100–200 nhãn thủ công, vẫn tốt hơn bắt đầu vẽ từ đầu; đến v1, model thường đã trở thành đối tác học chủ động hữu ích. Hiệu quả của model nhận prompt class thay đổi đáng kể theo domain: một số model phát hiện gần như mọi thứ trong ảnh đời thường nhưng lại bỏ sót hầu hết đối tượng trong ảnh PCB, X-quang hoặc bán lẻ, vì vậy hãy kiểm tra mười dự đoán trước khi tin dùng.

Ví dụ thực hành: Đo khối lượng rà soát ở từng ngưỡng#

Ngưỡng confidence quyết định nội dung người rà soát sẽ dành thời gian xử lý: quá thấp thì họ xóa các box false positive, quá cao thì họ vẽ những box model bỏ sót. Hãy đo trên các ảnh đã có nhãn chính xác; ở đây là 128 ảnh có nhãn của COCO128, dùng YOLO26n pretrained làm model gán nhãn:

from pathlib import Path

import torch

from ultralytics import YOLO
from ultralytics.data.utils import check_det_dataset
from ultralytics.utils.metrics import box_iou
from ultralytics.utils.ops import xywhn2xyxy

data = check_det_dataset("coco128.yaml")  # 128 labeled images, downloaded on first use
images = sorted(Path(data["train"]).glob("*.jpg"))
results = YOLO("yolo26n.pt").predict(images, conf=0.05, verbose=False)  # your labeling model

def review_work(result, image, conf):
    """Return (kept, delete, draw): correct pre-labels, false positives to delete, missed objects to draw."""
    label = Path(str(image).replace("images", "labels")).with_suffix(".txt")
    lines = label.read_text().splitlines() if label.exists() else []  # no label file = background image
    gt = torch.tensor([[float(x) for x in line.split()] for line in lines]).reshape(-1, 5)
    h, w = result.orig_shape
    gt_boxes, gt_cls = xywhn2xyxy(gt[:, 1:], w=w, h=h), gt[:, 0]
    boxes = result.boxes[result.boxes.conf >= conf]
    iou = box_iou(boxes.xyxy, gt_boxes) * (boxes.cls[:, None] == gt_cls[None])  # IoU with same-class boxes only
    matched = set()
    for row in iou:  # greedily match each prediction to its best unmatched ground-truth box
        for j in row.argsort(descending=True).tolist():
            if row[j] >= 0.5 and j not in matched:
                matched.add(j)
                break
    return len(matched), len(boxes) - len(matched), len(gt) - len(matched)

print("conf  kept  delete  draw  edits/image")
for conf in (0.1, 0.25, 0.4, 0.5, 0.7):
    kept, delete, draw = (sum(t) for t in zip(*(review_work(r, i, conf) for r, i in zip(results, images))))
    print(f"{conf:<5} {kept:>4} {delete:>7} {draw:>5} {(delete + draw) / len(images):>12.1f}")

conf  kept  delete  draw  edits/image
0.1    590     490   339          6.5
0.25   468     138   461          4.7
0.4    386      58   543          4.7
0.5    328      35   601          5.0
0.7    230       6   699          5.5

Cách hoạt động và ý nghĩa kết quả:

1. Model dự đoán một lần ở mức conf=0.05 thấp; mỗi ngưỡng sau đó lọc cùng một tập dự đoán, nên việc thử nhiều ngưỡng diễn ra nhanh.
2. review_work ghép mỗi dự đoán với một box ground truth cùng class có IoU từ 0.5 trở lên. Dự đoán không được ghép là các box người rà soát sẽ xóa; ground truth không được ghép là các đối tượng người rà soát sẽ vẽ.
3. Số lần chỉnh sửa trên mỗi ảnh thấp nhất ở mức 0.25–0.4 (4.7). Thấp hơn mức đó, số lần xóa tăng vọt; cao hơn, số đối tượng bị bỏ sót tăng vọt.
4. Ngay cả ở ngưỡng tốt nhất, người rà soát vẫn phải vẽ khoảng 3.6 box mỗi ảnh vì có nhiều đối tượng nhỏ, ít phổ biến trong COCO mà model nano khó xử lý.

Quy tắc ra quyết định: chọn ngưỡng có số lần chỉnh sửa trên mỗi ảnh thấp nhất. Nếu vẽ chiếm ưu thế ở mọi ngưỡng, model gán nhãn quá yếu đối với dữ liệu; hãy dùng model lớn hơn hoặc model fine-tune của bạn. Nếu xóa vẫn chiếm ưu thế ngay cả ở mức 0.5, model nhầm lẫn các class có hình thức tương tự; hãy kiểm tra confusion matrix trước khi gán nhãn thêm. Với dự án của bạn, hãy chạy thử nhiều ngưỡng bằng model fine-tune trên 50–100 ảnh bạn đã gán nhãn.

Chạy Batch Annotation#

Batch Annotation chạy một model YOLO hoặc nhận prompt class trên toàn bộ dataset. Mở tính năng này từ More actions > Batch Annotation, hoặc chọn Annotate all trong thông báo hiện ra sau khi dự đoán bằng trình chỉnh sửa:

1. Chọn model. Dataset phát hiện sẽ mở với Moondream 3.1 được chọn; hãy chuyển sang model fine-tune hoặc model YOLO của bạn.
2. Với model YOLO, đặt confidence bằng ngưỡng bạn đã chọn sau khi thử (mặc định là 0.25) và đặt IoU (0.7), rồi kiểm tra các bản xem trước.
3. Để tắt Include annotated images để chỉ gán nhãn cho các ảnh chưa có nhãn.
4. Kiểm tra Estimated Cost ($1.00 cho mỗi 1.000 ảnh, tối thiểu $0.01), rồi nhấp vào Start.

Khi bắt đầu một lượt chạy, hệ thống sẽ lưu phiên bản dataset trước, để bạn có thể khôi phục trạng thái trước khi chạy. Stop giữ lại các ảnh đã xử lý đến thời điểm đó và tính phí cho chúng.

Rà soát rồi đo tỷ lệ chỉnh sửa#

Dự đoán được thêm dưới dạng annotation thông thường nên không có dấu hiệu nào cho biết chúng chưa được rà soát. Lọc theo class để kiểm tra các class hiếm trước, rồi sắp xếp theo Annotations tăng dần (có thể bị bỏ sót) và giảm dần (cảnh đông đúc, nơi các box có thể nhập vào nhau). Sau đó tạo một phiên bản, mở Compare versions trong tab Versions và chọn v_auto làm phiên bản From:

Theo dõi tỷ lệ chỉnh sửa của từng batch. Tỷ lệ tăng là dấu hiệu cảnh báo sớm rằng ảnh mới đã khác với dữ liệu mà model gán nhãn đã học. Bài học về các phương pháp gán nhãn tốt nhất đề cập đến hướng dẫn gán nhãn và mức độ thống nhất giữa người rà soát.

Các lỗi thường gặp#