Xác định bản đặc tả Dataset

Vị trí của bản đặc tả#

Bản đặc tả là cầu nối giữa mục tiêu và camera. Bản đặc tả định hướng việc thu thập dữ liệu, và đây là tài liệu bạn quay lại xem khi model đầu tiên không đạt mục tiêu:

Quy trình quay lại bản đặc tả, không phải các thiết lập huấn luyện: mục tiêu không đạt thường có nghĩa là bản đặc tả đã bỏ sót một kịch bản. Hướng dẫn về các bước của một dự án CV mô tả cùng vòng đời này.

Viết từng kịch bản thành một hàng#

Một kịch bản là một tổ hợp các điều kiện ghi hình mà model phải xử lý. Các hàng có chỉ tiêu số lượng giúp nhận ra khoảng trống trước khi có ai cầm camera lên:

Kịch bản nào không thể ghi thành văn bản thì model sẽ không thấy trong quá trình huấn luyện, và chính kịch bản đó sẽ khiến model thất bại khi đưa vào sản xuất.

Xác định quy mô bản đặc tả theo mục tiêu số lượng#

Các mẹo để đạt kết quả huấn luyện tốt nhất của Ultralytics đưa ra các quy tắc kinh nghiệm cho môi trường sản xuất:

Đây là ngưỡng chuẩn cho một model dùng trong môi trường sản xuất. Vài trăm đối tượng được gán nhãn cho mỗi class là đủ để bắt đầu thử nghiệm, và model đầu tiên đó là cách nhanh nhất để tìm hiểu kịch bản nào cần thêm dữ liệu. Để biết dataset còn cách ngưỡng chuẩn bao xa, hãy đếm dữ liệu. Script này chạy trên COCO128, một phần gồm 128 ảnh của COCO được tự động tải xuống:

from collections import Counter
from pathlib import Path

from ultralytics.data.utils import IMG_FORMATS, check_det_dataset, img2label_paths

IMAGES_PER_CLASS, INSTANCES_PER_CLASS = 1500, 10_000  # Ultralytics production targets

data = check_det_dataset("coco128.yaml")  # downloads COCO128 (~7 MB) on first run; swap in your data YAML
images = [p for p in Path(data["train"]).rglob("*.*") if p.suffix[1:].lower() in IMG_FORMATS]
image_count, instance_count, background = Counter(), Counter(), 0
for label in map(Path, img2label_paths([str(p) for p in images])):
    classes = [int(r.split()[0]) for r in label.read_text().splitlines() if r.strip()] if label.exists() else []
    instance_count.update(classes)
    image_count.update(set(classes))
    background += not classes

print(f"{len(images)} images, {background} background ({background / len(images):.0%}, target 0-10%)")
print(f"{'class':>12} {'images':>7} {'instances':>10} {'of target':>10}")
ranked = instance_count.most_common()
for cls, n in ranked[:3] + ranked[-3:]:  # best and worst covered classes
    coverage = min(image_count[cls] / IMAGES_PER_CLASS, n / INSTANCES_PER_CLASS)
    print(f"{data['names'][cls]:>12} {image_count[cls]:>7} {n:>10} {coverage:>10.1%}")

never_labeled = [name for i, name in data["names"].items() if i not in instance_count]
print(f"{len(never_labeled)} classes in names with zero labels: {never_labeled[:4]} ...")

128 images, 2 background (2%, target 0-10%)
       class  images  instances  of target
      person      61        254       2.5%
         car      12         46       0.5%
         cup      10         36       0.4%
        bear       1          1       0.0%
      banana       1          1       0.0%
        skis       1          1       0.0%
9 classes in names with zero labels: ['fire hydrant', 'parking meter', 'sheep', 'cow'] ...

Cách đọc kết quả:

• Độ bao phủ là giá trị nhỏ hơn giữa tỷ lệ ảnh và tỷ lệ instance, vì một class cần đạt cả hai. Ngay cả person, class có độ bao phủ tốt nhất, cũng chỉ đạt 2.5% ngưỡng chuẩn cho sản xuất.
• Các class chỉ có một instance (bear, banana, skis) không thể được học hoặc đánh giá. Trong dataset của bạn, hãy thu thập thêm dữ liệu cho các class này hoặc loại chúng khỏi v1.
• Các class không có nhãn nào được liệt kê trong YAML nhưng không bao giờ được vẽ. Model vẫn dành năng lực để dự đoán chúng. Hãy xóa chúng khỏi names hoặc thu thập dữ liệu cho chúng trước khi huấn luyện.

Bao quát các chiều biến thiên#

Một khung hình đã có người ở gần và xa, xe đạp, một con chó và ô tô. Bản đặc tả thực tế cần chủ động lập kế hoạch cho phạm vi đó. Với mỗi chiều, hãy ghi rõ bản đặc tả có bao quát chiều đó hay không áp dụng vì lý do gì; các hàng còn trống là những kịch bản bạn sẽ chỉ phát hiện ra khi đưa vào sản xuất:

Mức độ đa dạng quan trọng hơn số lượng: 1.500 ảnh trải đều trên các hàng này có giá trị hơn 5.000 ảnh chụp từ một camera vào buổi trưa.

Lập kế hoạch cho ảnh nền và các trường hợp biên#

Ảnh nền là các khung hình không có đối tượng được gán nhãn, chẳng hạn như bến bốc dỡ trống. Chúng giúp model học rằng không có gì ở đó và giảm cảnh báo dương tính giả.

Trường hợp biên gồm che khuất nhiều, đối tượng bị cắt ở mép khung hình, hướng bất thường, đối tượng xếp chồng và các vật thể trông giống nhau, chẳng hạn như cột nâng của xe nâng bên cạnh cột thép. Hãy dành riêng một hàng chỉ tiêu cho từng trường hợp.