Chọn tác vụ và lập kế hoạch pipeline

Một bức ảnh, bốn câu trả lời khác nhau#

Đặt một câu hỏi về một bức ảnh — xe buýt chiếm bao nhiêu phần khung hình và nó cách xa bao nhiêu? — rồi để bốn tác vụ Ultralytics YOLO trả lời:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
det = YOLO("yolo26n.pt")(image, verbose=False)[0]
seg = YOLO("yolo26n-seg.pt")(image, retina_masks=True, verbose=False)[0]
sem = YOLO("yolo26n-sem.pt")(image, verbose=False)[0]
depth = YOLO("yolo26n-depth.pt")(image, verbose=False)[0]
frame = det.orig_shape[0] * det.orig_shape[1]  # pixels in the photo

i = [det.names[int(c)] for c in det.boxes.cls].index("bus")
x1, y1, x2, y2 = det.boxes.xyxy[i].tolist()
print(f"detect    bus box covers   {(x2 - x1) * (y2 - y1) / frame:.1%} of the frame")

i = [seg.names[int(c)] for c in seg.boxes.cls].index("bus")
bus_mask = seg.masks.data[i].bool()  # H x W, True on bus pixels
print(f"segment   bus mask covers  {bus_mask.sum().item() / frame:.1%} of the frame")

ratios = {row["name"]: row["pixel_ratio"] for row in sem.summary()}
print(f"semantic  'train' pixels   {ratios['train']:.1%} of the frame")

meters = depth.depth.data[bus_mask].median().item()  # depth map and mask share the original size
print(f"depth     bus is about     {meters:.1f} m from the camera")

detect    bus box covers   47.7% of the frame
segment   bus mask covers  29.2% of the frame
semantic  'train' pixels   30.9% of the frame
depth     bus is about     4.5 m from the camera

Đọc lần lượt từng dòng:

• detect trả lời câu hỏi ở đâu. Box còn chứa cả mặt đường bên dưới xe buýt và bốn người đứng phía trước, nên diện tích đo được lớn hơn thực tế 63%.
• segment trả lời câu hỏi hình dạng ra sao. 29.2% là diện tích thực của xe buýt trong ảnh, con số cần dùng cho mọi quy tắc về diện tích, độ phủ hoặc độ chồng lấp.
• semantic trả lời câu hỏi pixel nào thuộc lớp nào. Diện tích gần bằng diện tích của mask, nhưng model gọi xe buýt là train: model gán nhãn bề mặt theo các lớp trong tập huấn luyện (Cityscapes, bài 4) và không bao giờ tách riêng từng phương tiện.
• depth trả lời câu hỏi cách bao xa. Độ sâu trung vị bên trong mask xe buýt là 4.5 m — kết hợp hai tác vụ để trả lời một câu hỏi mà không tác vụ nào có thể tự trả lời.

Tổng quan nhanh về bảy tác vụ#

Nền tảng Thị giác máy tính trình bày chi tiết cách chọn giữa các tác vụ — xem lại Bảy tác vụ thị giác nếu lựa chọn chưa rõ ràng. Đây là phần tóm lược thực hành cho phần còn lại của khóa học. Mọi hàng đều là một tác vụ mà package ultralytics đã cài đặt có thể huấn luyện, validation, dự đoán và xuất bằng cùng một API; tổng quan về các tác vụ là tài liệu tham khảo đầy đủ.

Bạn đã triển khai hàng đầu tiên. Các bài học 2 đến 8 hướng dẫn năm hàng ở giữa, còn các bài học 9 và 10 kết nối các hàng đó thành chuỗi rồi triển khai chúng. Hàng cuối cùng là bài toán ước lượng độ sâu đơn ảnh, dự đoán khoảng cách tính bằng mét cho từng pixel của một ảnh. Nhãn của bài toán này đến từ cảm biến độ sâu hoặc bộ kết xuất 3D thay vì từ người gán nhãn, nên bài toán này có định dạng dataset riêng; khóa học này bao gồm bài toán này ở tất cả những phần dùng chung quy trình làm việc: kế hoạch này, vòng lặp validation và bước kiểm tra export trong bài học cuối.

Mỗi lần chỉ chọn một câu hỏi#

Xem lần lượt các câu hỏi và dừng ở câu trả lời "có" đầu tiên:

Sơ đồ bao quát các trường hợp phổ biến. Bốn tiêu chí phân định sau xử lý phần lớn các trường hợp còn lại:

Tác vụ được cố định khi bạn tạo dataset — trên Ultralytics Platform, đó là trường Task Type trong hộp thoại New Dataset — vì vậy cần đưa ra lựa chọn này trước khi gán nhãn lần đầu:

Một API, bảy trường kết quả#

Mọi tác vụ đều dùng cùng một lệnh gọi; model đọc tác vụ từ file weights. Điểm khác biệt là trường nào trong kết quả được điền dữ liệu, và code của bạn sẽ đọc trường đó:

from ultralytics import YOLO

WEIGHTS = ["yolo26n.pt", "yolo26n-seg.pt", "yolo26n-sem.pt", "yolo26n-pose.pt", "yolo26n-obb.pt", "yolo26n-cls.pt", "yolo26n-depth.pt"]
FIELDS = ("boxes", "masks", "semantic_mask", "keypoints", "obb", "probs", "depth")

for weights in WEIGHTS:
    model = YOLO(weights)
    result = model("https://ultralytics.com/images/bus.jpg", verbose=False)[0]
    fields = [f for f in FIELDS if getattr(result, f) is not None]
    print(f"{weights:17s} task={model.task:9s} fields={fields}")

yolo26n.pt        task=detect    fields=['boxes']
yolo26n-seg.pt    task=segment   fields=['boxes', 'masks']
yolo26n-sem.pt    task=semantic  fields=['semantic_mask']
yolo26n-pose.pt   task=pose      fields=['boxes', 'keypoints']
yolo26n-obb.pt    task=obb       fields=['obb']
yolo26n-cls.pt    task=classify  fields=['probs']
yolo26n-depth.pt  task=depth     fields=['depth']

Kết quả segmentation và pose vẫn giữ boxes, vì vậy code detect hiện có của bạn vẫn hoạt động với chúng. Kết quả classify, semantic và depth mô tả toàn bộ ảnh và hoàn toàn không có các trường theo từng đối tượng.

Khi một model là chưa đủ#

Hầu hết hệ thống production vượt ra ngoài tác vụ detect đều có một trong ba dạng sau:

• Detect rồi classify. Detector tìm các đối tượng nhỏ trong khung hình lớn; một image classifier đưa ra phân loại chi tiết trên từng crop ở độ phân giải đầy đủ: loại mũ bảo hộ, cấp độ lỗi, mã SKU sản phẩm.
• Pose kết hợp tracking. Keypoints mô tả một khung hình; một tracker biến chúng thành chuỗi thời gian theo từng người để bạn có thể đếm số lần lặp hoặc phát hiện té ngã.
• Segment rồi đo lường. Model trả về các pixel; code thông thường chuyển chúng thành diện tích, chiều rộng, tỷ lệ độ phủ hoặc khoảng cách (khi có depth).

Nhãn cho pipeline segment rồi đo lường là một polygon cho mỗi đối tượng, như các kiện hàng trên robot kho trong trình chỉnh sửa Ultralytics Platform này:

Các lỗi thường gặp#