Bảy tác vụ thị giác

Tổng quan nhanh về bảy tác vụ#

Đọc bảng theo cột đầu ra — đó là nội dung mà dòng đầu ra trong đặc tả của bạn phải khớp.

Có hai cặp khái niệm dễ gây nhầm lẫn. Phân đoạn đối tượng vs phân đoạn ngữ nghĩa: phân đoạn đối tượng tách riêng từng đối tượng (ba chiếc xe, ba mask); phân đoạn ngữ nghĩa chỉ gán nhãn pixel theo lớp (một vùng "xe", không đếm số lượng). Phát hiện vs OBB: cả hai đều trả về một box cho mỗi đối tượng, nhưng OBB xoay theo đối tượng; điều này quan trọng khi đối tượng nằm nghiêng trong ảnh chụp từ trên xuống.

Một API, bảy đầu ra#

Chuyển đổi tác vụ không có nghĩa là phải đổi công cụ. File weights quyết định kết quả trả về, còn đối tượng Results điền vào thuộc tính tương ứng:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
outputs = ["probs", "boxes", "masks", "semantic_mask", "depth", "keypoints", "obb"]

for suffix in ["-cls", "", "-seg", "-sem", "-depth", "-pose", "-obb"]:
    weights = f"yolo26n{suffix}.pt"
    model = YOLO(weights)
    result = model(image, verbose=False)[0]
    filled = [name for name in outputs if getattr(result, name) is not None]
    print(f"{weights:18} task={model.task:9} -> {', '.join(filled)}")

yolo26n-cls.pt     task=classify  -> probs
yolo26n.pt         task=detect    -> boxes
yolo26n-seg.pt     task=segment   -> boxes, masks
yolo26n-sem.pt     task=semantic  -> semantic_mask
yolo26n-depth.pt   task=depth     -> depth
yolo26n-pose.pt    task=pose      -> boxes, keypoints
yolo26n-obb.pt     task=obb       -> obb

Đọc cột bên phải: phân đoạn và ước tính tư thế cũng trả về box, vì chúng là phát hiện cộng thêm một thành phần. Phân đoạn ngữ nghĩa và ước tính độ sâu hoàn toàn không trả về đầu ra theo từng đối tượng — thay vào đó, chúng mô tả mọi pixel. Code phía sau của bạn chỉ đọc đúng một trong các thuộc tính này, vì vậy dòng đầu ra trong spec cần nêu rõ thuộc tính đó.

Lựa chọn trong thực tế#

Bắt đầu từ những gì một dự đoán cần mô tả, sau đó chọn tác vụ ít tốn kém nhất có thể đáp ứng yêu cầu ra quyết định:

1. Một nhãn cho toàn bộ ảnh → phân loại.
2. Một lớp cho mọi pixel, không cần tách riêng các đối tượng → phân đoạn ngữ nghĩa.
3. Một khoảng cách cho mọi pixel → ước tính độ sâu.
4. Thông tin về từng đối tượng:
   • vị trí của đối tượng, để đếm, xác định vị trí hoặc lọc → phát hiện (thêm tracking để duy trì danh tính qua các frame);
   • hình dạng, đường biên hoặc diện tích chính xác của đối tượng → phân đoạn đối tượng;
   • tư thế của đối tượng → ước tính tư thế;
   • góc xoay của đối tượng trong ảnh chụp từ trên xuống → OBB.

Khi cả hai tác vụ đều phù hợp, hãy chọn tác vụ ít tốn công gán nhãn và chạy hơn. Phát hiện là lựa chọn mặc định cho hầu hết sản phẩm: box dễ vẽ và rà soát, và khi kết hợp với tracking, chúng đã có thể hỗ trợ đếm, cảnh báo vùng và phân tích giao thông như khung cảnh đường cao tốc này:

Độ sâu: tác vụ trả lời câu hỏi "cách bao xa"#

Ước tính độ sâu trả về một bản đồ có kích thước bằng ảnh, với một khoảng cách tính bằng mét cho mỗi pixel — không có lớp hay box. Hãy dùng tác vụ này khi khoảng cách ảnh hưởng đến quyết định: robot tránh chướng ngại vật, xe giảm tốc khi có vật ở gần hoặc ước tính sơ bộ thể tích của một đống vật liệu.

from ultralytics import YOLO

model = YOLO("yolo26n-depth.pt")
result = model("https://ultralytics.com/images/bus.jpg", verbose=False)[0]

depth = result.depth.data  # meters, one value per pixel
print(f"depth map {tuple(depth.shape)}, nearest {float(depth.min()):.1f} m, farthest {float(depth.max()):.1f} m")

depth map (1080, 810), nearest 2.0 m, farthest 14.9 m

Một camera đơn ước tính độ sâu dựa trên các dấu hiệu đã học như phối cảnh và kích thước đối tượng, vì vậy hãy đo sai số trên chính khung cảnh của bạn trước khi dùng kết quả cho khoảng cách ảnh hưởng đến an toàn. Có thể kết hợp độ sâu với phát hiện: phát hiện đối tượng, sau đó đọc bản đồ độ sâu bên trong box của đối tượng.

Các lỗi thường gặp#