Ultralytics YOLO27: Tham gia danh sách chờ.
Get Started
Mask, keypoint, box xoay và nhãn class — được gán nhãn, huấn luyện, chuyển thành số liệu và triển khai
lộ trình Thực hànhtrung cấp ~5 giờ 10 bài họcBài thi cuối khóa · Chứng chỉ

Vượt ra ngoài detection: segmentation, pose, OBB và classification

Bạn đã có thể huấn luyện detector. Ultralytics YOLO hỗ trợ bảy tác vụ thị giác, và khóa học này hướng dẫn năm tác vụ bạn thường gặp nhất sau detection — segmentation theo instance và ngữ nghĩa, pose, bounding box có hướng và classification — từ định dạng nhãn, huấn luyện đến đọc kết quả bằng code, kết hợp model, đánh giá và export theo từng tác vụ. Ước tính độ sâu, tác vụ thứ bảy, nằm trong kế hoạch tác vụ cũng như các bài học về đánh giá và export.

Bởi Ultralytics Academy

Bắt đầu khóa họcĐăng nhập để lưu tiến độ
Bạn sẽ học được gì

Chọn đúng tác vụ Ultralytics YOLO26 cho câu hỏi về sản phẩm, sau đó gán nhãn, huấn luyện, đọc kết quả, đánh giá và export các model segmentation, segmentation ngữ nghĩa, pose, OBB và classification; kết hợp chúng thành pipeline để trả lời những câu hỏi mà detector không thể giải quyết.

  • Ánh xạ câu hỏi về sản phẩm sang một trong bảy tác vụ Ultralytics YOLO, trọng số tương ứng, trường kết quả và metric dùng để quyết định.

  • Tạo và kiểm tra dataset polygon, class map PNG, keypoint, OBB bốn góc và bố cục thư mục trước khi huấn luyện.

  • Huấn luyện các model -seg, -sem, -pose, -obb và -cls, rồi đọc mAP mask, mIoU, mAP pose dựa trên OKS, mAP hộp xoay và độ chính xác top-1.

  • Biến dự đoán thành quyết định: diện tích và độ chồng lấp của mask, độ phủ bản đồ lớp, góc khớp, hướng tàu và nhãn được định tuyến theo độ tin cậy.

  • Kết hợp các tác vụ (phát hiện rồi phân loại, pose kết hợp tracking), giữ chi phí không đổi và xuất mọi tác vụ sang ONNX kèm một dự đoán đã được xác minh.

Bạn sẽ xây dựng gì

  • Một kế hoạch tác vụ nêu tên tác vụ, weights, định dạng nhãn, trường kết quả và metric kiểm soát cho từng model trong pipeline.

  • Các công cụ kiểm tra cho dataset segmentation và pose, giúp phát hiện các dòng sai định dạng trước khi tiêu tốn một giờ GPU.

  • Các lượt huấn luyện một epoch cho segmentation, semantic segmentation, pose, OBB và phân loại, kèm giải thích từng metric.

  • Các script đo diện tích và độ chồng lấp của mask, bề mặt có thể đi lại, góc khuỷu tay và đầu gối, và trục tàu từ dự đoán thực tế.

  • Một pipeline hai giai đoạn phân loại mỗi người được tracking đúng một lần, cùng các bản xuất ONNX của mọi tác vụ, mỗi bản đều được xác minh bằng một dự đoán.

Điều kiện tiên quyết

  • Hoàn thành Huấn luyện model YOLO đầu tiên — khóa học này giả định bạn có thể huấn luyện, validation và dự đoán bằng một detector.

  • Thành thạo Python và các mảng NumPy.

  • GPU sẽ hữu ích nhưng không bắt buộc: mọi ví dụ đều chạy được trên CPU của laptop với epochs=1 và một imgsz nhỏ.

Nội dung khóa học

4 mô-đun · 10 bài học

Mô-đun 1

Lập kế hoạch
1

Chọn tác vụ và lập kế hoạch pipeline

Ánh xạ từng câu hỏi về sản phẩm vào một trong bảy tác vụ Ultralytics YOLO, cùng weights, trường kết quả, định dạng nhãn và metric kiểm soát tương ứng, rồi kiểm chứng kế hoạch bằng cách chạy mọi tác vụ trên một ảnh.

Mô-đun 2

Phân đoạn
2

Gán nhãn và huấn luyện phân đoạn instance

Tạo nhãn polygon, kiểm tra bằng code, huấn luyện yolo26n-seg.pt trên COCO8-seg và chẩn đoán model dựa trên độ chênh lệch giữa metric box và mask.

3

Dùng mask trong code: diện tích, vùng chồng lấp, đường viền, phần cắt ảnh

Đọc đúng masks.data và masks.xy, đo diện tích và độ phủ của đối tượng, kiểm tra vùng chồng lấp bằng mask thay vì box, đồng thời cắt đối tượng khỏi khung hình.

4

Segmentation ngữ nghĩa: gán nhãn cho mọi pixel

Dự đoán bản đồ lớp theo từng pixel bằng yolo26n-sem.pt, chuyển bản đồ thành các số liệu về tỷ lệ phủ, tạo bộ dữ liệu bản đồ lớp PNG và đọc mIoU mà không để độ chính xác pixel đánh lừa.

Mô-đun 3

Pose và OBB
5

Gán nhãn và huấn luyện model pose

Viết nhãn keypoint kèm thông tin visibility, thiết lập chính xác kpt_shape và flip_idx, huấn luyện trên COCO8-pose, rồi chuyển keypoint thành góc khớp có áp dụng ngưỡng confidence.

6

Keypoint tùy chỉnh và chỉ số OKS

Thiết kế schema keypoint cho các đối tượng không phải người, viết và kiểm tra YAML của dataset, đồng thời thiết lập sigma OKS dựa trên độ chính xác có thể đạt được khi đặt từng điểm.

7

Bounding Box Xoay cho Đối tượng Xoay

Gán nhãn OBB bốn góc, huấn luyện yolo26n-obb.pt trên DOTA8 và chuyển dự đoán xywhr thành trục hướng ổn định mà không mắc phải các quy ước về góc.

Mô-đun 4

Phân loại, kết hợp, triển khai
8

Huấn luyện Image Classifier

Sắp xếp dataset theo thư mục, huấn luyện yolo26n-cls.pt trên MNIST160, đọc probs và độ chính xác top-1, rồi chuyển các dự đoán có độ tin cậy thấp cho người đánh giá.

9

Kết hợp các tác vụ trong một pipeline

Xây dựng cascade detect rồi classify, phân loại mỗi đối tượng được tracking một lần thay vì ở mọi frame, và chuyển keypoint pose thành chuỗi thời gian cho từng người.

10

Đánh giá và triển khai mọi tác vụ

Đặt ngưỡng cho từng tác vụ theo metric riêng ở kích thước triển khai, xác thực mọi tác vụ trong một vòng lặp và export từng tác vụ sang ONNX với dự đoán đã được xác minh.