Gán nhãn và huấn luyện model pose

Hàng nhãn keypoint#

Một hàng nhãn pose là một hàng detection có thêm keypoint. Mọi tọa độ đều được chuẩn hóa về 0–1 và keypoint xuất hiện theo cùng một thứ tự cố định trên mọi hàng. Một hàng thực tế của COCO8-pose, đã lược bớt sau bốn keypoint:

0 0.671279 0.617945 0.645759 0.726859 0.519751 0.381250 2.000000 0.550936 0.348438 2.000000 0.488565 0.367188 2.000000 0.642412 0.354687 2.000000 ...

Cờ visibility tuân theo quy ước COCO: 2 là nhìn thấy, 1 là đã gán nhãn nhưng bị che khuất, 0 là không được gán nhãn. Ultralytics loại các keypoint có v = 0 khỏi loss, để cổ tay bị thiếu không khiến model học cách dự đoán cổ tay tại (0, 0).

Hướng dẫn về tập dữ liệu pose cũng trình bày biến thể hai giá trị (x y chỉ có, kpt_shape: [K, 2]) dành cho tập dữ liệu không có thông tin visibility.

kpt_shape và flip_idx#

YAML của tập dữ liệu bổ sung hai khóa vào các khóa thông thường path, train, val và names:

kpt_shape: [17, 3] # 17 keypoints, each x, y, visibility
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

flip_idx cho phép phép tăng cường lật ngang biết mỗi keypoint sẽ trở thành keypoint nào trong ảnh phản chiếu. Khi lật gương một người, cổ tay trái (9) sẽ nằm ở vị trí cổ tay phải (10), vì vậy vị trí 9 trong flip_idx chứa giá trị 10 và vị trí 10 chứa giá trị 9; mũi (0) ánh xạ về chính nó. Mọi phép tăng cường đều dịch chuyển bộ xương cùng với các pixel; phép lật là phép duy nhất cần thêm bản đồ chỉ số:

Điều gì xảy ra khi flip_idx không đúng, được xác minh trong source đã cài đặt:

• Thiếu: quá trình huấn luyện ghi cảnh báo và đặt fliplr cùng flipud thành 0, khiến bạn mất phép tăng cường ít tốn kém nhất.
• Sai độ dài: quá trình huấn luyện dừng với một ValueError nêu rõ điểm không khớp — đây là lỗi duy nhất được báo rõ ràng.
• Đúng độ dài, sai cặp: không có cảnh báo nào. Một nửa số mẫu được lật khiến model học rằng trái là phải, còn ảnh validation cho thấy các bên trái-phải bị hoán đổi ở những pose đối xứng.

Huấn luyện trên COCO8-pose#

from ultralytics import YOLO

model = YOLO("yolo26n-pose.pt")
model.train(data="coco8-pose.yaml", epochs=1, imgsz=320, device="cpu")
metrics = model.val()
print(f"box  mAP50-95: {metrics.box.map:.3f}")
print(f"pose mAP50-95: {metrics.pose.map:.3f}")

                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)     Pose(P          R      mAP50  mAP50-95)
                   all          4         14          1      0.783      0.893      0.643      0.966      0.571      0.575      0.326
box  mAP50-95: 0.643
pose mAP50-95: 0.326

Tương tự segmentation, bảng có hai phần. Box đánh giá bounding box người; Pose đánh giá vị trí keypoint bằng Độ tương đồng điểm khóa đối tượng (OKS) trong cùng cơ chế mAP. Pose mAP50-95 là tiêu chí để phát hành sản phẩm pose — bài tiếp theo sẽ cho thấy OKS quyết định một keypoint có chính xác hay không như thế nào.

Từ keypoint đến góc khớp#

result.keypoints chứa xy (N × K × 2, pixel), xyn (đã chuẩn hóa) và conf (N × K), theo thứ tự COCO được trình bày ở trên. Góc tại một khớp là góc giữa hai vector chi đang gặp nhau tại đó — tính bằng tích vô hướng:

import numpy as np

from ultralytics import YOLO

model = YOLO("yolo26n-pose.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
kpts = result.keypoints.cpu().numpy()  # people x 17 x (x, y, conf)

SHOULDER, ELBOW, WRIST = 5, 7, 9  # left arm, COCO keypoint order
for person, (xy, conf) in enumerate(zip(kpts.xy, kpts.conf)):
    if conf[[SHOULDER, ELBOW, WRIST]].min() < 0.5:
        print(f"person {person}: left arm not visible enough")
        continue
    a, b, c = xy[SHOULDER], xy[ELBOW], xy[WRIST]
    cos = np.dot(a - b, c - b) / (np.linalg.norm(a - b) * np.linalg.norm(c - b))
    print(f"person {person}: left elbow angle {np.degrees(np.arccos(cos)):.0f} deg")

person 0: left elbow angle 71 deg
person 1: left elbow angle 96 deg
person 2: left elbow angle 59 deg
person 3: left arm not visible enough
person 4: left arm not visible enough

Từng dòng: kpts.xy[p] là 17 điểm của người p tính bằng pixel; a - b và c - b là cánh tay trên và cẳng tay, biểu diễn dưới dạng vector xuất phát từ khuỷu tay; tích vô hướng đã chuẩn hóa của hai vector là cosine của góc giữa chúng. Cánh tay duỗi thẳng cho giá trị gần 180°, còn cánh tay gập hết cho giá trị gần 30°. Người số 3 và 4 có ít nhất một khớp tay trái với độ tin cậy dưới 0.5, vì vậy script không đo các khớp đó.