Ước tính tư thế và OBB

Pose: khi tư thế là tín hiệu#

Model pose trả về một hộp cho mỗi người, cùng với danh sách keypoint cố định. Các model được huấn luyện trên COCO-Pose dự đoán 17 keypoint cho mỗi người — mũi, mắt, tai, vai, khuỷu tay, cổ tay, hông, đầu gối và mắt cá chân — luôn theo cùng một thứ tự, vì vậy index 0 là mũi, 11 là hông trái và 15 là mắt cá chân trái. Mỗi keypoint cũng có độ tin cậy riêng.

Quy tắc hữu ích đơn giản nhất: cơ thể đứng thẳng cao hơn rộng; cơ thể nằm trên sàn rộng hơn cao. Đây là kết quả áp dụng trên ảnh xe buýt, chỉ sử dụng những keypoint mà model có độ tin cậy cao:

from ultralytics import YOLO

model = YOLO("yolo26n-pose.pt")
result = model("https://ultralytics.com/images/bus.jpg", verbose=False)[0]

for xy, conf in zip(result.keypoints.xy, result.keypoints.conf):
    visible = xy[conf > 0.5]  # drop keypoints the model couldn't see
    width = float(visible[:, 0].max() - visible[:, 0].min())
    height = float(visible[:, 1].max() - visible[:, 1].min())
    posture = "unknown" if len(visible) < 5 else "lying" if width > height else "upright"
    print(f"{len(visible):2d}/17 keypoints visible, body {width:3.0f} px wide x {height:3.0f} px tall -> {posture}")

16/17 keypoints visible, body 117 px wide x 427 px tall -> upright
 6/17 keypoints visible, body  80 px wide x 359 px tall -> upright
16/17 keypoints visible, body  91 px wide x 384 px tall -> upright
 1/17 keypoints visible, body   0 px wide x   0 px tall -> unknown
 2/17 keypoints visible, body   3 px wide x   6 px tall -> unknown

Ba người rõ ràng đang đứng thẳng. Hai hàng cuối là người bị cắt mất một phần ở mép trái và một bản phát hiện trùng có độ tin cậy thấp: chỉ với một hoặc hai keypoint nhìn thấy được thì không thể đánh giá, nên quy tắc trả về "không xác định" thay vì đoán. Hệ thống phát hiện té ngã dùng trong thực tế sẽ bổ sung yếu tố thời gian thông qua tracking — chẳng hạn nằm lâu hơn vài giây sau khi ngã nhanh.

Pose phát huy tác dụng khi câu trả lời phụ thuộc vào hành động của cơ thể: phát hiện té ngã hoặc nâng vật với lưng cong để đảm bảo an toàn, đo góc khớp và đếm số lần tập thể thao như trong giám sát bài tập, hoặc theo dõi tư thế vật nuôi và các điểm mốc cố định trên bộ phận bằng bố cục keypoint tùy chỉnh. Để trả lời câu hỏi "có người ở đây không?", hãy dùng detection thông thường.

OBB: khi góc quan trọng#

Các cạnh của hộp thông thường song song với ảnh. Hộp giới hạn có hướng bổ sung góc xoay, được lưu dưới dạng tâm, chiều rộng, chiều cao và góc (xywhr). Trong ảnh nhìn từ trên xuống — ảnh vệ tinh, drone, camera băng chuyền nhìn từ trên cao — vật thể nằm ở nhiều góc độ, còn hộp thẳng bao quanh một vật thể nằm chéo thì chủ yếu là phông nền, như trường hợp các du thuyền phía trên. Hãy đo mức chênh lệch trên ảnh chụp từ drone tại bến du thuyền:

from ultralytics import YOLO

model = YOLO("yolo26n-obb.pt")
result = model("https://ultralytics.com/images/boats.jpg", verbose=False)[0]

obb = result.obb
rotated_area = obb.xywhr[:, 2] * obb.xywhr[:, 3]  # width x height of each rotated box
x1, y1, x2, y2 = obb.xyxy.T  # the axis-aligned box that would enclose the same object
upright_area = (x2 - x1) * (y2 - y1)

print(f"{len(obb)} objects, classes: {sorted({result.names[int(c)] for c in obb.cls})}")
cx, cy, w, h, angle = obb.xywhr[0].tolist()
print(f"first box: center=({cx:.0f}, {cy:.0f}) size={w:.0f}x{h:.0f} angle={angle:.2f} rad")
ratio = float((upright_area / rotated_area).median())
print(f"an axis-aligned box would be {ratio:.1f}x larger (median)")

173 objects, classes: ['harbor', 'ship']
first box: center=(619, 850) size=33x108 angle=-0.25 rad
an axis-aligned box would be 2.1x larger (median)

Hộp thẳng bao phủ diện tích lớn gấp khoảng hai lần hộp xoay quanh cùng một chiếc thuyền, phần diện tích dư ra là mặt nước. Điều này gây ra hai vấn đề: NMS thấy các hộp thẳng của những chiếc thuyền gần nhau chồng lấn và có thể loại bỏ các đối tượng thực, đồng thời mọi ước tính kích thước đều bị phóng đại. Các model OBB được huấn luyện trên tập dữ liệu ảnh chụp từ trên cao như DOTA xử lý trực tiếp những cảnh này. Lưu ý góc tính bằng radian: -0.25 rad tương đương khoảng -14°.

Chọn giữa detection, pose và OBB#