Poz Tahmini ve OBB

Poz: duruşun sinyal olduğu durumlar#

Bir poz modeli, her kişi için bir kutu ve sabit bir anahtar nokta listesi döndürür. COCO-Pose ile eğitilen modeller kişi başına 17 nokta tahmin eder: burun, gözler, kulaklar, omuzlar, dirsekler, bilekler, kalçalar, dizler ve ayak bilekleri. Bunlar her zaman aynı sıradadır; dolayısıyla 0. indeks burun, 11 sol kalça ve 15 sol ayak bileğidir. Her anahtar noktanın ayrıca bir güven değeri vardır.

En basit işe yarar kural şudur: Ayakta duran bedenin boyu eninden uzundur; yerde yatan bedenin eni boyundan uzundur. İşte otobüs görüntüsünde, yalnızca modelin emin olduğu anahtar noktalar kullanılarak uygulaması:

from ultralytics import YOLO

model = YOLO("yolo26n-pose.pt")
result = model("https://ultralytics.com/images/bus.jpg", verbose=False)[0]

for xy, conf in zip(result.keypoints.xy, result.keypoints.conf):
    visible = xy[conf > 0.5]  # drop keypoints the model couldn't see
    width = float(visible[:, 0].max() - visible[:, 0].min())
    height = float(visible[:, 1].max() - visible[:, 1].min())
    posture = "unknown" if len(visible) < 5 else "lying" if width > height else "upright"
    print(f"{len(visible):2d}/17 keypoints visible, body {width:3.0f} px wide x {height:3.0f} px tall -> {posture}")

16/17 keypoints visible, body 117 px wide x 427 px tall -> upright
 6/17 keypoints visible, body  80 px wide x 359 px tall -> upright
16/17 keypoints visible, body  91 px wide x 384 px tall -> upright
 1/17 keypoints visible, body   0 px wide x   0 px tall -> unknown
 2/17 keypoints visible, body   3 px wide x   6 px tall -> unknown

Üç kişi açıkça dik duruyor. Son iki satır, sol kenardan kesilmiş kişiyi ve güven değeri düşük bir kopyayı gösteriyor: Görünen bir ya da iki anahtar noktayla karar vermek mümkün değil; bu yüzden kural tahmin yürütmek yerine "bilinmiyor" diyor. Üretim ortamındaki bir düşme algılayıcı, takip yoluyla süreyi de hesaba katar: hızlı bir düşüşün ardından birkaç saniyeden uzun süre yerde yatmayı.

Yanıt bedenin ne yaptığına bağlı olduğunda poz kullanmak anlamlıdır: iş güvenliği için düşme veya beli bükerek yük kaldırma, sporda eklem açıları ve tekrar sayıları (örneğin antrenman takibi) ya da hayvancılıkta duruş ve özel bir anahtar nokta düzenine sahip parçalardaki sabit işaret noktaları. "Burada bir kişi var mı?" sorusunu yanıtlamak için standart nesne algılama kullan.

OBB: açının önemli olduğu durumlar#

Standart bir kutunun kenarları görüntüye paraleldir. Bir yönlendirilmiş sınırlayıcı kutu dönüş ekler; dönüş merkez, genişlik, yükseklik ve açı olarak saklanır (xywhr). Uydu, drone ve üstten bakan konveyör kameralarından alınan görüntülerde nesneler her açıda durur; çapraz bir nesnenin etrafındaki dik kutu çoğunlukla arka planı kapsar; yukarıdaki yatlarda da bu görülüyor. Bir marina drone görüntüsünde farkı ölç:

from ultralytics import YOLO

model = YOLO("yolo26n-obb.pt")
result = model("https://ultralytics.com/images/boats.jpg", verbose=False)[0]

obb = result.obb
rotated_area = obb.xywhr[:, 2] * obb.xywhr[:, 3]  # width x height of each rotated box
x1, y1, x2, y2 = obb.xyxy.T  # the axis-aligned box that would enclose the same object
upright_area = (x2 - x1) * (y2 - y1)

print(f"{len(obb)} objects, classes: {sorted({result.names[int(c)] for c in obb.cls})}")
cx, cy, w, h, angle = obb.xywhr[0].tolist()
print(f"first box: center=({cx:.0f}, {cy:.0f}) size={w:.0f}x{h:.0f} angle={angle:.2f} rad")
ratio = float((upright_area / rotated_area).median())
print(f"an axis-aligned box would be {ratio:.1f}x larger (median)")

173 objects, classes: ['harbor', 'ship']
first box: center=(619, 850) size=33x108 angle=-0.25 rad
an axis-aligned box would be 2.1x larger (median)

Dik bir kutu, aynı teknenin etrafındaki döndürülmüş kutunun yaklaşık iki katı alanı kaplar; fazladan alan sudur. Bunun iki zararı vardır: NMS, yan yana teknelerin dik kutularının üst üste geldiğini görerek gerçekte var olan tekneleri bastırabilir ve boyut tahminleri şişer. DOTA gibi hava görüntüsü veri kümeleriyle eğitilen OBB modelleri bu sahneleri doğrudan ele alır. Açının radyan cinsinden olduğunu unutma: -0.25 rad yaklaşık -14°'dir.

Nesne algılama, poz ve OBB arasında seçim#