Étiqueter et entraîner des modèles de pose

La ligne d’étiquette des points clés#

Une ligne d’étiquette de pose est une ligne de détection à laquelle on ajoute des points clés. Chaque coordonnée est normalisée entre 0 et 1, et les points clés suivent le même ordre fixe dans chaque ligne. Voici une vraie ligne COCO8-pose, tronquée après quatre points clés :

0 0.671279 0.617945 0.645759 0.726859 0.519751 0.381250 2.000000 0.550936 0.348438 2.000000 0.488565 0.367188 2.000000 0.642412 0.354687 2.000000 ...

L’indicateur de visibilité suit la convention COCO : 2 visible, 1 étiqueté mais occulté, 0 non étiqueté. Ultralytics masque les points clés dont la valeur est v = 0 dans la fonction de perte, afin que l’absence d’un poignet n’apprenne pas au modèle à prédire les poignets en (0, 0).

Le guide sur les jeux de données de pose couvre également la variante à deux valeurs (x y uniquement, kpt_shape: [K, 2]) destinée aux jeux de données sans visibilité.

kpt_shape et flip_idx#

Le YAML du jeu de données ajoute deux clés aux clés habituelles path, train, val et names :

kpt_shape: [17, 3] # 17 keypoints, each x, y, visibility
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15]

flip_idx indique à l’augmentation par retournement horizontal quel point clé correspond à chacun dans l’image miroir. Quand on retourne une personne, son poignet gauche (9) se retrouve à la place de son poignet droit (10) ; la position 9 de flip_idx contient donc 10, et la position 10 contient 9. Le nez (0) correspond à lui-même. Chaque augmentation déplace le squelette avec les pixels, et le retournement est la seule qui nécessite aussi la table de correspondance des indices :

Que se passe-t-il lorsque flip_idx est incorrect, comme le confirme le code source installé :

• Manquant : l’entraînement affiche un avertissement et définit fliplr et flipud sur 0. Tu perds ainsi ta augmentation la moins coûteuse.
• Longueur incorrecte : l’entraînement s’arrête avec un ValueError qui signale l’incompatibilité — le seul échec explicite.
• Longueur correcte, paires incorrectes : aucun avertissement. La moitié des exemples retournés apprend au modèle que la gauche est la droite, et les images de validation montrent des inversions gauche-droite sur les poses symétriques.

Entraîner sur COCO8-pose#

from ultralytics import YOLO

model = YOLO("yolo26n-pose.pt")
model.train(data="coco8-pose.yaml", epochs=1, imgsz=320, device="cpu")
metrics = model.val()
print(f"box  mAP50-95: {metrics.box.map:.3f}")
print(f"pose mAP50-95: {metrics.pose.map:.3f}")

                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)     Pose(P          R      mAP50  mAP50-95)
                   all          4         14          1      0.783      0.893      0.643      0.966      0.571      0.575      0.326
box  mAP50-95: 0.643
pose mAP50-95: 0.326

Comme pour la segmentation, le tableau comporte deux blocs. Box évalue les boîtes des personnes ; Pose évalue le placement des points clés à l’aide de la similarité des points clés d’objet (OKS), dans le même mécanisme de mAP. La mAP50-95 de pose est le critère de validation d’un produit de pose — la prochaine leçon montre comment l’OKS détermine si un point clé est correct.

Des points clés aux angles des articulations#

result.keypoints contient xy (N × K × 2, en pixels), xyn (normalisés) et conf (N × K), dans l’ordre COCO indiqué ci-dessus. L’angle d’une articulation est l’angle entre les deux vecteurs des membres qui s’y rejoignent — un produit scalaire :

import numpy as np

from ultralytics import YOLO

model = YOLO("yolo26n-pose.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
kpts = result.keypoints.cpu().numpy()  # people x 17 x (x, y, conf)

SHOULDER, ELBOW, WRIST = 5, 7, 9  # left arm, COCO keypoint order
for person, (xy, conf) in enumerate(zip(kpts.xy, kpts.conf)):
    if conf[[SHOULDER, ELBOW, WRIST]].min() < 0.5:
        print(f"person {person}: left arm not visible enough")
        continue
    a, b, c = xy[SHOULDER], xy[ELBOW], xy[WRIST]
    cos = np.dot(a - b, c - b) / (np.linalg.norm(a - b) * np.linalg.norm(c - b))
    print(f"person {person}: left elbow angle {np.degrees(np.arccos(cos)):.0f} deg")

person 0: left elbow angle 71 deg
person 1: left elbow angle 96 deg
person 2: left elbow angle 59 deg
person 3: left arm not visible enough
person 4: left arm not visible enough

Ligne par ligne : kpts.xy[p] correspond aux 17 points en pixels de la personne p ; a - b et c - b sont les vecteurs du bras et de l’avant-bras partant du coude ; leur produit scalaire normalisé est le cosinus de l’angle qui les sépare. Un bras tendu donne une valeur proche de 180°, un bras complètement plié une valeur proche de 30°. Les personnes 3 et 4 ont au moins une articulation du bras gauche sous le seuil de confiance de 0.5, donc le script refuse de les mesurer.