アノテーションのベストプラクティス

アノテーションツールを選ぶ#

適切なツールは、タスク、チーム、トレーニングを行う場所によって異なります。

Ultralytics Platformでは、SAM 2.1、SAM 3、SAM 3.1によるスマートアノテーションを、detect、segment、semantic、OBBのデータセットで利用できます。どのツールを選ぶ場合も、タスクに必要なYOLO形式でエクスポートできることを確認してください。カスタムデータセットの準備では、ラベル形式と変換方法を説明しています。

7種類のラベル#

まずラベリングガイドを作成する#

誰かがボックスを描き始める前に、次の5つのセクションを含むガイドを作成します。

1. クラスの定義：各クラスについて、該当する例、そのクラスに該当しない類似物、境界事例を含めて1段落で説明します。
2. 描画ルール：見えているオブジェクトを囲むタイトなボックスを描き、ポリゴンは見えている輪郭に沿わせます。
3. オクルージョンとサイズのルール：部分的に隠れたオブジェクトに対する基準（「クラスを識別できるならラベルを付ける」）と、小さなオブジェクトに対する基準（「高さ10ピクセルを超える人物にラベルを付ける」）をそれぞれ1つ定め、すべての画像に適用します。
4. 曖昧なケースの記録：「これはどうする？」という質問ごとに、合意した回答とスクリーンショットを記録します。
5. 除外するもの：このタスクでラベルを付ける価値がないものをすべて記載します。

スクリーンショット付きで1～2ページあれば十分です。このガイドを基に、ラベリングを大規模に始める前に短いループを実施します。

精度を損なう10のミス#

Ultralyticsのアノテーションチームがよく目にするエラーを、フォークリフト、人物、パレットの画像を使って説明します（Alexis Schutzgerの資料を基に編集）。これらをガイドの最初の項目として活用してください。

1. オブジェクトの形状を推測して補う。見えている部分だけをアノテーションします。この例では、フォークリフトは人物と木材の山の後ろにありますが、アノテーターがトラックの残りの部分を想像し、ボックスをその両方にまたがるように引いています。見えている部分だけを囲みます。

2. ボックスの精度が低い。ボックスはオブジェクトに沿わせる必要があります。この例では、上部ガードのライトを横切っています。オブジェクトの一部を切り取るボックスや、床との間に余白を残すボックスは、誤った範囲を学習させます。

3. 類似したオブジェクトに一貫性のないルールを適用する。左側のボックスにはフォークが含まれていますが、右側のボックスには含まれていません。同じ質問に対してモデルが異なる答えを学習するため、フォークを含めるのか、含めないのか、ルールを文書化します。

4. アノテーションの漏れ。フォークリフトの横に人物が2人立っていますが、ボックスが付いているのは1人だけです。ラベルのない人物は、「人物は背景である」という学習例になります。

5. クラスの誤り。 ボックスだけでなく、クラスも確認してください。フォークリフトを正しく囲んだボックスに person のタグが付いていると、両方のクラスが誤ってしまいます。これはたいてい、キーボードショートカットの誤操作です。

6. 空のアノテーション、または余分なアノテーション。 すべてのアノテーションには、実在するオブジェクトと正しいクラスが必要です。余計なクリックをすると、ここの隅にあるような、ほぼ空のボックスが残ります。また、クラスなしで保存されたボックスは、None またはクラス0としてエクスポートされることがあります。修正するか、削除してください。

7. ボックスの重複。 1つのオブジェクトにボックスは1つです。同じフォークリフトに重なったボックスが2つあると、インスタンス数が水増しされ、モデルが重複を予測するように学習されます。

8. ガイドラインが不明確。 文書化されたルールがないと、アノテーターは独自に判断します。ここでは、あるアノテーターが運転手の頭だけを囲み、forklift クラスを付けています。運転手はフォークリフトの一部ですか、それとも別の person ですか？ガイドに一度明記して、答えを定めてください。

9. 外れ値画像。 デプロイ環境に合わない画像は除外してください。フォークリフトのデータセットに都市のスカイラインの写真を入れても役に立つ学習にはならず、ほかのすべての画像の価値を薄めてしまいます。

10. データ拡張による曖昧さ。 クロップによってクラスを定義する特徴が失われると、2つのクラスが同じに見えてしまいます。ハートのエースの隅のマークを切り取ると、unknown とラベル付けされたカードに見えます。修正方法については、データ拡張は慎重にをご覧ください。

推測せずに一致度を測定する#

キャリブレーションでは、2人のアノテーターに同じ画像を渡し、オブジェクトごとにラベルを比較します。クラスが同じで、IoUが0.5以上なら、2つのラベルは一致しています。このスクリプトは、COCO8のval画像でスコアを計算します。2人目がいなくても実行できるよう、事前学習済みモデルをアノテーターBとして使います。実際のチームで実施する場合は、Bのボックスをその人のラベルファイルから読み込んでください。

from pathlib import Path

import torch

from ultralytics import YOLO
from ultralytics.data.utils import check_det_dataset, img2label_paths
from ultralytics.utils.metrics import box_iou
from ultralytics.utils.ops import xywh2xyxy

data = check_det_dataset("coco8.yaml")
model = YOLO("yolo26n.pt")  # stands in for a second annotator; compare two label folders the same way
names = data["names"]

matched = total = 0
for image in sorted(Path(data["val"]).glob("*.jpg")):
    rows = [r.split() for r in Path(img2label_paths([str(image)])[0]).read_text().splitlines() if r.strip()]
    a_cls = torch.tensor([int(r[0]) for r in rows])  # annotator A: the dataset labels
    a_box = xywh2xyxy(torch.tensor([[float(v) for v in r[1:]] for r in rows]))
    b = model(image, conf=0.5, verbose=False)[0].boxes  # annotator B: confident model proposals
    iou = box_iou(a_box, b.xyxyn)
    used = set()
    for i in range(len(rows)):  # pair each A object with the best unused same-class B box at IoU >= 0.5
        ok = [j for j in range(len(b)) if j not in used and b.cls[j] == a_cls[i] and iou[i, j] >= 0.5]
        if ok:
            used.add(max(ok, key=lambda j: iou[i, j]))
        else:
            print(f"{image.name}: {names[int(a_cls[i])]} labeled by A only")
    for j in set(range(len(b))) - used:
        print(f"{image.name}: {names[int(b.cls[j])]} labeled by B only")
    matched += len(used)
    total += len(rows) + len(b) - len(used)

print(f"agreement: {matched}/{total} objects = {matched / total:.0%}")

000000000049.jpg: person labeled by A only
000000000049.jpg: person labeled by A only
000000000049.jpg: potted plant labeled by A only
000000000049.jpg: person labeled by A only
000000000049.jpg: person labeled by A only
000000000049.jpg: person labeled by A only
000000000061.jpg: person labeled by A only
000000000061.jpg: elephant labeled by A only
000000000061.jpg: person labeled by A only
agreement: 8/17 objects = 47%

結果の読み方：

• スコアは、一致したオブジェクト数を、どちらかのアノテーターが描いたすべてのオブジェクト数で割った値です。この例では17個中8個です。
• 不一致は集中しています。 9件すべてが2枚の画像にあり、その大半はフレームの1%にも満たない大きさの人物です。これは無関係な誤りが9件あるのではなく、ルールが1つ不足しているということです。遠くにいる人物にもラベルを付けるのか？
• 解決策はガイドへの記載です。 たとえば、「640ピクセルの画像で高さが10ピクセル以上の人物すべてにラベルを付ける」と記載します。2人のアノテーターがその2枚の画像を再ラベル付けし、スコアを再測定します。

判断基準は、一致度が90%に達した場合にのみ、ラベリングを拡大することです。 それを下回る状態では、アノテーターを増やすたびに不一致が増えていきます。

スマートアノテーションで作業を加速する#

スマートアノテーションでは、YOLOモデルやSAMがラベル候補を提案し、人が承認または修正することで、作業量を数倍に増やせます。段階的に開始します。レビュー済みのバッチで学習し、そのモデルで次のバッチのラベルを提案して、レビュー後に再学習します。これがアクティブラーニングのループです。スマートアノテーションとバッチラベリングでは、Ultralytics Platformでの手順を説明しています。

目視で確認する#

Ultralyticsのトレーニング実行では、毎回 labels.jpg と train_batch*.jpg が実行フォルダーに書き込まれます。前者はクラス数とボックスの位置・サイズをプロットし、後者はラベルを重ねた実際のトレーニング画像を表示します。最初のエポックが終わる前に開いて確認してください。メトリクスでは決して分からないことも、目視なら見つけられます。影を囲んだボックス、入れ替わったクラスID、閉じていないポリゴンなどです。