ビジネス目標から始める

1ページの目標#

後続のすべてのステップの前提となる問いに、5つの行で答えます。プロジェクト目標の定義のガイドでは、同じ内容をより詳しく解説しています。以下は、このコースで使用する倉庫の記入例です。

チーム全員が確認できる場所にこのページを掲示します。後から関係者が項目に異議を唱えた場合は、データセットより先にページを変更します。

問いに答えられる最もシンプルなタスクを選ぶ#

タスクによってアノテーターが描くものが決まり、それがラベリング予算の大部分を左右します。この判断ツリーを順にたどり、ビジネス上の問いに答えられる最初のタスクで止めます。

Ultralytics YOLOは7つのタスクに対応しています。データセットの計画で重要なのは、それぞれのラベル付けにどれほどのコストがかかるかです。Computer Vision Foundationsでは、ビジョンタスクのレッスンで各タスクを詳しく比較しています。

バナナの図を価格表のように見てください。検出だけで存在、位置、個数がわかり、大きさと形状が加わるのは2つのセグメンテーションの図だけですが、アノテーションコストは大幅に高くなります。ビジネス上の要件が「バナナはいくつあるか」だけなら、検出で十分です。ポリゴンは予算の無駄になります。

アノテーターが適用できるクラスを定義します#

2人のアノテーターが同じオブジェクトに同じラベルを付けられる場合に限り、そのクラスは有用です。各クラスについて、紛らわしい対象のうち何を含めないかを明記した一文の定義を書きます。

• forklift：フォークとマストを含む動力式フォークリフトです。ハンドパレットトラックは含みません。
• person：一部が見えている人、座っている人、車両の運転席内にいる人を含む、あらゆる人です。反射像とポスターは含みません。
• pallet：積載状態や空の状態を問わない、木製またはプラスチック製の輸送用パレットです。パレットの土台がない積み重ねたコンテナは含みません。

次に、粒度を意図的に選びます。「車両」のような粗いクラスはコストが低く、収束も速くなります。「セダン」「ピックアップ」のような細かいクラスは後工程で役立ちますが、一貫性を保つのが難しくなります。まずはビジネス上の要件に合わせてください。細かいラベルは後から1行のコードで粗いクラスに統合できますが、粗いラベルを分割するには再ラベリングが必要です。

指標を実行可能な受け入れテストに変えます#

ミスのコストに合った指標を選びます。

• 見逃しのコストが高い（安全、欠陥）：そのクラスの再現率を合格基準にします。
• 誤検知のコストが高い（部品の自動却下、スタッフへの通知）：適合率を合格基準にします。
• すべてのクラスを同等に重視する（カウント、在庫管理）：クラスごとのAPを合格基準にし、平均値の陰に隠れるクラスがないようにします。

YOLOの性能指標ガイドでは、各指標を解説しています。次に、「十分な性能か」という問いが議論にならないよう、テストをコードで記述します。このスクリプトは、事前学習済みモデルを使ってCOCO8のデモデータセットで今すぐ実行でき、後で独自のチェックポイントとホールドアウトデータにも使えます。

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # later: your fine-tuned runs/detect/train/weights/best.pt
metrics = model.val(data="coco8.yaml", classes=[0], verbose=False)  # 0 = person; later: your holdout YAML

precision, recall = metrics.box.mp, metrics.box.mr
print(f"person: precision={precision:.2f} recall={recall:.2f}")
print("PASS" if recall >= 0.95 and precision >= 0.85 else "FAIL: below the acceptance test")

                   all          4         10      0.939        0.8      0.848      0.387
person: precision=0.94 recall=0.80
FAIL: below the acceptance test

各行でわかること：

• classes=[0]はpersonだけを評価するため、ほかのクラスの結果でスコアが底上げされることはありません。安全性に関わる独自のクラスIDを使用してください。
• 検証結果の行には、4枚の画像とラベル付けされた10人が表示されます。mpとmrは、適合率と再現率のバランスが最もよい信頼度しきい値（F1最大値）での適合率と再現率です。
• COCOで事前学習したモデルは10人中8人を検出するため、再現率は0.80です。適合率は高いものの、安全性の要件を満たすには不十分です。このFAILこそがテストの役割です。このコースでは、FAILになった場合はハイパーパラメーターではなくデータを見直します。

v1で対応しないことを書き出します#

完璧なモデルはないため、許容できる見逃しをあらかじめ明確にします。保証しない条件（濃霧、完全な暗闇）、混同しても許容する類似対象、v2まで対応を見送るロングテールクラスを挙げてください。この行があれば、目標を達成したモデルが明文化されていない100%基準で評価されるのを防げます。また、現時点で収集チームが労力をかける必要のない対象も明確になります。