検証と診断

実践例：best.ptを検証する#

from ultralytics import YOLO

model = YOLO("runs/detect/pills_v1/weights/best.pt")
metrics = model.val(data="my_dataset/data.yaml")

print(f"precision {metrics.box.mp:.3f}  recall {metrics.box.mr:.3f}")
print(f"mAP50 {metrics.box.map50:.3f}  mAP50-95 {metrics.box.map:.3f}")

val.py の実際の出力：

precision 0.970  recall 0.957
mAP50 0.977  mAP50-95 0.659

プロットは新しい runs/detect/val フォルダーに保存されます（続いて val-2 など）。数値をベースラインと並べて記録します。

数値が示すこと:

• Precision 0.970、recall 0.957: バランスが取れています。誤検出も見逃しも少数です。
• mAP50 0.977: 重なりの条件が緩い場合、モデルはほぼすべての錠剤を検出します。
• mAP50-95 0.659: 重なりの条件が厳しい場合、多くのボックスがぴったり合っていません。この大きな差は、データ不足ではなく、位置特定の問題を示しています。エポック数を増やす、大きなimgszを使う、またはラベルをより厳密に付けるといった対策が考えられます。

precision、recall、mAPのトレードオフについては、検出メトリクスを正しく読み解くをご覧ください。

質問への答えがわかるファイルを確認する#

混同行列を読み解く#

混同行列は、最も役立つ診断ツールです。Ultralyticsのプロットでは、列が正解クラス、行が予測クラスで、backgroundの行と列が追加されています。正規化された行列では各列をその合計で割るため、各クラスのオブジェクトがどこに分類されたかがわかります。錠剤モデルのクラスは1つだけなので、3クラスの倉庫の例（数値は説明用）で練習してみましょう。

• 対角成分: 各クラスが正しく検出された割合です。パレットは0.65で、最も性能が低いクラスです。
• 非対角成分: クラスの混同を示します。正解がパレットのデータの18%がフォークリフトと予測され、フォークリフトの10%がパレットと予測されました。
• 背景の行: 見逃しを示します。パレットの17%がまったく検出されませんでした。
• 背景の列: 空の領域にボックスが描画された誤検出を示します。そのうち45%はフォークリフトと判定されました。

各セルの種類に対応する対策は次のとおりです。

クラスごとの数値を読み解く#

クラスが複数ある場合、検証ログにはクラスごとに1行が出力され、metrics.box.mapsにはコードで使えるクラス別mAP50-95が格納されます。倉庫の例を続けます。

                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)
                   all         50        102       0.78       0.71       0.74       0.51
              forklift         30         45       0.85       0.78       0.81       0.58
                person         40         50       0.92       0.88       0.91       0.64
                pallet          5          7       0.58       0.48       0.51       0.31

palletは他のクラスを大きく下回り、検証データ内のインスタンスはわずか7件です。モデルのパレット検出が苦手なのか、判断するには検証データが少なすぎるのか、どちらかです。どちらの場合も、トレーニング用と検証用にパレットのデータをさらに収集する必要があります。

失敗例を確認する#

val_batch0_labels.jpgとval_batch0_pred.jpgを並べて開きます。違いは失敗例を画像として示しており、そこに見られるパターンが診断の手がかりになります。画像の端での見逃し、小さなオブジェクト、特定の照明条件、見た目が似た対象などです。こうしたデータセットのパターンは、ほとんどの場合、ハイパーパラメーターの調整よりも重要です。

錠剤モデルの検証画像では、はっきり見える錠剤のスコアは1.0近くです。confidenceが0.3～0.5程度の低いボックスは、別のブリスターパックの下に一部が隠れた錠剤や、画像の端で切れている錠剤に集中しています。これはconfで解消する問題ではなく、ラベリング方針の問題です。半分隠れた錠剤を対象として数えるべきでしょうか？方針を決めて明文化し、すべての画像に同じルールを適用してください。

次にresults.pngを開きます。トレーニング損失と検証損失はどちらも低下するはずです。トレーニング損失が低下し続ける一方で検証損失が上昇する場合は過学習です。どちらも高いままなら未学習です。どちらの場合も、バイアスと分散のトレードオフが判断の枠組みになります。

過学習への対策は、効果が得られる頻度が高い順に、より多様なデータ、エポック数を減らすかpatienceをより厳しくすること、そしてデータ拡張（hsv_h、degrees、translate、scale、fliplr、mosaicなど）です。データ拡張のデフォルト設定はすでに強力なので、左右の区別が重要な場合にfliplrを無効にするなど、理由がある場合にのみ変更してください。

調査結果を対策リストにまとめる#

ハイパーパラメーターを調整する前にデータを修正し、何が効果をもたらしたか把握できるよう、1回のイテレーションで変更する項目は1つにします。このループのデータセット側の作業については、初回のファインチューニングとイテレーションループで説明しています。

次の間違いに注意する#