Валидация и диагностика

Пример: валидация best.pt#

from ultralytics import YOLO

model = YOLO("runs/detect/pills_v1/weights/best.pt")
metrics = model.val(data="my_dataset/data.yaml")

print(f"precision {metrics.box.mp:.3f}  recall {metrics.box.mr:.3f}")
print(f"mAP50 {metrics.box.map50:.3f}  mAP50-95 {metrics.box.map:.3f}")

Реальный вывод val.py:

precision 0.970  recall 0.957
mAP50 0.977  mAP50-95 0.659

Графики сохраняются в новую папку runs/detect/val (затем val-2 и т. д.). Сравни эти значения с базовыми:

Что говорят цифры:

• Точность 0.970, полнота 0.957: баланс соблюдён. Ложных срабатываний мало, пропусков тоже.
• mAP50 0.977: при невысоких требованиях к перекрытию модель находит почти все таблетки.
• mAP50-95 0.659: при строгих требованиях к перекрытию многие рамки недостаточно точны. Такой большой разрыв указывает на проблему локализации — стоит увеличить число эпох, взять более крупный imgsz или точнее разметить данные, а не искать недостающие данные.

О компромиссе между точностью, полнотой и mAP читай в статье Как объективно оценивать метрики детекции.

Какой файл отвечает на какой вопрос#

Как читать матрицу ошибок#

Матрица ошибок — самый полезный диагностический инструмент. На графиках Ultralytics столбцы соответствуют истинным классам, а строки — предсказанным, плюс есть дополнительная строка и столбец background. В нормализованной матрице каждый столбец делится на сумму своих значений, поэтому видно, куда попали объекты каждого класса. В наборе Pills только один класс, поэтому потренируемся на этом примере со складом и тремя классами (цифры для иллюстрации):

• Диагональ: доля объектов каждого класса, распознанных верно. Поддоны — слабый класс с показателем 0.65.
• Вне диагонали: ошибки классификации. 18% настоящих поддонов модель предсказала как погрузчики, а 10% погрузчиков — как поддоны.
• Строка фона: пропуски. 17% поддонов вообще не были обнаружены.
• Столбец фона: ложноположительные срабатывания — рамки на пустом месте. В 45% таких случаев модель предсказала погрузчик.

Для каждого типа ячейки есть своё решение:

Как читать показатели по классам#

При наличии нескольких классов валидационный журнал выводит отдельную строку для каждого класса, а в metrics.box.maps хранятся значения mAP50-95 по классам для работы с кодом. Продолжим пример со складом:

                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)
                   all         50        102       0.78       0.71       0.74       0.51
              forklift         30         45       0.85       0.78       0.81       0.58
                person         40         50       0.92       0.88       0.91       0.64
                pallet          5          7       0.58       0.48       0.51       0.31

Показатель pallet намного ниже остальных, а в валидационной выборке всего 7 экземпляров этого класса. Возможно, модель плохо распознаёт поддоны, а возможно, данных для валидации слишком мало, чтобы это определить. В обоих случаях нужно сделать одно и то же: собрать больше изображений поддонов для обучения и валидации.

Изучи ошибки#

Открой рядом val_batch0_labels.jpg и val_batch0_pred.jpg. Разница между ними покажет ошибки в виде изображений, а закономерности в этих ошибках помогут поставить диагноз: пропуски у края изображения, мелкие объекты, определённое освещение или похожие объекты, которые легко спутать. Такие закономерности в наборе данных почти всегда важнее настройки гиперпараметров.

На валидационных изображениях модели для таблеток хорошо видимые таблетки получают оценку около 1.0. Рамки с низкой уверенностью, около 0.3–0.5, группируются вокруг таблеток, частично закрытых другой блистерной упаковкой, и таблеток, обрезанных краем изображения. Это не исправить настройкой conf — здесь нужно определить правила разметки. Считать ли таблетку, видимую наполовину? Реши, зафиксируй правило и размечай все изображения одинаково.

Затем открой results.png. Потери на обучении и валидации должны снижаться вместе. Если потери на обучении продолжают снижаться, а на валидации растут, модель переобучается; если оба показателя остаются высокими, модель недообучается. В обоих случаях поможет разобраться компромисс между смещением и разбросом.

При переобучении исправления по убыванию эффективности: разнообразить данные; уменьшить число эпох или использовать более строгий patience; добавить аугментацию данных (hsv_h, degrees, translate, scale, fliplr, mosaic, ...). Параметры аугментации по умолчанию уже хорошо подобраны; меняй их только при наличии причины, например отключи fliplr, если важны различия между левой и правой сторонами.

Преврати выводы в список исправлений#

Сначала исправь данные, а потом настраивай гиперпараметры; меняй по одному параметру за раз, чтобы понимать, что помогло. Работа с набором данных в этом цикле описана в статье Первая тонкая настройка и цикл итераций.

Избегай этих ошибок#