Наборы данных, отражающие реальность

Модели учатся на наборе данных, а не на реальном мире#

Модель интерполирует между увиденными примерами. Обучи её на городских улицах в солнечный день, а затем запусти ночью в туманном гараже — и она не справится. Не потому, что автомобили выглядят иначе, а потому, что она никогда не видела автомобили в таких условиях. Это несоответствие называется сдвигом домена, и валидация не предупредит о нём, если валидационные изображения получены из той же выборки с перекосом:

Решение — в подходе к сбору данных, а не в алгоритме: до разметки целенаправленно собирай данные в условиях эксплуатации модели. Подробности смотри в руководстве по сбору и аннотированию данных.

Аудит реального набора данных#

Набор данных medical-pills выше — крупные планы блистерных упаковок, на которых обведена каждая таблетка, — хорошо подходит для аудита. На странице набора данных Ultralytics Platform показывает основные показатели; скрипт ниже вычисляет значения, которые помогают оценить охват. Скрипт запускается на копии, входящей в состав ultralytics:

from collections import Counter
from pathlib import Path

from PIL import Image, ImageStat
from ultralytics.data.utils import check_det_dataset

data = check_det_dataset("medical-pills.yaml")  # downloads the dataset on first use

for split in ("train", "val"):
    images = sorted(Path(data[split]).glob("*.jpg"))
    labels = [Path(str(p).replace("/images/", "/labels/")).with_suffix(".txt") for p in images]
    rows = [line.split() for f in labels if f.exists() for line in f.read_text().splitlines()]
    classes = Counter(data["names"][int(r[0])] for r in rows)
    backgrounds = sum(not f.exists() or not f.read_text().strip() for f in labels)
    areas = sorted(float(r[3]) * float(r[4]) for r in rows)  # box area as a share of the image
    sizes = Counter(Image.open(p).size for p in images)
    brightness = [ImageStat.Stat(Image.open(p).convert("L")).mean[0] for p in images]
    print(f"{split}: {len(images)} images, {backgrounds} backgrounds, {dict(classes)}, sizes {dict(sizes)}")
    print(f"  boxes: median {areas[len(areas) // 2]:.1%} of the image, {sum(a < 0.01 for a in areas)} of {len(areas)} under 1%")
    print(f"  brightness: {min(brightness):.0f} to {max(brightness):.0f} (0 = black, 255 = white)")

train: 92 images, 0 backgrounds, {'pill': 1623}, sizes {(1920, 1080): 92}
  boxes: median 1.4% of the image, 320 of 1623 under 1%
  brightness: 171 to 198 (0 = black, 255 = white)
val: 23 images, 0 backgrounds, {'pill': 399}, sizes {(1920, 1080): 23}
  boxes: median 1.4% of the image, 79 of 399 under 1%
  brightness: 171 to 198 (0 = black, 255 = white)

Читай результаты как отчёт об охвате: по одному выводу в строке:

Ничего из этого не отражается в оценке на валидации, потому что валидационная выборка содержит те же пробелы.

Четыре аспекта охвата#

В примере с мариной не учли ракурс: тот же класс, но новый угол съёмки — и полнота обнаружения упала до нуля.

Трудные отрицательные примеры и фоновые изображения#

Детектор должен научиться распознавать и то, что не является целевым объектом. Трудные отрицательные примеры внешне похожи на него: для детектора вилочных погрузчиков это могут быть гидравлическая тележка, ножничный подъёмник, отражение погрузчика на полированном полу или плакат по технике безопасности с изображением погрузчика.

В формате YOLO фоновое изображение — это просто изображение без файла разметки: на нём нечего обводить. В рекомендациях по обучению Ultralytics советуют добавлять около 0–10% фоновых изображений, чтобы уменьшить количество ложных срабатываний; в COCO таких изображений около 1%. Заполни эту долю трудными отрицательными примерами из своей среды, а не случайными пустыми кадрами. Аугментация данных поможет менять яркость и угол, но не создаст гидравлическую тележку, которую модель никогда не видела.

Подводные камни#

Для плана выборки с целевым количеством примеров для каждого условия продолжай с раздела Сбор качественных и репрезентативных данных в Создании высокопроизводительных наборов данных YOLO.