Начни с бизнес-цели

Одностраничный план#

Пять строк отвечают на вопросы, от которых зависит каждый дальнейший шаг. В руководстве по определению целей проекта те же вопросы рассматриваются подробнее. Вот заполненный пример для склада, на который опирается этот курс:

Закрепи эту страницу там, где ее увидит вся команда. Если позже кто-то из заинтересованных сторон оспорит какой-либо пункт, сначала измени страницу и только потом набор данных.

Выбери самую простую задачу, которая отвечает на вопрос#

Задача определяет, что будут рисовать аннотаторы, а это в значительной степени определяет бюджет на разметку. Пройди по этой схеме решений и остановись на первой задаче, которая отвечает на бизнес-вопрос:

Ultralytics YOLO поддерживает семь задач. При планировании набора данных важно понимать, сколько стоит разметка для каждой задачи; подробнее они сравниваются в уроке о задачах компьютерного зрения курса Основы компьютерного зрения.

Воспринимай панель с бананами как прайс-лист: детекция уже определяет наличие, местоположение и количество, а размер и форму добавляют только две панели сегментации, причём стоимость разметки значительно выше. Если бизнесу нужно только знать, «сколько бананов», выбирай детекцию: полигоны — напрасная трата бюджета.

Опиши классы так, чтобы разметчик мог их применять#

Класс полезен только в том случае, если два разметчика одинаково размечают один и тот же объект. Опиши каждый класс одним предложением и укажи похожий объект, который в него не входит:

• forklift: механизированный вилочный погрузчик, включая вилы и мачту. Не включает ручные гидравлические тележки.
• person: любой человек, в том числе частично видимый, сидящий или находящийся в кабине автомобиля. Не включает отражения и изображения на плакатах.
• pallet: деревянный или пластиковый транспортный поддон, загруженный или пустой. Не включает штабели ящиков без основания-поддона.

Затем осознанно выбери степень детализации. Укрупнённые классы («транспортное средство») дешевле и позволяют быстрее получить результат; детализированные классы («седан», «пикап») полезнее для последующей обработки, но их сложнее размечать единообразно. Начни с того, что нужно бизнесу. Позже детализированные метки можно объединить в укрупнённые одной строкой кода, но укрупнённые метки нельзя разделить без повторной разметки.

Преврати метрику в приёмочный тест, который можно запустить#

Выбери метрику, соответствующую цене ошибки:

• Пропуск обходится дорого (безопасность, дефекты): задай порог по полноте для этого класса.
• Ложное срабатывание обходится дорого (автоматическая отбраковка деталей, оповещение сотрудников): задай порог по точности.
• Все классы одинаково важны (подсчёт, инвентаризация): задай порог по AP для каждого класса, чтобы усреднение не скрывало результаты отдельных классов.

В руководстве по метрикам производительности YOLO разобрана каждая метрика. Затем запиши тест в виде кода, чтобы вопрос «достаточно ли это хорошо?» перестал быть предметом споров. Этот скрипт можно запустить уже сейчас с предварительно обученной моделью на демонстрационном наборе COCO8, а позже — со своим чекпойнтом и отложенной выборкой:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # later: your fine-tuned runs/detect/train/weights/best.pt
metrics = model.val(data="coco8.yaml", classes=[0], verbose=False)  # 0 = person; later: your holdout YAML

precision, recall = metrics.box.mp, metrics.box.mr
print(f"person: precision={precision:.2f} recall={recall:.2f}")
print("PASS" if recall >= 0.95 and precision >= 0.85 else "FAIL: below the acceptance test")

                   all          4         10      0.939        0.8      0.848      0.387
person: precision=0.94 recall=0.80
FAIL: below the acceptance test

Что показывает каждая строка:

• classes=[0] оценивает только person, поэтому другие классы не могут завысить результат. Укажи ID своего класса безопасности.
• В строке валидатора указаны 4 изображения с 10 размеченными людьми. mp и mr — это точность и полнота при пороге уверенности, на котором они лучше всего сбалансированы (максимальный F1).
• Предварительно обученная модель COCO обнаруживает 8 из 10 человек, поэтому полнота равна 0,80: результат точный, но недостаточно надёжный. Именно для этого тест и выдаёт FAIL. В этом курсе FAIL означает, что нужно вернуться к данным, а не к гиперпараметрам.

Запиши, чего не будет делать v1#

Идеальных моделей не бывает, поэтому заранее укажи допустимые пропуски: условия, на которые ты не будешь давать гарантий (сильный туман, полная темнота), похожие объекты, которые модель может путать, и редкие классы, отложенные до v2. Этот пункт не позволит оценивать модель, достигшую целевого показателя, по негласному требованию 100% и подскажет команде по сбору данных, на что пока не стоит тратить усилия.