Выбери задачу и спланируй конвейер

Одна фотография — четыре разных ответа#

Задай один вопрос об одной фотографии — какую часть кадра занимает автобус и как далеко он находится? — и получи на него ответы от четырёх задач Ultralytics YOLO:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
det = YOLO("yolo26n.pt")(image, verbose=False)[0]
seg = YOLO("yolo26n-seg.pt")(image, retina_masks=True, verbose=False)[0]
sem = YOLO("yolo26n-sem.pt")(image, verbose=False)[0]
depth = YOLO("yolo26n-depth.pt")(image, verbose=False)[0]
frame = det.orig_shape[0] * det.orig_shape[1]  # pixels in the photo

i = [det.names[int(c)] for c in det.boxes.cls].index("bus")
x1, y1, x2, y2 = det.boxes.xyxy[i].tolist()
print(f"detect    bus box covers   {(x2 - x1) * (y2 - y1) / frame:.1%} of the frame")

i = [seg.names[int(c)] for c in seg.boxes.cls].index("bus")
bus_mask = seg.masks.data[i].bool()  # H x W, True on bus pixels
print(f"segment   bus mask covers  {bus_mask.sum().item() / frame:.1%} of the frame")

ratios = {row["name"]: row["pixel_ratio"] for row in sem.summary()}
print(f"semantic  'train' pixels   {ratios['train']:.1%} of the frame")

meters = depth.depth.data[bus_mask].median().item()  # depth map and mask share the original size
print(f"depth     bus is about     {meters:.1f} m from the camera")

detect    bus box covers   47.7% of the frame
segment   bus mask covers  29.2% of the frame
semantic  'train' pixels   30.9% of the frame
depth     bus is about     4.5 m from the camera

Разберём всё по пунктам:

• detect отвечает на вопрос где. Рамка также захватывает дорогу под автобусом и четырёх человек перед ним, поэтому площадь получается на 63% больше реальной.
• segment отвечает на вопрос какую форму имеет объект. 29,2% — это реальная площадь автобуса на изображении; это значение нужно для любых правил расчёта площади, покрытия или перекрытия.
• semantic отвечает на вопрос какие пиксели относятся к каким классам. Площадь близка к площади маски, но модель обозначает автобус как train: она присваивает поверхностям классы из обучающего набора данных (Cityscapes, урок 4) и никогда не разделяет отдельные автомобили.
• depth отвечает на вопрос как далеко. Медианная глубина внутри маски автобуса составляет 4,5 м — две задачи вместе отвечают на вопрос, на который по отдельности не отвечает ни одна из них.

Краткий обзор семи задач#

В курсе Основы компьютерного зрения подробно разбирается, как выбирать между задачами; если выбор неочевиден, вернись к разделу Семь задач компьютерного зрения. Здесь — краткое практическое повторение для остальной части курса. Каждый ряд соответствует задаче, которую установленный пакет ultralytics обучает, валидирует, запускает для предсказаний и экспортирует через один и тот же API; полное справочное описание смотри в обзоре задач.

Первую задачу ты уже используешь в продакшене. В уроках 2–8 разбираются пять следующих задач, а в уроках 9 и 10 они объединяются в цепочки и запускаются в продакшене. Последняя задача — монокулярная оценка глубины, которая предсказывает расстояние в метрах для каждого пикселя одного изображения. Для её разметки нужны датчики глубины или 3D-рендереры, а не аннотаторы, поэтому у неё собственный формат датасета; в этом курсе она включена везде, где используется общий рабочий процесс: в этом плане, цикле валидации и проверке экспорта в последнем уроке.

Рассматривай по одному вопросу за раз#

Пройди вопросы по порядку и остановись на первом ответе «да»:

Схема охватывает распространённые случаи. Для большинства остальных подойдут четыре дополнительных правила:

Задача фиксируется при создании датасета — на Ultralytics Platform это поле Task Type в окне создания нового датасета. Поэтому выбрать задачу нужно до первой разметки:

Один API, семь полей результатов#

Для всех задач используется один и тот же вызов; модель считывает свою задачу из файла весов. Меняется только то, какое поле результата заполняется, и именно его будет считывать твой код:

from ultralytics import YOLO

WEIGHTS = ["yolo26n.pt", "yolo26n-seg.pt", "yolo26n-sem.pt", "yolo26n-pose.pt", "yolo26n-obb.pt", "yolo26n-cls.pt", "yolo26n-depth.pt"]
FIELDS = ("boxes", "masks", "semantic_mask", "keypoints", "obb", "probs", "depth")

for weights in WEIGHTS:
    model = YOLO(weights)
    result = model("https://ultralytics.com/images/bus.jpg", verbose=False)[0]
    fields = [f for f in FIELDS if getattr(result, f) is not None]
    print(f"{weights:17s} task={model.task:9s} fields={fields}")

yolo26n.pt        task=detect    fields=['boxes']
yolo26n-seg.pt    task=segment   fields=['boxes', 'masks']
yolo26n-sem.pt    task=semantic  fields=['semantic_mask']
yolo26n-pose.pt   task=pose      fields=['boxes', 'keypoints']
yolo26n-obb.pt    task=obb       fields=['obb']
yolo26n-cls.pt    task=classify  fields=['probs']
yolo26n-depth.pt  task=depth     fields=['depth']

Результаты сегментации и позы содержат boxes, поэтому уже имеющийся у тебя код детекции продолжит с ними работать. Результаты классификации, семантической сегментации и оценки глубины описывают всё изображение и вообще не содержат полей для отдельных объектов.

Когда одной модели недостаточно#

Большинство производственных систем, решающих задачи помимо детекции, имеют одну из трёх архитектур:

• Сначала детекция, затем классификация. Детектор находит мелкие объекты на большом кадре; классификатор изображений анализирует каждый фрагмент в исходном разрешении и определяет его точную категорию: тип шлема, класс дефекта, артикул товара.
• Поза плюс трекинг. Ключевые точки описывают один кадр; трекер превращает их в временной ряд для каждого человека, по которому можно считать повторения упражнений или выявлять падения.
• Сначала сегментация, затем измерение. Модель возвращает пиксели, а обычный код преобразует их в площади, ширину, коэффициенты покрытия или расстояния (если использовать оценку глубины).

Для конвейера «сегментация, затем измерение» нужна разметка в виде одного полигона для каждого объекта, как на примере этих посылок на складских роботах в редакторе Ultralytics Platform:

Подводные камни#