Умная разметка и пакетная маркировка

Три способа предварительной разметки#

В редакторе аннотаций режим Draw (V) предназначен для ручной разметки, а режим Smart (S) позволяет модели предлагать метки:

Для SAM нужен один щелчок на объект, зато она создаёт наиболее точные формы. Для предсказаний модели нужен один щелчок на изображение, а качество зависит от модели. Поэтому в оставшейся части урока мы разберём, как выбрать и настроить эту модель.

Выбери модель для разметки#

Даже слабая модель v0, обученная на 100–200 размеченных вручную изображениях, лучше разметки с нуля, а к версии v1 она обычно становится полезным партнёром в активном обучении. Результаты моделей с указанием классов сильно зависят от предметной области: некоторые модели, находящие почти все объекты на обычных фотографиях, пропускают большинство объектов на изображениях печатных плат, рентгеновских снимках или товаров в магазинах. Поэтому перед тем, как полагаться на такую модель, проверь десять её предсказаний.

Пример: измеряем объём работы по проверке для каждого порога#

Порог уверенности определяет, на что рецензенты потратят время: при слишком низком пороге они удаляют ложные рамки, а при слишком высоком — дорисовывают пропущенные моделью. Измерь это на изображениях с уже правильными метками. В примере используется 128 размеченных изображений из COCO128, а модель для разметки — предварительно обученная YOLO26n:

from pathlib import Path

import torch

from ultralytics import YOLO
from ultralytics.data.utils import check_det_dataset
from ultralytics.utils.metrics import box_iou
from ultralytics.utils.ops import xywhn2xyxy

data = check_det_dataset("coco128.yaml")  # 128 labeled images, downloaded on first use
images = sorted(Path(data["train"]).glob("*.jpg"))
results = YOLO("yolo26n.pt").predict(images, conf=0.05, verbose=False)  # your labeling model

def review_work(result, image, conf):
    """Return (kept, delete, draw): correct pre-labels, false positives to delete, missed objects to draw."""
    label = Path(str(image).replace("images", "labels")).with_suffix(".txt")
    lines = label.read_text().splitlines() if label.exists() else []  # no label file = background image
    gt = torch.tensor([[float(x) for x in line.split()] for line in lines]).reshape(-1, 5)
    h, w = result.orig_shape
    gt_boxes, gt_cls = xywhn2xyxy(gt[:, 1:], w=w, h=h), gt[:, 0]
    boxes = result.boxes[result.boxes.conf >= conf]
    iou = box_iou(boxes.xyxy, gt_boxes) * (boxes.cls[:, None] == gt_cls[None])  # IoU with same-class boxes only
    matched = set()
    for row in iou:  # greedily match each prediction to its best unmatched ground-truth box
        for j in row.argsort(descending=True).tolist():
            if row[j] >= 0.5 and j not in matched:
                matched.add(j)
                break
    return len(matched), len(boxes) - len(matched), len(gt) - len(matched)

print("conf  kept  delete  draw  edits/image")
for conf in (0.1, 0.25, 0.4, 0.5, 0.7):
    kept, delete, draw = (sum(t) for t in zip(*(review_work(r, i, conf) for r, i in zip(results, images))))
    print(f"{conf:<5} {kept:>4} {delete:>7} {draw:>5} {(delete + draw) / len(images):>12.1f}")

conf  kept  delete  draw  edits/image
0.1    590     490   339          6.5
0.25   468     138   461          4.7
0.4    386      58   543          4.7
0.5    328      35   601          5.0
0.7    230       6   699          5.5

Как это работает и что показывают результаты:

1. Модель один раз выполняет предсказание при низком значении conf=0.05; затем каждый порог фильтрует один и тот же набор предсказаний, поэтому проверка разных порогов проходит быстро.
2. review_work сопоставляет каждое предсказание с эталонной рамкой того же класса, если IoU составляет не менее 0.5. Несопоставленные предсказания — это рамки, которые рецензент удаляет; несопоставленные эталонные объекты — те, которые рецензент дорисовывает.
3. Минимум правок на изображение достигается при пороге 0.25–0.4 (4.7). Ниже этого значения резко растёт число удалений, выше — число пропусков.
4. Даже при оптимальном пороге рецензенты дорисовывают около 3.6 рамки на изображение: модели nano трудно обнаруживать мелкие объекты, составляющие длинный хвост распределения COCO.

Правила выбора: выбери порог, при котором меньше всего правок на изображение. Если при любом пороге преобладает дорисовка, модель для разметки слишком слабая для этих данных — используй более крупную модель или собственную дообученную модель. Если даже при 0.5 преобладают удаления, модель путает похожие классы — прежде чем размечать новые данные, проверь матрицу ошибок. Для собственного проекта проверь разные пороги на 50–100 уже размеченных изображениях, используя свою дообученную модель.

Запусти пакетную аннотацию#

Пакетная аннотация запускает одну модель YOLO или модель с указанием классов на всём датасете. Открой её через More actions > Batch Annotation или выбери Annotate all в уведомлении после предсказания в редакторе:

1. Выбери модель. Для датасетов обнаружения объектов по умолчанию выбирается Moondream 3.1; переключись на свою дообученную модель или модель YOLO.
2. Для модели YOLO установи выбранный по результатам проверки порог уверенности (по умолчанию — 0.25) и IoU (0.7), затем проверь примеры предсказаний.
3. Оставь параметр Include annotated images выключенным, чтобы размечать только изображения без меток.
4. Проверь Estimated Cost ($1.00 за 1 000 изображений, минимум $0.01) и нажми Start.

Перед запуском сохраняется версия датасета, поэтому ты сможешь восстановить его состояние до запуска. При нажатии Stop уже обработанные изображения сохраняются, а оплата за них списывается.

Проверь результаты и вычисли долю правок#

Предсказания сохраняются как обычные аннотации, поэтому ничто не помечает их как непроверенные. Сначала отфильтруй изображения по классу, чтобы проверить редкие классы, а затем отсортируй по Annotations по возрастанию (вероятны пропуски) и по убыванию (перегруженные сцены, где рамки сливаются). Затем создай версию, открой Compare versions на вкладке Versions и выбери v_auto в поле From:

Отслеживай долю правок для каждой партии. Её рост — ранний сигнал о том, что новые изображения отличаются от тех, с которыми знакома модель для разметки. В уроке рекомендации по аннотированию рассматриваются руководства по разметке и согласованность рецензентов.

Подводные камни#