Akıllı Anotasyon ve Toplu Etiketleme

Ön Etiketleme için Üç Yöntem#

Anotasyon düzenleyicisinde Draw modu (V) elle çalışır; Smart modu (S) ise modelin etiket önermesini sağlar:

SAM her nesne için bir tıklama gerektirir ve en sıkı şekilleri verir. Model tahminleri görüntü başına bir tıklamaya mal olur ve yalnızca model kadar iyidir; bu nedenle dersin geri kalanı bu modeli seçip ayarlamaya odaklanıyor.

Etiketleme Modelini Seç#

100–200 elle etiketle eğitilmiş zayıf bir v0 bile sıfırdan çizmekten iyidir; v1'e gelindiğinde genellikle yararlı bir aktif öğrenme yardımcısına dönüşür. Sınıf istemiyle çalışan modellerin başarısı alana göre büyük farklılık gösterir: günlük fotoğraflarda neredeyse her şeyi bulan bazı modeller PCB, röntgen veya perakende görüntülerindeki nesnelerin çoğunu kaçırır; bu nedenle bir modele güvenmeden önce on tahminini kontrol et.

Çözümlü Örnek: Her Eşikteki İnceleme İşini Ölç#

Güven eşiği, inceleyenlerin zamanını neye harcayacağını belirler: çok düşük olursa yanlış kutuları silerler, çok yüksek olursa modelin atladığı kutuları çizerler. Bunu, etiketleri zaten doğru olan görüntüler üzerinde ölç; burada etiketleme modeli olarak önceden eğitilmiş bir YOLO26n ile COCO128 veri kümesinin etiketli 128 görüntüsünü kullanıyoruz:

from pathlib import Path

import torch

from ultralytics import YOLO
from ultralytics.data.utils import check_det_dataset
from ultralytics.utils.metrics import box_iou
from ultralytics.utils.ops import xywhn2xyxy

data = check_det_dataset("coco128.yaml")  # 128 labeled images, downloaded on first use
images = sorted(Path(data["train"]).glob("*.jpg"))
results = YOLO("yolo26n.pt").predict(images, conf=0.05, verbose=False)  # your labeling model

def review_work(result, image, conf):
    """Return (kept, delete, draw): correct pre-labels, false positives to delete, missed objects to draw."""
    label = Path(str(image).replace("images", "labels")).with_suffix(".txt")
    lines = label.read_text().splitlines() if label.exists() else []  # no label file = background image
    gt = torch.tensor([[float(x) for x in line.split()] for line in lines]).reshape(-1, 5)
    h, w = result.orig_shape
    gt_boxes, gt_cls = xywhn2xyxy(gt[:, 1:], w=w, h=h), gt[:, 0]
    boxes = result.boxes[result.boxes.conf >= conf]
    iou = box_iou(boxes.xyxy, gt_boxes) * (boxes.cls[:, None] == gt_cls[None])  # IoU with same-class boxes only
    matched = set()
    for row in iou:  # greedily match each prediction to its best unmatched ground-truth box
        for j in row.argsort(descending=True).tolist():
            if row[j] >= 0.5 and j not in matched:
                matched.add(j)
                break
    return len(matched), len(boxes) - len(matched), len(gt) - len(matched)

print("conf  kept  delete  draw  edits/image")
for conf in (0.1, 0.25, 0.4, 0.5, 0.7):
    kept, delete, draw = (sum(t) for t in zip(*(review_work(r, i, conf) for r, i in zip(results, images))))
    print(f"{conf:<5} {kept:>4} {delete:>7} {draw:>5} {(delete + draw) / len(images):>12.1f}")

conf  kept  delete  draw  edits/image
0.1    590     490   339          6.5
0.25   468     138   461          4.7
0.4    386      58   543          4.7
0.5    328      35   601          5.0
0.7    230       6   699          5.5

Nasıl çalıştığı ve sonuçların ne anlattığı:

1. Model, düşük bir conf=0.05 değerinde bir kez tahmin üretir; ardından her eşik aynı tahminleri filtrelediğinden eşik taraması hızlıdır.
2. review_work, her tahmini aynı sınıftan ve IoU değeri en az 0.5 olan bir gerçek referans kutusuyla eşleştirir. Eşleşmeyen tahminler, inceleyenin sileceği kutulardır; eşleşmeyen gerçek referanslar ise inceleyenin çizeceği nesnelerdir.
3. Görüntü başına düzenleme sayısı 0.25–0.4 aralığında en düşük seviyeye (4.7) iner. Bunun altında silme sayısı fırlar; üstünde ise kaçırılan nesne sayısı artar.
4. En iyi eşikte bile inceleyenler görüntü başına yaklaşık 3.6 kutu çizer; çünkü COCO'daki uzun kuyruklu küçük nesneler bir nano model için zordur.

Karar kuralları: Görüntü başına en az düzenleme gerektiren eşiği seç. Her eşikte çizme baskınsa etiketleme modeli veriler için çok zayıftır; daha büyük bir model veya kendi ince ayarlı modelini kullan. Silme 0.5'te bile baskınsa model benzer görünen sınıfları karıştırıyordur; daha fazla etiketlemeden önce karışıklık matrisini kontrol et. Kendi projen için, daha önce etiketlediğin 50–100 görüntü üzerinde ince ayarlı modelinle eşik taraması yap.

Toplu Anotasyon'u Çalıştır#

Toplu Anotasyon, tüm veri kümesinde bir YOLO veya sınıf istemiyle çalışan model kullanır. Diğer işlemler > Toplu Anotasyon yoluyla açabilir veya düzenleyicide bir tahmin yaptıktan sonra çıkan bildirideki Tümünü anotasyonla seçeneğine tıklayabilirsin:

1. Modeli seç. Algılama veri kümelerinde Moondream 3.1 seçili olarak açılır; ince ayarlı modeline veya YOLO modeline geç.
2. Bir YOLO modeli için güven değerini taramada seçtiğin eşiğe (varsayılan 0.25) ve IoU değerini (0.7) ayarla; ardından örnek önizlemelerini kontrol et.
3. Yalnızca etiketsiz görüntüleri etiketlemek için Etiketli görüntüleri dahil et seçeneğini kapalı bırak.
4. Tahmini Maliyet'i (1.000 görüntü başına 1,00 ABD doları, en az 0,01 ABD doları) kontrol et ve Başlat'a tıkla.

Bir çalıştırma başlatıldığında önce veri kümesi sürümü kaydedilir; böylece çalışma öncesindeki durumu geri yükleyebilirsin. Durdur seçeneği, o ana kadar işlenen görüntüleri tutar ve ücretlendirir.

İncele, Ardından Düzenleme Oranını Ölç#

Tahminler sıradan anotasyonlar olarak kaydedilir; dolayısıyla incelenmediklerini belirten bir işaret olmaz. Önce nadir sınıfları kontrol etmek için sınıfa göre filtrele; ardından Anotasyonlar sütununa göre artan (muhtemelen kaçırılan nesneler) ve azalan (kutuların birleşebileceği kalabalık sahneler) sıralama yap. Sonra bir sürüm oluştur, Sürümler sekmesinde Sürümleri karşılaştır'ı aç ve Kaynak sürümü olarak v_auto öğesini seç:

Her toplu işlem için düzenleme oranını takip et. Oranın yükselmesi, yeni görüntülerin etiketleme modelinin bildiklerinden uzaklaştığına dair erken bir uyarıdır. Anotasyon en iyi uygulamaları dersi, etiketleme kılavuzlarını ve inceleyenler arasındaki uyumu ele alır.

Yaygın Hatalar#