Görevi Seç ve İşlem Hattını Planla

Tek fotoğraf, dört farklı yanıt#

Tek bir fotoğrafa tek bir soru sor — bu görüntünün ne kadarı otobüs ve otobüs ne kadar uzakta? — ve dört Ultralytics YOLO görevinin yanıtlamasını sağla:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
det = YOLO("yolo26n.pt")(image, verbose=False)[0]
seg = YOLO("yolo26n-seg.pt")(image, retina_masks=True, verbose=False)[0]
sem = YOLO("yolo26n-sem.pt")(image, verbose=False)[0]
depth = YOLO("yolo26n-depth.pt")(image, verbose=False)[0]
frame = det.orig_shape[0] * det.orig_shape[1]  # pixels in the photo

i = [det.names[int(c)] for c in det.boxes.cls].index("bus")
x1, y1, x2, y2 = det.boxes.xyxy[i].tolist()
print(f"detect    bus box covers   {(x2 - x1) * (y2 - y1) / frame:.1%} of the frame")

i = [seg.names[int(c)] for c in seg.boxes.cls].index("bus")
bus_mask = seg.masks.data[i].bool()  # H x W, True on bus pixels
print(f"segment   bus mask covers  {bus_mask.sum().item() / frame:.1%} of the frame")

ratios = {row["name"]: row["pixel_ratio"] for row in sem.summary()}
print(f"semantic  'train' pixels   {ratios['train']:.1%} of the frame")

meters = depth.depth.data[bus_mask].median().item()  # depth map and mask share the original size
print(f"depth     bus is about     {meters:.1f} m from the camera")

detect    bus box covers   47.7% of the frame
segment   bus mask covers  29.2% of the frame
semantic  'train' pixels   30.9% of the frame
depth     bus is about     4.5 m from the camera

Satır satır incele:

• detect, nerede sorusunu yanıtlar. Kutu, otobüsün altındaki yolu ve önünde duran dört kişiyi de içerir; bu yüzden alan hesabı %63 fazla çıkar.
• segment, şekli ne sorusunu yanıtlar. Görüntüde otobüsün kapladığı gerçek alan %29,2'dir; alan, kapsam veya örtüşme kurallarında kullanman gereken sayı budur.
• semantic, hangi piksellerin hangi sınıfa ait olduğunu yanıtlar. Alan maske alanına yakındır, ancak model otobüse train adını verir: yüzeyleri eğitim kümesindeki sınıflarla (Cityscapes, ders 4) etiketler ve araçları birbirinden ayırmaz.
• depth, ne kadar uzakta sorusunu yanıtlar. Otobüs maskesinin içindeki medyan derinlik 4,5 m'dir — tek başına hiçbirinin yanıtlayamadığı bir soruyu yanıtlamak için iki görev birleştirilmiştir.

Yedi göreve genel bakış#

Computer Vision Foundations, görevler arasında nasıl seçim yapacağını ayrıntılı olarak ele alır — seçim açık değilse Yedi Görüntü İşleme Görevi bölümünü yeniden incele. Bu, kursun geri kalanı için pratik bir özettir. Her satır, kurulu ultralytics paketinin aynı API ile eğittiği, doğruladığı, tahmin yaptığı ve dışa aktardığı bir görevi gösterir; görevlere genel bakış kapsamlı başvuru kaynağıdır.

İlk satırdaki görevi zaten kullanıma alıyorsun. 2-8. dersler ortadaki beş satırı, 9. ve 10. dersler ise bu görevlerin zincirlenmesini ve kullanıma alınmasını öğretir. Son satırdaki tek görüntülü derinlik kestirimi, tek bir görüntüdeki her piksel için metre cinsinden mesafe tahmini yapar. Etiketleri anotatörlerden değil, derinlik sensörlerinden veya 3D oluşturuculardan gelir; bu yüzden kendine özgü bir veri kümesi biçimi vardır. Bu kurs, iş akışının ortak olduğu yerlerde bu görevi de içerir: bu planda, doğrulama döngüsünde ve son dersteki dışa aktarma kontrolünde.

Her seferinde tek bir soru seç#

Soruları sırayla incele ve ilk evet yanıtında dur:

Şema yaygın durumları kapsar. Diğer durumların çoğu için dört ek ayırt edici ölçüt yeterlidir:

Veri kümesini oluşturduğunda görev sabitlenir — Ultralytics Platform'da bu, Yeni Veri Kümesi iletişim kutusundaki Görev Türü alanıdır — dolayısıyla bu seçimi ilk etiketi oluşturmadan önce yapmalısın:

Tek API, yedi sonuç alanı#

Her görev aynı çağrıyı kullanır; model görevini ağırlık dosyasından okur. Değişen, sonuçta hangi alanın doldurulduğudur ve kodunun okuyacağı alan da budur:

from ultralytics import YOLO

WEIGHTS = ["yolo26n.pt", "yolo26n-seg.pt", "yolo26n-sem.pt", "yolo26n-pose.pt", "yolo26n-obb.pt", "yolo26n-cls.pt", "yolo26n-depth.pt"]
FIELDS = ("boxes", "masks", "semantic_mask", "keypoints", "obb", "probs", "depth")

for weights in WEIGHTS:
    model = YOLO(weights)
    result = model("https://ultralytics.com/images/bus.jpg", verbose=False)[0]
    fields = [f for f in FIELDS if getattr(result, f) is not None]
    print(f"{weights:17s} task={model.task:9s} fields={fields}")

yolo26n.pt        task=detect    fields=['boxes']
yolo26n-seg.pt    task=segment   fields=['boxes', 'masks']
yolo26n-sem.pt    task=semantic  fields=['semantic_mask']
yolo26n-pose.pt   task=pose      fields=['boxes', 'keypoints']
yolo26n-obb.pt    task=obb       fields=['obb']
yolo26n-cls.pt    task=classify  fields=['probs']
yolo26n-depth.pt  task=depth     fields=['depth']

Segmentasyon ve pose sonuçları boxes alanını korur; böylece mevcut tespit kodun bunlarla çalışmaya devam eder. Sınıflandırma, anlamsal segmentasyon ve derinlik sonuçları görüntünün tamamını tanımlar ve nesne başına hiçbir alan içermez.

Tek bir model yeterli olmadığında#

Tespitin ötesine geçen üretim sistemlerinin çoğu üç biçimden birini alır:

• Önce tespit, sonra sınıflandırma. Dedektör büyük bir görüntüdeki küçük nesneleri bulur; bir görüntü sınıflandırıcı, tam çözünürlüklü her kırpım için ayrıntılı bir karar verir: kask türü, kusur derecesi, ürün SKU'su.
• Pose ve takip. Anahtar noktalar tek bir kareyi tanımlar; bir takipçi bunları, tekrarları sayabileceğin veya düşmeleri tespit edebileceğin, kişi başına bir zaman serisine dönüştürür.
• Önce segmentasyon, sonra ölçüm. Model pikselleri döndürür; basit kod bunları alanlara, genişliklere, kapsama oranlarına veya (derinlikle birlikte) mesafelere dönüştürür.

Segmentasyon-sonra-ölçüm işlem hattının etiketleri, Ultralytics Platform düzenleyicisindeki depo robotlarının üzerindeki bu paketlerde olduğu gibi nesne başına bir çokgendir:

Yaygın Hatalar#