أفضل ممارسات التعليق التوضيحي

اختر أداة التعليق التوضيحي#

تعتمد الأداة المناسبة على المهمة والفريق ومكان إجراء التدريب:

في Ultralytics Platform، يعمل التعليق التوضيحي الذكي باستخدام SAM 2.1 وSAM 3 وSAM 3.1 على مجموعات بيانات الكشف والتجزئة والتجزئة الدلالية وOBB. أيًا كان اختيارك، تأكد من أنه يصدّر تنسيق YOLO الذي تتطلبه مهمتك؛ إذ يتناول إعداد مجموعة بيانات مخصصة تنسيق الوسوم وتحويلها.

أنواع الوسوم السبعة#

اكتب دليل وضع الوسوم أولًا#

قبل أن يرسم أي شخص مربعًا، اكتب دليلًا يتضمن خمسة أقسام:

1. تعريفات الفئات: فقرة واحدة لكل فئة، تتضمن أمثلة إيجابية، وأشياء مشابهة لا تنتمي إلى الفئة، وحالات حدّية.
2. قواعد الرسم: مربعات محكمة حول الكائن المرئي؛ ومضلعات تتبع المحيط المرئي.
3. قواعد الاحتجاب والحجم: حدّ واحد للكائنات الجزئية ("ضع وسمًا إذا أمكنك تحديد الفئة") وحدّ واحد للكائنات الصغيرة جدًا ("ضع وسومًا للأشخاص الذين يزيد ارتفاعهم على 10 بكسلات")، ويُطبّقان في كل الحالات.
4. سجل الحالات الملتبسة: كل سؤال من قبيل "ماذا عن هذه الحالة؟" مع الإجابة المتفق عليها ولقطة شاشة.
5. ما يجب تجاهله: كل ما لا يستحق وضع وسم له في هذه المهمة.

تكفي صفحة أو صفحتان تتضمنان لقطات شاشة. ثم يوجّه الدليل دورة قصيرة تُنفّذ قبل التوسع في وضع الوسوم:

عشرة أخطاء تقلّل الدقة#

الأخطاء الأكثر شيوعًا التي يرصدها فريق التعليق التوضيحي في Ultralytics، موضّحة بصور للرافعات الشوكية والأشخاص والمنصات النقالة (مقتبسة بتصرّف من عرض أعدّه Alexis Schutzger). استخدمها بوصفها أولى الحالات في دليلك.

1. استنتاج شكل الكائن. علّق على ما يمكنك رؤيته فقط. في هذه الصورة، تقف الرافعة الشوكية خلف شخص وكومة من الأخشاب، ومع ذلك يمتد مربعها فوقهما إلى حيث تخيّل المعلّق بقية الشاحنة. أحط الجزء المرئي بمربع.

2. مربعات غير دقيقة. يجب أن تحيط المربعات بالكائن بإحكام. يقطع هذا المربع أضواء الحاجز العلوي؛ فالمربع الذي يقتطع جزءًا من الكائن أو يترك هامشًا من الأرض يعلّم النموذج امتدادًا خاطئًا.

3. عدم اتساق القواعد مع الكائنات المتشابهة. يتضمن المربع الأيسر الشوكتين، بينما يستبعدهما المربع الأيمن. يتلقى النموذج إجابتين عن السؤال نفسه، لذا دوّن القاعدة: هل تُدرج الشوكتان أم تُستبعدان؟

4. وسوم مفقودة. يقف شخصان بجوار الرافعة الشوكية، لكن أُحيط أحدهما فقط بمربع. ويتحوّل الشخص غير الموسوم إلى درس مفاده أن "الأشخاص جزء من الخلفية".

5. الفئة الخاطئة. تحقّق من الفئة، لا من المربع فحسب. فالمربع الصحيح حول رافعة شوكية مصنّف بـ person يفسد الفئتين، وغالبًا ما يكون السبب خطأً في استخدام اختصار لوحة المفاتيح.

6. وسوم فارغة أو شاردة. يحتاج كل وسم إلى كائن حقيقي وفئة حقيقية. تؤدي نقرة شاردة إلى إنشاء مربع شبه فارغ مثل المربع الموجود في الزاوية هنا، وقد يُصدَّر المربع المحفوظ من دون فئة على أنه None أو الفئة 0. أصلح هذه الوسوم أو احذفها.

7. المربعات المكررة. كائن واحد، ومربع واحد. يؤدي وجود مربعين متداخلين حول الرافعة الشوكية نفسها إلى تضخيم عدد النماذج، وتعليم النموذج توقّع كائنات مكررة.

8. إرشادات غير واضحة. من دون قاعدة مكتوبة، يرتجل القائمون بالوسم: هنا وضع أحدهم مربعًا حول رأس السائق فقط وأسند إليه الفئة forklift. فهل السائق جزء من الرافعة الشوكية أم أنه person منفصل؟ أجب عن ذلك مرة واحدة في الدليل.

9. الصور الشاذة. استبعد الصور التي لا تتوافق مع بيئة النشر. فصورة لأفق مدينة ضمن مجموعة بيانات للرافعات الشوكية لا تقدّم أي فائدة وتضعف بقية البيانات.

10. الالتباس الناجم عن زيادة البيانات. عندما تستطيع عملية الاقتصاص إزالة السمة التي تميّز فئةً ما، تصبح فئتان متطابقتين. قصّ رمز الزاوية من آس القلوب يجعله شبيهًا بالبطاقات المصنفة unknown. يشرح استخدام زيادة البيانات بحذر طريقة معالجة ذلك.

قِس التوافق، ولا تخمّنه#

تزوّد جولة المعايرة اثنين من القائمين بالوسم بالصور نفسها، ثم تقارن بين تسمياتهما كائنًا كائنًا. يتفق وسمان عندما ينتميان إلى الفئة نفسها ويتداخلان بمقدار IoU لا يقل عن 0.5. يحسب هذا السكربت النتيجة على صور التحقق في COCO8. ولتشغيله دون الحاجة إلى شخص ثانٍ، يتولى نموذج مدرّب مسبقًا دور الموسِّم B؛ أما عند العمل مع فريق حقيقي، فاقرأ مربعات B من ملفات الوسوم الخاصة بأعضاء الفريق:

from pathlib import Path

import torch

from ultralytics import YOLO
from ultralytics.data.utils import check_det_dataset, img2label_paths
from ultralytics.utils.metrics import box_iou
from ultralytics.utils.ops import xywh2xyxy

data = check_det_dataset("coco8.yaml")
model = YOLO("yolo26n.pt")  # stands in for a second annotator; compare two label folders the same way
names = data["names"]

matched = total = 0
for image in sorted(Path(data["val"]).glob("*.jpg")):
    rows = [r.split() for r in Path(img2label_paths([str(image)])[0]).read_text().splitlines() if r.strip()]
    a_cls = torch.tensor([int(r[0]) for r in rows])  # annotator A: the dataset labels
    a_box = xywh2xyxy(torch.tensor([[float(v) for v in r[1:]] for r in rows]))
    b = model(image, conf=0.5, verbose=False)[0].boxes  # annotator B: confident model proposals
    iou = box_iou(a_box, b.xyxyn)
    used = set()
    for i in range(len(rows)):  # pair each A object with the best unused same-class B box at IoU >= 0.5
        ok = [j for j in range(len(b)) if j not in used and b.cls[j] == a_cls[i] and iou[i, j] >= 0.5]
        if ok:
            used.add(max(ok, key=lambda j: iou[i, j]))
        else:
            print(f"{image.name}: {names[int(a_cls[i])]} labeled by A only")
    for j in set(range(len(b))) - used:
        print(f"{image.name}: {names[int(b.cls[j])]} labeled by B only")
    matched += len(used)
    total += len(rows) + len(b) - len(used)

print(f"agreement: {matched}/{total} objects = {matched / total:.0%}")

000000000049.jpg: person labeled by A only
000000000049.jpg: person labeled by A only
000000000049.jpg: potted plant labeled by A only
000000000049.jpg: person labeled by A only
000000000049.jpg: person labeled by A only
000000000049.jpg: person labeled by A only
000000000061.jpg: person labeled by A only
000000000061.jpg: elephant labeled by A only
000000000061.jpg: person labeled by A only
agreement: 8/17 objects = 47%

طريقة قراءته:

• الدرجة هي عدد الكائنات المتطابقة مقسومًا على عدد كل الكائنات التي وضع أيٌّ من القائمين بالوسم مربعات حولها: 8 من أصل 17.
• تتركز حالات الاختلاف. تقع الحالات التسع كلها في صورتين، ومعظمها لأشخاص لا يشغلون سوى أقل بكثير من 1% من الإطار. ليست هذه تسعة أخطاء عشوائية، بل غياب قاعدة واحدة: هل نضع وسومًا للأشخاص البعيدين؟
• الحل هو إضافة بند إلى الدليل، مثل: «ضع وسمًا لكل شخص لا يقل ارتفاعه عن 10 بكسلات عند دقة 640 بكسل». يعيد القائمان بالوسم وضع الوسوم على هاتين الصورتين، ثم تُقاس الدرجة مجددًا.

قاعدة اتخاذ القرار: لا توسّع نطاق وضع الوسوم إلا عندما يصل التوافق إلى 90%. فما دون ذلك، يضاعف كل قائم جديد بالوسم حالات عدم الاتساق.

استخدم الوسم الذكي لتسريع العمل#

يتيح الوسم الذكي لنموذج YOLO أو SAM اقتراح وسوم يقبلها شخص أو يصححها، ما قد يضاعف الإنتاجية عدة مرات. ابدأ على مراحل: درّب النموذج على دفعة تمت مراجعتها، واستخدمه لاقتراح وسوم للدفعة التالية، ثم راجعها وأعد التدريب. هذه هي حلقة التعلّم النشط، ويشرح الوسم الذكي ووضع الوسوم على دفعات خطوات تنفيذها على Ultralytics Platform.

تحقّق بصريًا#

ينشئ كل تشغيل لتدريب Ultralytics الملفين labels.jpg وtrain_batch*.jpg في مجلد التشغيل. يعرض الأول مخططات لأعداد الفئات ومواضع المربعات وأحجامها؛ أما الآخران فيعرضان صور تدريب حقيقية مرسومة عليها وسومها. افتحهما قبل انتهاء الحقبة الأولى. تلتقط العين ما لا تستطيع المقاييس رصده: مربعات مرسومة حول الظلال، ومعرّفات فئات متبادلة، ومضلعات غير مغلقة.