Dağıtım Hedefi Seç

Cihazdan Başla#

Çalışma zamanı alışkanlığa değil, çıkarımın nerede çalıştığına göre belirlenir. Ağacı en baştan izle ve ilk eşleşmede dur:

Her çalışma zamanı, Dışa aktarma modu içinde bir format= değerine karşılık gelir:

Yeni Apple platformlarında Apple'ın daha yeni Core AI biçimine de dışa aktarabilirsin (format=coreai, macOS 26+ Apple silicon veya x86-64 Linux'ta dışa aktarılır). Dışa aktarma konusunda yeni misin? Dağıtım için Dışa Aktarma dersi temel bilgileri ele alıyor.

Çıkarım sunucularını hiç çalıştırmak istemiyorsan Ultralytics Platform, modeli 42 bölgeden birinde özel bir uç nokta olarak dağıtır ve profilindeki Deployments sekmesi her birinin nerede çalıştığını gösterir:

Bu yol Bir Uç Noktayı Dağıtma ve Çağırma bölümünde ele alınıyor. Bu kursun geri kalanı modeli kendin çalıştırdığın durumlara yönelik.

FPS Hedefini Milisaniye Bütçesine Dönüştür#

"Gerçek zamanlı" bir gereksinim değil; bir sayı gereksinimdir. Herhangi bir şeyi kıyaslamadan önce hesapla:

Ardından şu karar kurallarını uygula:

• YOLO26n cihazın CPU'sunda model bütçeni aşıyorsa, başka bir şey yapmadan önce hızlandırıcıya (GPU, iGPU, NPU) geç veya imgsz boyutunu küçült; YOLO26 kıyaslamaları, YOLO26n için CPU ONNX'te 38.9 ms, TensorRT ile T4 üzerinde 1.7 ms değerlerini listeliyor.
• Bir cihazın birden fazla kameraya hizmet vermesi gerekiyorsa, model bütçesini kamera sayısına böl.
• Cihaz filosunda bir avuçtan fazla cihaz türü varsa, cihaza özel derleme gerektirmeyen çalışma zamanlarını tercih et veya her cihaz sınıfı için ayrı bir derleme planla.
• Çağıran kod Swift, Kotlin veya C++ ile yazılmışsa, karar vermeden önce çalışma zamanının bu dil için SDK'sını kontrol et.

Adayları Cihazda Kıyasla#

Teknik özellik belgeleri ve başkalarının kıyaslamaları başlangıç noktasıdır. Karar, dağıtım yapacağın donanımda ve ortalama değere göre değil yavaş karelere bakılarak verilir: ortanca değerde hızlı olup her yirmi kareden birinde takılan çalışma zamanı yine de kare düşürür. Bu betik her adayı dışa aktarır, gerçek bir kare üzerinde 100 çıkarımın süresini ölçer ve her birini 95. yüzdelik dilime (p95) göre değerlendirir:

from ultralytics import YOLO
from ultralytics.utils.downloads import safe_download

BUDGET_MS = 30  # the model's share of a 20 FPS frame budget
CANDIDATES = ("onnx", "openvino")  # runtimes the decision tree allows on this machine

if __name__ == "__main__":  # exports and inference can start worker processes on macOS and Windows
    frame = str(safe_download("https://ultralytics.com/images/bus.jpg"))  # use a real frame from your camera
    for fmt in CANDIDATES:
        model = YOLO(YOLO("yolo26n.pt").export(format=fmt))
        for _ in range(5):  # warm up: the first calls include one-time setup
            model(frame, verbose=False)
        runs = sorted(model(frame, verbose=False)[0].speed["inference"] for _ in range(100))
        p50, p95 = runs[49], runs[94]
        verdict = "meets" if p95 <= BUDGET_MS else "misses"
        print(f"{fmt:9s} p50 {p50:5.1f} ms  p95 {p95:5.1f} ms  {verdict} the {BUDGET_MS} ms budget")

Bu kursu test etmek için kullanılan Apple silicon dizüstü bilgisayarda, CPU'yu başka işler de kullanırken:

onnx      p50  30.0 ms  p95  46.4 ms  misses the 30 ms budget
openvino  p50  22.8 ms  p95 113.5 ms  misses the 30 ms budget

Satır satır incele:

• speed["inference"], çözme veya çizim işlemleri olmadan, modelin o kare için harcadığı süredir; bu nedenle çalışma zamanlarını adil biçimde karşılaştırır.
• OpenVINO ortanca değerde kazanıyor, p95'te ise iki kattan fazla farkla kaybediyor. Ortalamalara göre karar verseydin yoğun anlarda takılan çalışma zamanını dağıtıma çıkarırdın; p95'e göre karar verildiğinde bu makinede daha kararlı seçenek ONNX Runtime.
• İkisi de bütçeyi aşıyor; bu nedenle burada sıradaki adım başka bir CPU çalışma zamanı denemek değil, daha küçük bir imgsz kullanmak, hızlandırıcıya geçmek veya cihaz başına kamera sayısını azaltmak.

Biçimler arasında hızlı bir doğruluk ve hız taraması için Benchmark modu her biçimi dışa aktarır, doğrular ve sürelerini ölçer:

yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=onnx

Makinenin desteklediği tüm biçimleri taramak için format= değerini kaldır. COCO8'de yalnızca dört doğrulama görseli bulunur; bu nedenle mAP sütununu hızlı bir işlevsellik testi olarak değerlendir ve doğruluk kararlarında kendi veri kümesi YAML dosyanı kullan.

Yaygın Hatalar#

Uç Cihazlar Dört Soru Daha Getirir#

Raspberry Pi, NVIDIA Jetson ve Jetson'da DeepStream kılavuzlarında yaygın hedefler ayrıntılı olarak ele alınıyor. Bir uç cihazı seçmeden önce şu soruları yanıtla:

• Soğuk başlangıç: TensorRT motoru nerede derleniyor ve kim bekliyor?
• Güç ve ısı: Cihaz kasası modeli gün boyunca tam FPS'de çalıştırabilir mi?
• Bellek: Modelin yanında kare arabellekleri ve izleyici durumu için yer var mı? INT8, modelin kullandığı belleği yarıya indirir.
• Güncellemeler: Yeni bir best.pt 1.000 cihaza nasıl ulaşacak? Bir Docker görüntüsü cihazların tutarlı olmasını sağlar.