Uç Nokta Dağıt ve Çağır

Paylaşılan Çıkarım mı, Özel Uç Nokta mı?#

Her model, test için uygun olan Platform'un paylaşılan çıkarım API'si üzerinden zaten çağrılabilir. Üretim trafiği için özel uç nokta kullan:

Uç Noktayı Oluşturma ve Boyutlandırma#

Modelin Deploy sekmesini aç. Tarayıcın 42 bölgenin tamamına (Amerika'da 14, Avrupa'da 13, Asya-Pasifik'te 12, Orta Doğu ve Afrika'da 3) olan gecikmeyi ölçer ve tabloyu bu değere göre sıralar:

Sana istek gönderenlere en yakın satırdaki Deploy düğmesine tıkla, CPU, bellek, fiyat ve oluşturulan adı (ör. yolo26n-iowa) gözden geçir ve Create Deployment düğmesine tıkla. Profilindeki Deployments sekmesinden New Deployment ile de başlayabilirsin:

Trafik düzenine göre boyutlandırma:

Planlar 3 (Free), 10 (Pro) veya sınırsız (Enterprise) dağıtıma izin verir; durdurulan uç noktalar da sayıya dahildir. Rozetinde Ready yazdığında uç nokta trafiği kabul eder:

Çalışılmış Örnek: Üretim Ortamında Sorunsuz Çalışan Bir İstemci#

Her uç noktanın https://predict-<id>-<hash>-<region>.a.run.app gibi bir URL'si vardır ve bu URL /predict (POST), /health ve etkileşimli bir /docs sayfası sunar. Uç nokta yalnızca oluşturulurken bağlanan API anahtarını kabul eder; çalışma alanı sahipleri bu anahtarı dağıtımın Predict sekmesindeki Docs bölümünde, Python, JavaScript ve cURL kod parçacıklarının yanında önceden doldurulmuş olarak görür. Kod parçacıkları tek bir istek gönderir; üretim kodunun ayrıca soğuk başlangıçta ve yoğun bir örnekte de sorunsuz çalışması gerekir:

import os
import time
from collections import Counter

import httpx

URL = "https://YOUR_DEPLOYMENT_URL.run.app/predict"
HEADERS = {"Authorization": f"Bearer {os.environ['ULTRALYTICS_API_KEY']}"}  # the deployment's bound key, server-side only

def predict(client, path, conf=0.25, attempts=4):
    """POST one image; retry timeouts, 429, and 5xx with backoff; fail fast on other errors."""
    for attempt in range(attempts):
        try:
            with open(path, "rb") as f:
                r = client.post(URL, headers=HEADERS, data={"conf": conf}, files={"file": f}, timeout=90)
            if r.status_code < 400:
                return r.json()
            if r.status_code != 429 and r.status_code < 500:
                r.raise_for_status()  # 401 wrong key, 413 too large: retrying won't help
            wait, reason = float(r.headers.get("Retry-After", 2**attempt)), r.status_code
        except httpx.TimeoutException:  # a scaled-to-zero endpoint can take up to a minute to wake
            wait, reason = 2**attempt, "timeout"
        print(f"attempt {attempt + 1}: {reason}, retrying in {wait:.0f} s")
        time.sleep(wait)
    raise RuntimeError(f"endpoint still unavailable after {attempts} attempts")

with httpx.Client() as client:
    response = predict(client, "bus.jpg")
for image in response["images"]:
    counts = Counter(d["name"] for d in image["results"])
    print(f"{sum(counts.values())} objects {dict(counts)} in {image['speed']['inference']:.1f} ms")

Bunu, önce bir kez 429 yanıtı veren, ardından uç noktanın yanıt biçiminde bus.jpg için gerçek bir YOLO26n sonucu döndüren yerel bir taklit sunucusuna karşı test ettik:

attempt 1: 429, retrying in 2 s
5 objects {'bus': 1, 'person': 4} in 34.9 ms

Önemli kararların satır satır açıklaması:

• timeout=90 yaklaşık bir dakikaya kadar sürebilen soğuk başlangıcı kapsar; çoğu HTTP istemcisinin varsayılan zaman aşımı çok daha kısadır.
• 429 ve 5xx hataları yeniden denenir; uç nokta Retry-After gönderdiğinde bu değer dikkate alınır. Her uç nokta tek bir örnekten hizmet verir ve yoğun olduğunda 429 ile yükü azaltır.
• Diğer 4xx hataları anında başarısız olur: 401 yanlış anahtar, 413 ise 32 MB'tan büyük bir gövde anlamına gelir; bu iki sorun da kendiliğinden düzelmez.
• Yanıt, images içinde her görüntü (veya video karesi) için bir girdi içerir; her girdide results (class, name, confidence, box ve x1, y1, x2, y2) ile milisaniye cinsinden speed bulunur.

İsteğe bağlı form alanları conf (varsayılan 0.25), iou (0.7), imgsz (modelin eğitim boyutu), video için vid_stride ve 0–1 koordinatları için normalize=true şeklindedir. cURL karşılığı, her alan için bir satırdır:

curl -X POST "https://YOUR_DEPLOYMENT_URL.run.app/predict" \
  -H "Authorization: Bearer $ULTRALYTICS_API_KEY" \
  -F "file=@bus.jpg" -F "conf=0.25" -F "iou=0.7" -F "imgsz=640"

URL'yi Değiştirmeden Yeni Sürümleri Yayına Al#

Dağıtım sayfasındaki Replace model, aynı çalışma alanındaki tamamlanmış başka bir modeli devreye alır. Yeni model hazır olana kadar eski model hizmet vermeye devam eder; URL, bölge ve anahtar değişmez. Dağıtım başarısız olursa önceki model yayında kalır. Geri alma işlemi, önceki modeli seçerek aynı işlemi yapmaktır; bu nedenle önceki modeli projede tut. Update configuration mevcut dağıtımın boyutunu değiştirir, Stop ise faturalandırmayı duraklatır ve URL'yi korur.

Bazı değişiklikler yeni bir uç nokta gerektirir: bölgeler sabittir (taşımak için uç noktayı silip yeniden oluşturman ve yeni bir URL alman gerekir) ve özel alan adları desteklenmez. Bu nedenle, arayanların markana ait sabit bir ana makine adına ihtiyacı varsa önüne kendi ağ geçidini koy. Platform dışında çalıştırmak için modeli dışa aktar (Dağıtım için Dışa Aktar) veya Triton Inference Server arkasında kendi sunucunda barındır.

Yaygın Hatalar#