Sağlığı ve Doğruluğu İzleme

Platform Neler Gösterir#

Diğer her şeyi etkileyen iki noktayı göz önünde bulundur. Metrikler yalnızca uç nokta Ready durumundayken toplanır ve dağıtımı silmek geçmişine erişimi sonlandırır. Monitoring sekmesindeki istatistikler ve örnekler uç nokta her durduğunda, yeniden başladığında, boyutu değiştiğinde veya modeli değiştirildiğinde kaybolur: burası bir arşiv değil, canlı görünümdür.

Çalışılmış Örnek: Zamanlanmış Uç Nokta Kontrolü#

Platform, hata oranı %5'in üzerine çıktığında ilgili kartı kırmızıya çevirir ve Slack, dağıtım hazır olduğunda veya başlatılamadığında haber verebilir; ancak eşik uyarıları yoktur. Bu kontrolü cron, CI veya izleme aracından 5 dakikada bir çalıştır ve sıfır dışında bir çıkış kodunda sayfalama ile uyarı gönder:

from ultralytics_platform import Platform

OWNER, DEPLOYMENT = "your-username", "yolo26n-iowa"  # from the deployment page URL
P95_BUDGET_MS, MAX_ERROR_RATE = 300, 1.0  # errorRate is a percentage

with Platform() as client:  # reads ULTRALYTICS_API_KEY
    health = client.deployments.health(OWNER, DEPLOYMENT)
    summary = client.deployments.metrics(OWNER, DEPLOYMENT, range="1h", view="overview")["summary"]
    print(
        f"healthy={health['healthy']} requests={summary['totalRequests']} "
        f"p95={summary['p95LatencyMs']:.0f} ms errors={summary['errorRate']:.2f}%"
    )
    if not health["healthy"] or summary["p95LatencyMs"] > P95_BUDGET_MS or summary["errorRate"] > MAX_ERROR_RATE:
        for entry in client.deployments.logs(OWNER, DEPLOYMENT, severity="ERROR,WARNING", limit=5)["entries"]:
            print(entry["timestamp"], entry["severity"], entry["message"][:120])
        raise SystemExit(1)  # non-zero exit lets cron, CI, or your pager treat it as an alert

Sağlıklı bir uç nokta döndüren taklit API'ye karşı çalıştırıldığında tek satır yazdırıp 0 çıkış koduyla sonlanır; P95_BUDGET_MS = 100 ile aynı veriler 1 çıkış koduyla sonlanır:

healthy=True requests=1200 p95=180 ms errors=0.40%

• health, uç noktayı yoklar ve healthy, status ile latencyMs değerlerini döndürür. Ayrıca sıfıra kadar ölçeklenmiş bir uç noktayı uyandırır; bu nedenle 5 dakikalık zamanlama, uç noktanın sıcak kalmasını sağlayan bir yoklama işlevi de görür.
• metrics(..., view="overview"), aralık için totalRequests, errorRate (yüzde cinsinden) ve p95LatencyMs değerlerini döndürür.
• logs, en son hata ve uyarıları getirir; böylece uyarı ilk ipucuyla birlikte gelir.

SDK'yı pip install -U ultralytics-platform ile yükle (SDK için Python 3.11+ gerekir). Yalnızca devam eden ihlallerde, örneğin art arda üç kontrol başarısız olduğunda, sayfalama ile uyarı gönder ve her uyarı için tek satırlık bir çalışma kılavuzu girdisi hazırla.

Çalışılmış Örnek: Holdout ile Doğruluğu İzleme#

İstek metrikleri doğruluğu gösteremez. Holdout gösterebilir: dikkatle etiketlenmiş, üretimi gerçekçi biçimde yansıtan 200–500 görüntüyü ayrı bir özel veri kümesi sürümünde tut ve bunları hiçbir zaman eğitimde kullanma. Dağıtılmış kontrol noktasını haftalık puanla ve sonuçları bir geçmiş dosyasına ekle:

import json
import sys
from datetime import date
from pathlib import Path

from ultralytics import YOLO

DEPLOYED = "pills-v1.pt"  # the exact best.pt behind the endpoint
HOLDOUT = sys.argv[1] if len(sys.argv) > 1 else "medical-pills.yaml"  # labeled, never trained on

metrics = YOLO(DEPLOYED).val(data=HOLDOUT, split="val", plots=False, verbose=False)
history = Path("holdout_history.jsonl")
rows = [json.loads(line) for line in history.read_text().splitlines()] if history.exists() else []
row = {"date": date.today().isoformat(), "data": HOLDOUT, "map50_95": round(float(metrics.box.map), 4)}
history.write_text("".join(json.dumps(r) + "\n" for r in [*rows, row]))

baseline = rows[0]["map50_95"] if rows else row["map50_95"]
drop = baseline - row["map50_95"]
print(f"holdout mAP50-95 {row['map50_95']:.3f} (baseline {baseline:.3f}, drop {drop:+.3f})")
if drop > 0.01:  # more than 1 mAP point below the deployment-day baseline
    raise SystemExit("ALERT: holdout accuracy regressed - open the retraining runbook")

İlk çalıştırma, dağıtım günündeki başlangıç değerini kaydeder. Ardından, ihtiyaç duymadan önce uyarıyı dene: bu betik, holdout'un etiketleri ve görüntüleri aynı, parlaklığı %15 olan bir "gece vardiyası" kopyasını oluşturur:

import shutil
from pathlib import Path

import cv2

from ultralytics.data.utils import check_det_dataset

src = Path(check_det_dataset("medical-pills.yaml")["path"])
dst = Path("pills-night")
(dst / "images/val").mkdir(parents=True, exist_ok=True)
for img in (src / "images/val").glob("*.jpg"):  # darken every holdout image to mimic a dim night shift
    cv2.imwrite(str(dst / "images/val" / img.name), (cv2.imread(str(img)) * 0.15).astype("uint8"))
shutil.copytree(src / "labels/val", dst / "labels/val", dirs_exist_ok=True)  # same labels, darker pixels
Path("pills-night.yaml").write_text(f"path: {dst.resolve()}\ntrain: images/val\nval: images/val\nnames:\n  0: pill\n")
print("wrote pills-night.yaml")

$ python holdout_check.py
holdout mAP50-95 0.659 (baseline 0.659, drop +0.000)
$ python simulate_night_shift.py
wrote pills-night.yaml
$ python holdout_check.py pills-night.yaml
holdout mAP50-95 0.609 (baseline 0.659, drop +0.050)
ALERT: holdout accuracy regressed - open the retraining runbook

Gece vardiyasında her istek milisaniyeler içinde 200 yanıtı vermeyi sürdürürdü; yine de model 5 mAP puanı kaybetti. Bunu yalnızca holdout ortaya çıkarır. Holdout'u her üç ayda bir yeni etiketlenmiş üretim görüntüleriyle yenile ve yeni bir model dağıttığında başlangıç değerini sıfırla. İstatistiksel kayma testlerini model izleme kılavuzu ve Gözlemlenebilirlik ve Kayma dersi ele alır.

Kaymayı İzlemek için Monitoring Sekmesini Oku#

Dağıtım yaptığın hafta grafiklerin şeklini not et, sonra karşılaştır. Güven, doğruluğu değil kesinliği ölçer; bu nedenle grafikleri holdout ile birlikte değerlendir:

Üretim Görüntülerini Geri Besle#

Monitoring sekmesinde örnekleri seçip Save to dataset düğmesine tıkla; tahminleriyle birlikte normal veri alım sürecinden geçerler ve meta verilerinde deploymentId ile bölge bilgilerini korurlar. Agents bölümündeki Collect Uncertain Detections şablonu, aynı işlemi tüm bir veri kümesi için yapar: dağıtımını kullanarak tahmin üretir ve güven aralığında tespitler içeren görüntüleri bir inceleme veri kümesine kopyalar.

Yaygın Hatalar#