Zustand und Genauigkeit überwachen

Was die Platform anzeigt#

Zwei Einschränkungen bestimmen alles Weitere. Metriken werden nur erfasst, während der Endpunkt Ready ist; wenn du eine Bereitstellung löschst, endet der Zugriff auf ihren Verlauf. Statistiken und Beispiele im Tab „Monitoring“ gehen verloren, wenn der Endpunkt gestoppt oder neu gestartet, seine Größe geändert oder sein Modell ersetzt wird: Es handelt sich um eine Live-Ansicht, kein Archiv.

Praxisbeispiel: Eine zeitgesteuerte Endpunktprüfung#

Die Platform färbt die Karte zur Fehlerrate bei mehr als 5 % rot, und Slack kann melden, wenn eine Bereitstellung bereit ist oder nicht startet. Grenzwertwarnungen gibt es jedoch nicht. Führe diese Prüfung alle 5 Minuten über cron, CI oder deinen Monitoring-Agenten aus und löse bei einem Fehlercode eine Benachrichtigung aus:

from ultralytics_platform import Platform

OWNER, DEPLOYMENT = "your-username", "yolo26n-iowa"  # from the deployment page URL
P95_BUDGET_MS, MAX_ERROR_RATE = 300, 1.0  # errorRate is a percentage

with Platform() as client:  # reads ULTRALYTICS_API_KEY
    health = client.deployments.health(OWNER, DEPLOYMENT)
    summary = client.deployments.metrics(OWNER, DEPLOYMENT, range="1h", view="overview")["summary"]
    print(
        f"healthy={health['healthy']} requests={summary['totalRequests']} "
        f"p95={summary['p95LatencyMs']:.0f} ms errors={summary['errorRate']:.2f}%"
    )
    if not health["healthy"] or summary["p95LatencyMs"] > P95_BUDGET_MS or summary["errorRate"] > MAX_ERROR_RATE:
        for entry in client.deployments.logs(OWNER, DEPLOYMENT, severity="ERROR,WARNING", limit=5)["entries"]:
            print(entry["timestamp"], entry["severity"], entry["message"][:120])
        raise SystemExit(1)  # non-zero exit lets cron, CI, or your pager treat it as an alert

Bei Ausführung mit einer simulierten API, die einen fehlerfreien Endpunkt zurückgibt, gibt die Prüfung eine Zeile aus und endet mit dem Code 0; bei P95_BUDGET_MS = 100 liefern dieselben Daten den Fehlercode 1:

healthy=True requests=1200 p95=180 ms errors=0.40%

• health prüft den Endpunkt und gibt healthy, status und latencyMs zurück. Außerdem weckt es einen auf null skalierten Endpunkt auf; ein Zeitplan mit 5-Minuten-Abständen dient somit auch als Ping, der den Endpunkt warm hält.
• metrics(..., view="overview") gibt totalRequests, errorRate (einen Prozentsatz) und p95LatencyMs für den Zeitraum zurück.
• logs ruft die neuesten Fehler und Warnungen ab, sodass die Benachrichtigung bereits einen ersten Hinweis enthält.

Installiere das SDK mit pip install -U ultralytics-platform (das SDK erfordert Python 3.11+). Benachrichtige nur bei anhaltenden Grenzwertüberschreitungen, zum Beispiel nach drei fehlgeschlagenen Prüfungen in Folge, und ergänze jede Benachrichtigung um einen einzeiligen Runbook-Eintrag.

Praxisbeispiel: Genauigkeit mit einem Prüfdatensatz verfolgen#

Anfragemetriken können die Genauigkeit nicht erfassen. Ein Prüfdatensatz schon: 200–500 produktionsnahe Bilder, sorgfältig gelabelt, in einer eigenen privaten Datensatzversion, die nie für das Training verwendet wurde. Bewerte den bereitgestellten Checkpoint wöchentlich und ergänze eine Verlaufsdatei:

import json
import sys
from datetime import date
from pathlib import Path

from ultralytics import YOLO

DEPLOYED = "pills-v1.pt"  # the exact best.pt behind the endpoint
HOLDOUT = sys.argv[1] if len(sys.argv) > 1 else "medical-pills.yaml"  # labeled, never trained on

metrics = YOLO(DEPLOYED).val(data=HOLDOUT, split="val", plots=False, verbose=False)
history = Path("holdout_history.jsonl")
rows = [json.loads(line) for line in history.read_text().splitlines()] if history.exists() else []
row = {"date": date.today().isoformat(), "data": HOLDOUT, "map50_95": round(float(metrics.box.map), 4)}
history.write_text("".join(json.dumps(r) + "\n" for r in [*rows, row]))

baseline = rows[0]["map50_95"] if rows else row["map50_95"]
drop = baseline - row["map50_95"]
print(f"holdout mAP50-95 {row['map50_95']:.3f} (baseline {baseline:.3f}, drop {drop:+.3f})")
if drop > 0.01:  # more than 1 mAP point below the deployment-day baseline
    raise SystemExit("ALERT: holdout accuracy regressed - open the retraining runbook")

Beim ersten Durchlauf wird der Ausgangswert vom Tag der Bereitstellung festgehalten. Probiere die Warnung anschließend aus, bevor du sie brauchst: Dieses Skript erstellt eine Kopie des Prüfdatensatzes für die „Nachtschicht“ mit denselben Labels und Bildern bei 15 % Helligkeit:

import shutil
from pathlib import Path

import cv2

from ultralytics.data.utils import check_det_dataset

src = Path(check_det_dataset("medical-pills.yaml")["path"])
dst = Path("pills-night")
(dst / "images/val").mkdir(parents=True, exist_ok=True)
for img in (src / "images/val").glob("*.jpg"):  # darken every holdout image to mimic a dim night shift
    cv2.imwrite(str(dst / "images/val" / img.name), (cv2.imread(str(img)) * 0.15).astype("uint8"))
shutil.copytree(src / "labels/val", dst / "labels/val", dirs_exist_ok=True)  # same labels, darker pixels
Path("pills-night.yaml").write_text(f"path: {dst.resolve()}\ntrain: images/val\nval: images/val\nnames:\n  0: pill\n")
print("wrote pills-night.yaml")

$ python holdout_check.py
holdout mAP50-95 0.659 (baseline 0.659, drop +0.000)
$ python simulate_night_shift.py
wrote pills-night.yaml
$ python holdout_check.py pills-night.yaml
holdout mAP50-95 0.609 (baseline 0.659, drop +0.050)
ALERT: holdout accuracy regressed - open the retraining runbook

Jede Anfrage während der Nachtschicht würde weiterhin 200 in Millisekunden zurückgeben, obwohl das Modell 5 mAP-Punkte verloren hat. Das erkennt nur der Prüfdatensatz. Aktualisiere den Prüfdatensatz vierteljährlich mit neu gelabelten Produktionsbildern und setze den Ausgangswert bei jeder Bereitstellung eines neuen Modells zurück. Der Leitfaden zur Modellüberwachung und die Lektion Beobachtbarkeit und Drift behandeln statistische Driftprüfungen.

Drift im Monitoring-Tab erkennen#

Notiere dir die Form der Diagramme in der Woche deiner Bereitstellung und vergleiche sie später. Die Konfidenz misst die Sicherheit, nicht die Korrektheit. Betrachte diese Diagramme daher gemeinsam mit dem Prüfdatensatz:

Produktionsbilder zurückführen#

Wähle im Tab „Monitoring“ Beispiele aus und klicke auf Save to dataset. Sie werden zusammen mit ihren Vorhersagen wie gewohnt eingelesen; deploymentId und die Region bleiben in ihren Metadaten erhalten. Die Vorlage Collect Uncertain Detections der Agents erledigt dasselbe für einen gesamten Datensatz: Sie führt Vorhersagen über deine Bereitstellung aus und kopiert Bilder mit Erkennungen innerhalb eines Konfidenzbereichs in einen Prüfsatz.

Stolperfallen#