Wie bleibt der KI-Dienst bei Modell- oder Serverausfällen verfügbar?

Fehlerdomänen statt doppelter Prozesse

Der Dienst wird in Schichten betrachtet: Gateway, Inferenz, Vektor- und Metadatenspeicher, Identity Provider sowie Quellsysteme. Jede Schicht erhält ein definiertes Ausfallverhalten. Mindestens 2 Inferenzinstanzen erhöhen die Verfügbarkeit nur, wenn sie nicht dieselbe einzige Stromversorgung, GPU, Maschine oder andere gemeinsame Fehlerursache teilen. Ein Load Balancer sendet neue Anfragen nur an Instanzen, deren Readiness-Prüfung erfolgreich ist.

Health-Checks müssen mehr als einen laufenden Prozess erkennen. Qdrant stellt beispielsweise /healthz, /livez und /readyz bereit; das Serving-System sollte vergleichbare Liveness- und Readiness-Signale liefern. Readiness darf erst positiv sein, wenn Modell und notwendige Ressourcen geladen sind. Sonst erhält ein frisch gestarteter, aber noch nicht nutzbarer Prozess Produktionsverkehr. Zeitlimits, begrenzte Wiederholungen und Circuit Breaker verhindern Fehlerketten.

Zustandsdaten werden passend zum RPO repliziert und zusätzlich gesichert. Qdrant weist darauf hin, dass der standardmäßige Replication Factor 1 keine zusätzliche Kopie bietet; ein Faktor 2 verdoppelt die betreffenden Datenkopien und damit den Speicherbedarf. Replikation schützt dennoch nicht vor logischem Löschen. Backup und Restore-Test bleiben erforderlich.

Bei einem Modellwechsel laufen alte und neue Version parallel. Ein Canary erhält einen kleinen, kontrollierten Teil der Last; Qualitäts-, Fehler- und Latenzmetriken entscheiden über Ausbau oder Rollback. Ein technisches Fallback kann ein kleineres geprüftes Modell, eine reine Suche oder eine klare Nichtverfügbarkeitsmeldung sein. Es darf keine scheinbar vollständige Antwort mit ungeprüfter Qualität erzeugen. Kubernetes PodDisruptionBudgets begrenzen freiwillige Unterbrechungen, schützen aber laut Dokumentation nicht vor allen unfreiwilligen Ausfällen. Deshalb werden regelmäßig Übungen für Instanz-, Knoten-, Modell- und Datenspeicherausfall durchgeführt.