Fachwissen für digitale Entscheidungen
Womit betreibt man ein Sprachmodell im eigenen Haus?
Kurzantwort
Die zwei üblichen Wege
Ollama. Installation in Minuten, Modelle werden per Befehl geladen. Ideal zum Ausprobieren und für einzelne Nutzer. Bei vielen gleichzeitigen Anfragen stösst es an Grenzen.
vLLM. Für den Serverbetrieb gebaut. Bündelt Anfragen und nutzt den Grafikspeicher effizienter – dadurch deutlich höhere Durchsatzleistung. Aufwendiger einzurichten.
Warum die OpenAI-kompatible Schnittstelle wichtig ist
Beide stellen eine Schnittstelle bereit, die derjenigen kommerzieller Anbieter ähnelt. Damit lässt sich eine Anwendung ohne Umbau zwischen eigenem Server und Cloud umschalten – hilfreich beim Vergleich und als Rückfallweg.
Der übliche Weg
- Mit Ollama auf einem vorhandenen Rechner ausprobieren
- An echten Fällen messen, ob die Qualität genügt
- Erst dann entscheiden, ob sich ein Server lohnt
- Für den Produktivbetrieb auf vLLM oder eine gemietete Umgebung wechseln
Schritt 2 wird häufig übersprungen – und ist der wichtigste.
Was dazugehört
Ein Modellserver allein ist keine Anwendung. Es fehlen:
- Rechteverwaltung
- Protokollierung
- Die Suche in eigenen Dokumenten
- Eine Oberfläche
Diese Teile machen den grösseren Aufwand aus, nicht der Modellserver.
Kernfakten
- Für den Einstieg
- Ollama
- Für den Mehrbenutzerbetrieb
- vLLM
- Grösserer Aufwand
- Rechte, Protokolle, Dokumentensuche, Oberfläche