Fachwissen für digitale Entscheidungen
Wie schnell reagiert ein privater KI-Server auf Anfragen?
Kurzantwort
Messwerte
Gemessen am 26.09.2026 auf dem KI-Server der Ouhud GmbH: NVIDIA GeForce RTX 5080 (Mobile, 16 GB Grafikspeicher), Modell Qwen3 14B in der 4-Bit-Fassung (9,3 GB). Die Anfragen kamen vom Webserver in einem Rechenzentrum über das Internet.
| Aufgabe | Gemessene Dauer |
|---|---|
| Kurze Antwort | 2,5 bis 4,7 Sekunden |
| Website-Chat, einfache Frage | 4,3 bis 6,9 Sekunden |
| Antwort mit Wissenssuche (5 Quellen) | 8,7 Sekunden |
| E-Mail-Entwurf | 15,5 Sekunden |
| Erster Aufruf nach einer Pause (Modell laden) | plus 4,3 Sekunden |
| Bildbeschreibung mit Qwen2.5-VL 7B | 17,8 Sekunden, davon 10,7 Sekunden Laden |
Die reine Texterzeugung lief mit rund 67 Token pro Sekunde (134 Token in 2,0 Sekunden).
Der größte Faktor: die Warteschlange
Ein einzelner KI-Server bearbeitet Anfragen nacheinander. In unserer Messung stieg die Antwortzeit des Website-Chats von 6,9 auf 36,4 Sekunden, während im Hintergrund gleichzeitig ein langer Text erzeugt wurde. Deshalb laufen Hintergrundarbeiten wie Übersetzungen bei uns nachts, und der Chat hat tagsüber Vorrang.
Denkende Modelle
Modelle wie Qwen3 überlegen vor der eigentlichen Antwort. Auf die Bitte, nur mit einem Wort zu antworten, erzeugte das Modell vorher 581 Zeichen interner Überlegungen. Das kostet Zeit, verbessert aber oft die Antwort.
Was die Geschwindigkeit bestimmt
- Grafikspeicher: Das Modell muss vollständig hineinpassen; sonst wird es um ein Vielfaches langsamer.
- Modellgröße: Größere Modelle antworten besser, aber langsamer.
- Länge der Antwort: Die Dauer wächst mit jedem erzeugten Token.
- Kaltstart: Ein Modell, das erst geladen werden muss, kostet Sekunden.
Kernfakten
- Kurze Antwort
- 2,5 bis 4,7 Sekunden
- Antwort mit Wissenssuche
- 8,7 Sekunden
- Texterzeugung
- rund 67 Token pro Sekunde
Quellen
Alle externen Angaben nachvollziehbar belegt.-
01
Qwen3 – Modellverzeichnis Ollama
- 02