Wie viel Speicherplatz benötigen Modelle, Vektordaten und Protokolle?

Modelle

Offene Sprachmodelle werden meist in einer 4-Bit-Fassung betrieben. Die Download-Größen im Modellverzeichnis von Ollama:

Im Grafikspeicher braucht ein geladenes Modell etwas mehr als seine Dateigröße, weil der Gesprächskontext dazukommt. Wer mehrere Modelle vorhält (Text, Bild, Einbettung) und ältere Versionen nicht löscht, braucht schnell ein Vielfaches.

Vektordaten

Für die Wissenssuche wird jeder Textabschnitt in einen Vektor umgerechnet. Das Einbettungsmodell nomic-embed-text erzeugt 768 Zahlen je Abschnitt. Mit je 4 Byte sind das 3.072 Byte, also rund 3 KB:

Dazu kommen der Suchindex und der gespeicherte Originaltext. Das Modell unterstützt auch kürzere Vektoren mit 512, 256, 128 oder 64 Zahlen; das spart Platz bei geringem Qualitätsverlust.

Protokolle

Protokolle sind der Posten, der unbemerkt wächst. Eine Beispielrechnung: 10.000 Anfragen am Tag mit je 2 KB Metadaten ergeben 20 MB am Tag, also rund 7 GB im Jahr. Wer vollständige Fragen und Antworten speichert, braucht ein Vielfaches – und speichert damit oft personenbezogene Daten. Nach dem Grundsatz der Speicherbegrenzung der DSGVO gehört dazu eine feste Löschfrist.

Planung

• Modelle auf eine schnelle SSD legen; davon hängt die Ladezeit ab.
• Freien Platz für Modellwechsel und Aktualisierungen einplanen.
• Protokolle rotieren und automatisch löschen.