Was ist ein LLM eigentlich?
Die 5 wichtigsten Begriffe in einfacher Sprache.

Token

Stell dir vor, du wirfst ein Buch in einen Mixer. Was rauskommt sind Tokens — meistens Wortteile, manchmal ganze Wörter, manchmal nur einzelne Buchstaben. Das Wort „Donaudampfschifffahrt" zerlegt das Modell vielleicht in Donau + dampf + schiff + fahrt. Vier Tokens.

Warum das wichtig ist: Tokens kosten Geld und Zeit. Je mehr Tokens, desto teurer die Cloud-Anfrage und desto langsamer die Antwort. Wenn du SnowChat lokal nutzt, kostet jeder Token Strom — minimal, aber real. Wenn du Cloud-Modelle nutzt, kostet eine längere Anfrage mehr.

Faustregel: 1 Seite Text ≈ 500–700 Tokens. Eine ganze Mail mit Anhang als Text? Schnell mal 2.000 Tokens. Ein Buchkapitel als „Kontext"? 5.000+. Das spielt gleich noch eine Rolle.

Parameter

Wenn jemand sagt „das ist ein 7B-Modell", meint er 7 Milliarden Parameter. 70B = 70 Milliarden. 405B = das, was Meta in Llama 3.1 als größtes Open-Source-Modell veröffentlicht hat. Bei geschlossenen Modellen (GPT-4, Claude, Gemini) wird die genaue Parameterzahl von den Herstellern bewusst nicht veröffentlicht — alles, was du dazu liest, ist Spekulation.

Anschaulich: Stell dir ein riesiges Stellwerk vor. Jeder Parameter ist ein Hebel, der die KI ein klein wenig anders reagieren lässt. Beim Training werden alle Hebel justiert, bis das Modell „passende" Antworten gibt. Mehr Hebel = feinere Antworten, aber auch mehr Strom, Speicher und Zeit.

Was das für dich heißt:

• 3B–7B-Modelle laufen auf normalen Laptops, sind schnell, gut für einfache Aufgaben (Zusammenfassen, Übersetzen, Smalltalk).
• 13B–30B-Modelle brauchen schon eine ordentliche GPU. Können längere Argumente bauen, besser logisch denken.
• 70B+ Modelle brauchen Workstation-Hardware oder die Cloud. Hier wird's wirklich smart — aber auch teurer.

SnowChat auf einem Snow GT läuft komfortabel mit 7B–13B-Modellen. Snow ICE schafft auch 70B lokal. Größere Modelle ziehst du hybrid aus der Cloud.

Kontextfenster

Stell dir vor, du erzählst jemandem die Vorgeschichte eines Projekts, und er fängt nach 5 Minuten an dir zu antworten — aber er hat nur die letzten 30 Sekunden gehört. Genau das passiert mit dem Kontextfenster.

Typische Größen:

• 4k Tokens ≈ 3 Seiten Text. Reicht für eine Chat-Konversation, aber kein ganzes Dokument.
• 32k Tokens ≈ 25 Seiten. Ein Vertrag passt rein, ein Buchkapitel auch.
• 128k Tokens ≈ 100 Seiten. Ein ganzes Geschäftsmodell, ein Forschungspaper, fast eine kurze Doktorarbeit.
• 1M Tokens ≈ ein 700-Seiten-Buch. Sehr neu, sehr teuer.

Warum das in der Praxis weh tut: Wenn dein Kontextfenster voll ist, vergisst die KI den Anfang. Bei langen Gesprächen, bei großen Dokumenten, bei komplexen Analysen ist das der Engpass.

Fine-Tuning

Ein Standard-Modell weiß viel allgemeines Zeug. Es kennt aber nicht: deine Produkte, deine Kunden-FAQ, dein internes Wording, die spezifische Tonalität deiner Marke. Fine-Tuning ändert das.

Praktisch: Du sammelst einige hundert bis tausend Beispiele aus deinem Bereich (Beispiel-Mails, Beispiel-Antworten, gute Produkttexte) und gibst sie dem Modell zusätzlich zum Standard-Training. Danach „klingt" das Modell mehr wie ihr.

Aber: Fine-Tuning ist teuer und langsam. Du brauchst saubere Trainingsdaten, GPU-Zeit, Iterationen. Für 90 % aller Fälle reicht eine andere Methode — siehe nächster Punkt.

RAG — Retrieval-Augmented Generation

Das ist die Geheimwaffe für 90 % aller Business-Use-Cases. Anstatt das Modell teuer mit deinen Daten zu trainieren, gibst du ihm eine Bibliothek — und sie sucht selbst nach.

Praktisches Beispiel: Eine Anwaltskanzlei lädt ihre 2.000 Mandanten-Akten in SnowMind hoch. Auf die Frage „Wann ist Müllers Vertrag abgelaufen?" findet die KI im Akten-Bestand das relevante Dokument, liest die passende Stelle, und antwortet mit Quelle. Kein Fine-Tuning nötig.

RAG hat drei riesige Vorteile gegenüber Fine-Tuning:

• Aktualität: Neue Dokumente hochladen — sofort verfügbar. Kein Re-Training nötig.
• Quellenangabe: Die KI sagt dir, wo sie's gefunden hat. Du kannst das nachprüfen.
• Datenschutz: Die Daten bleiben bei dir, statt in einem Modell „verbaut" zu werden, das jemand anders nutzt.

SnowMind ist die Snowbyte-Lösung dafür. Hochladen, fragen, fertig.