Dein Feed erklärt dir gerade Mixture of Experts. Threads mit bunten Diagrammen, Videos mit dramatischer Musik, „so funktioniert die Architektur hinter den neuen Modellen". Klingt nach Durchbruch von letzter Woche.
Die Idee ist von 1991.
Damals beschrieben vier Forscher — darunter Geoffrey Hinton, der 2024 den Nobelpreis für Physik bekam — ein Verfahren namens „Adaptive Mixtures of Local Experts". 2017 machte ein Google-Team daraus die sparsame Variante, die heute alle benutzen. Neu ist daran ungefähr so viel wie am Verbrennungsmotor.
Trotzdem hat die Aufregung einen wahren Kern. Er liegt nur woanders, als die Threads behaupten.
Was Mixture of Experts überhaupt ist
Stell dir ein großes Krankenhaus vor. Hunderte Fachleute, jede Abteilung mit eigenem Gebiet. Du kommst mit einem gebrochenen Arm rein — und es stürmen nicht alle vierhundert gleichzeitig ins Behandlungszimmer. An der Aufnahme entscheidet jemand in Sekunden: Unfallchirurgie, zweiter Stock.
Das Krankenhaus ist riesig. Dein Termin ist trotzdem kurz.
Genau so arbeitet ein MoE-Modell. Es besteht aus vielen Teilnetzen, den „Experten". Davor sitzt ein kleines Bauteil, der Router — die Aufnahme in unserem Bild. Für jedes Stückchen Text entscheidet der Router, welche zwei, vier oder acht Experten mitrechnen. Der Rest bleibt aus.
Das Gegenmodell heißt „dense", also dicht. Da rechnet bei jeder Anfrage das komplette Modell mit. Jedes Wort, jedes Mal, alles. Teuer.
Was wirklich neu ist
Hier wird es interessant — und hier hören die meisten Erklär-Threads auf.
Bei einem MoE-Modell gibt es zwei Zahlen: die Gesamtgröße, also wie viele Parameter überhaupt drinstecken, und die aktiven Parameter, also wie viele davon pro Antwort tatsächlich rechnen. Jahrelang lagen die halbwegs beieinander. Derzeit driften sie brutal auseinander:
- DeepSeek V4 Flash: 284 Milliarden Parameter gesamt, davon etwa 13 Milliarden aktiv.
- Qwen 3.8 Max: 2,4 Billionen gesamt, davon rund 95 Milliarden aktiv.
- Kimi K3: 896 Experten an Bord, 16 davon rechnen mit.
Das sind grob 2 bis 5% des Modells pro Antwort. Die Modelle werden also nicht einfach größer — sie werden leerer. Die Anbieter stapeln immer mehr Wissen ins Regal, während die Rechenlast pro Anfrage fast auf der Stelle tritt.
Das ist der eigentliche Trend, den dein Feed feiert, ohne ihn zu benennen.
Warum dich das betrifft
Zwei Dinge, ganz praktisch.
Parameterzahlen in Schlagzeilen sagen kaum noch etwas aus. Wenn irgendwo „2,4 Billionen Parameter" steht, ist das die Lagergröße, nicht die Denkleistung pro Antwort. Wer Modelle vergleichen will, sucht nach der aktiven Zahl — oft steht sie direkt im Namen. Eine Bezeichnung wie 35B-A3B heißt: 35 Milliarden Parameter gesamt, 3 Milliarden davon aktiv.
Deshalb wird KI billiger, ohne schlechter zu werden. Die Preise pro Anfrage sind zuletzt gefallen, während die Qualität gestiegen ist. Das ist kein Marketing-Zauber, sondern zu einem guten Teil genau diese Architektur — mehr dazu in Was KI wirklich kostet.
Was die Hype-Threads weglassen
Zwei Einschränkungen, die selten vorkommen, wenn jemand MoE als Wunderwaffe verkauft.
Sparsam ist nur das Rechnen, nicht der Speicher. Die 284 Milliarden Parameter müssen komplett geladen sein, auch wenn nur 13 Milliarden arbeiten. Für dich heißt das: Selbst hosten wird durch MoE nicht plötzlich einfach. Du brauchst weiterhin Platz für das ganze Krankenhaus, auch wenn du nur in die Unfallchirurgie gehst.
Die „Experten" sind keine Fachgebiete. Das ist die hartnäckigste Fehlvorstellung aus den Erklär-Videos. Da sitzt kein Jura-Experte neben einer Mathe-Expertin. Was so ein Experte gelernt hat, ergibt für uns Menschen meist überhaupt kein sauberes Thema — das Modell hat sich die Aufteilung beim Training selbst zurechtgelegt, nach Mustern, die ihm niemand vorgegeben hat. „Experte" ist ein Fachbegriff, keine Berufsbezeichnung.
Musst du das wissen?
Ehrlich: nein. Du kannst ChatGPT, Gemini oder DeepSeek bedienen, ohne je das Wort Router gehört zu haben.
Aber es erklärt zwei Dinge, die dir ständig begegnen: warum die Parameterzahlen in Überschriften immer absurder werden — und warum deine KI-Rechnung trotzdem nicht mitwächst.
Wenn dir also das nächste Mal jemand MoE als die Revolution des Monats verkauft: Die Architektur ist älter als die meisten, die darüber posten. Neu ist nur, wie „leer" die Modelle inzwischen sind.