Ein KI-Modell, das komplett auf deinem eigenen Rechner läuft. Kein Internet nötig, kein Abo, keine Cloud, die mitliest. Klingt nach Wunschdenken – ist aber seit ein paar Wochen echt.
Meta hat mit Muse Glimmer ein Modell veröffentlicht, das genau das kann. 30 Milliarden Parameter, komplett offen unter der Apache-2.0-Lizenz, gebaut für sogenannte "agentische" Aufgaben: Dinge erledigen, Tools aufrufen, lange Aufgabenketten durchhalten – nicht nur nett plaudern.
Was macht Muse Glimmer anders?
Die meisten großen KI-Modelle laufen in riesigen Rechenzentren, weil sie schlicht zu groß für normale Hardware sind. Muse Glimmer ist bewusst so gebaut, dass es das nicht braucht. Meta hat das Modell quantisiert (technisch: die Genauigkeit der Zahlen im Modell reduziert, ohne die Qualität stark zu verschlechtern) und es damit von 55 auf 18 bis 20 Gigabyte geschrumpft.
Das sind allerdings nur die Modelldaten selbst. Rechnest du den Speicher für laufende Unterhaltungen dazu, bist du schnell bei 24 Gigabyte Grafikspeicher – Meta nennt 24 bis 32 Gigabyte als Zielgröße. Übersetzt heißt das: eine einzelne Grafikkarte, ja, aber eine aus dem oberen Regal. Kein Rechenzentrum. Aber eben auch nicht der Bürorechner.
Das Kontextfenster (wie viel Text sich das Modell "merken" kann) liegt bei über 120.000 Tokens – für ein lokales Modell ordentlich. Bilder versteht es auch: In den 30 Milliarden Parametern steckt ein kleiner Bildverarbeitungsteil, du kannst dem Modell also einen Screenshot oder ein Foto hinwerfen und Fragen dazu stellen. Und das alles komplett offline. Kein Internet, keine Datenübertragung an Meta, kein Server, der mitschneidet, was du fragst.
Was geht kostenlos – und was kostet?
Das Modell selbst: komplett gratis. Die Gewichte liegen offen auf Hugging Face, jeder kann sie herunterladen. Kein Abo, keine API-Kosten, keine Kreditkarte.
Der Haken: Du brauchst die Hardware dafür. Und zwar mehr, als "läuft lokal" vermuten lässt. Die 24 Gigabyte Grafikspeicher von oben findest du nicht in einem Laptop von der Stange, sondern im oberen Preisregal – gebraucht wird es billiger, ein Schnäppchen ist es trotzdem nicht. Wer schon Ollama oder OpenWebUI zuhause laufen hat, ist im Vorteil und kann direkt loslegen. Wer bei null anfängt, sollte den Anschaffungspreis ehrlich gegen ein paar Jahre Cloud-Abo rechnen, bevor er "kostenlos" sagt.
Kann ich das direkt ausprobieren?
Ja – wenn deine Hardware mitspielt. Ollama und LM Studio unterstützen Muse Glimmer direkt; wer tiefer einsteigt, findet optimierte Anbindungen für llama.cpp, MLX (für Apple-Rechner) und ExecuTorch (für Mobilgeräte). Wer unseren Ollama-Artikel schon durchgearbeitet hat, muss nur das passende Modell laden – der Rest der Pipeline steht schon.
Nvidia hat in eigenen Tests über 20.000 Tokens pro Sekunde gemessen. Diese Zahl kannst du getrost vergessen – sie stammt aus dem Rechenzentrum, wo hunderte Anfragen gleichzeitig abgearbeitet werden. Auf echten Heimgeräten sieht es so aus: rund 84 Tokens pro Sekunde auf einer aktuellen Nvidia-Grafikkarte, etwa 24 auf einem AMD-Notebook-Chip, 26 bis 50 auf aktuellen MacBooks. Auch das sind Herstellermessungen mit der komprimierten Version des Modells — deine Zahl hängt an Grafikkarte, Kontextlänge und Kompressionsgrad. Als Größenordnung taugen sie trotzdem.
Zur Einordnung: Ein Token ist ungefähr eine Silbe. 24 Tokens pro Sekunde bedeutet, dass der Text schneller erscheint, als die meisten Menschen tippen – aber spürbar gemächlicher als ChatGPT in der Cloud. Zum Mitlesen reicht es locker. Für Aufgaben, bei denen die KI minutenlang selbstständig weiterarbeitet, wird es zäh.
Interessant für alle, die schon mit KI-Agenten herumspielen: Muse Glimmer versteht sich mit OpenClaw, einem Werkzeug, das solche Agenten steuert. Wir nutzen OpenClaw selbst – prinzipiell großartig, aber der Token-Zähler dreht dabei zuverlässig durch. Genau dieses Problem verschwindet mit einem lokalen Modell, weil du keine Tokens mehr bezahlst, sondern Strom. Über OpenClaw wollten wir ohnehin längst mal was schreiben. Ob dieser Artikel jemals fertig wird, steht auf einem anderen Blatt – der Entwurf liegt seit Monaten herum und schaut uns vorwurfsvoll an.
Für mich – oder nur für Entwickler?
Ehrlich: eher für technikaffine Leute. Wer noch nie ein Modell selbst gehostet hat, sollte erst bei Ollama oder OpenWebUI anfangen – die Einstiegshürde ist niedriger, und Muse Glimmer läuft am Ende über dieselben Werkzeuge. Wer diese Schritte aber schon kennt, bekommt mit Muse Glimmer jetzt ein aktuelles, richtig potentes Modell für "agentische" Aufgaben, die eine reine Chat-KI überfordern würden.
Und ja: das ist auch ein Kapitel im "Warum Linux fürs KI-Selbsthosting entspannter ist"-Buch. Wer schon mit Docker, llama.cpp oder Ollama unterwegs ist, weiß, wovon die Rede ist.
Was bleibt
Muse Glimmer ist kein Ersatz für ChatGPT oder Claude im Alltag – dafür ist die Cloud-Konkurrenz aktuell einfach komfortabler. Aber als Beweis, dass "lokal, offen, mächtig" kein Widerspruch mehr sein muss, ist es ein starkes Signal. Die Zukunft der KI findet nicht nur in Rechenzentren statt – ein Teil davon läuft jetzt auch auf deinem eigenen Rechner. Wenn du die Hardware dafür hast, lohnt sich ein Blick.