Ollama: Seit wann rechnet die Intel-Onboard-Grafik mit?

Eigentlich wollte ich ein Modell mit 744 Milliarden Parametern auf meinem Laptop laufen lassen (Parameter sind die gelernten Zahlen im Modell, grob ein Maß für seine Größe). Daraus wurde nichts. Dafür bin ich über etwas gestolpert, das ich nicht auf dem Zettel hatte: Mein Laptop hat die ganze Zeit mit angezogener Handbremse gearbeitet.

Der Plan: ein Riesenmodell auf dem Laptop

Auslöser war colibri, ein Open-Source-Projekt, das gerade viel Aufmerksamkeit bekommt. Große Modelle bestehen heute oft aus vielen Spezialisten, den sogenannten Experten (Fachbegriff: Mixture of Experts). Pro Wort arbeiten nur wenige davon. colibri hält deshalb den festen Kern und die gerade gefragten Experten im Arbeitsspeicher und lädt den Rest bei Bedarf von der SSD nach.

Laut Projekt funktioniert das. Die eigenen Messwerte sind aber ehrlich: Das Vorzeigemodell schafft auf einem normalen Laptop beim Kaltstart 0,05 bis 0,1 Token pro Sekunde (ein Token ist ungefähr eine Silbe). Ein Absatz von 100 Token dauert damit eine Viertel- bis eine halbe Stunde.

Beeindruckende Technik. Für meinen Alltag unbrauchbar. Aber in den Messwerten stand ein Detail, das hängen blieb: Auf einer Onboard-Grafik lief ein kleines Modell spürbar schneller als auf dem Prozessor.

Moment mal. Onboard-Grafik?

Wer sich mit lokaler KI beschäftigt, liest überall dasselbe: Du brauchst eine Grafikkarte. Von Nvidia. Am besten mit viel Speicher. Alles andere ist Bastelei.

Mein Laptop hat keine Nvidia-Karte. Er hat einen Intel Core i5, 64 GB Arbeitsspeicher und die Grafik, die eben im Prozessor steckt: eine Intel Iris Xe. Darauf läuft seit Monaten Ollama, das Programm, mit dem ich lokale Modelle betreibe. Zäh, vor allem bei langen Dokumenten.

Ein Blick auf docker exec ollama ollama ps zeigte: 100% CPU. Die Grafik hatte Pause. Wie immer.

Und jetzt soll da plötzlich mehr gehen? Huch. Seit wann?

Was da passiert ist

Lange konnte Ollama Grafikchips von Nvidia, AMD und Apple nutzen. Intel stand nicht auf der Liste. Dann kam Vulkan dazu, eine offene Schnittstelle für Grafikchips aller Hersteller:

• Oktober 2025: Vulkan als Experiment, nur für Leute, die Ollama selbst kompilieren.
• November 2025: Vulkan steckt in den fertigen Paketen, muss aber von Hand eingeschaltet werden. Die Release-Notes von Ollama nennen ausdrücklich Intel und Onboard-Grafik.
• Juni 2026: Vulkan ist standardmäßig an. Für Onboard-Grafik gibt es seitdem aber einen eigenen Schalter. Ohne ihn bleibt Intels Grafik außen vor.

Das ist die Pointe. Die Unterstützung ist seit Monaten da. Sie schaltet sich nur nicht von selbst ein. Wer das nicht weiß, merkt nichts.

Die Konfiguration zum Kopieren

Der relevante Teil meiner docker-compose.yml, getestet mit Ollama 0.40.8:

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    environment:
      OLLAMA_CONTEXT_LENGTH: "131072"
      OLLAMA_IGPU_ENABLE: "1"
      OLLAMA_FLASH_ATTENTION: "1"
      OLLAMA_KV_CACHE_TYPE: "q8_0"
    devices:
      - /dev/dri:/dev/dri
    volumes:
      - ollama-models:/root/.ollama

volumes:
  ollama-models:

Was die Zeilen tun (neu sind die ersten drei Punkte):

• devices reicht den Grafikchip in den Docker-Container durch.
• OLLAMA_IGPU_ENABLE ist der Schalter für die Onboard-Grafik.
• OLLAMA_KV_CACHE_TYPE spart Speicher. Das Modell merkt sich für jedes gelesene Token Zwischenergebnisse, den sogenannten KV-Cache. Mit q8_0 liegen die in halber Größe ab. Voraussetzung ist OLLAMA_FLASH_ATTENTION, eine sparsamere Rechenweise.
• OLLAMA_CONTEXT_LENGTH legt fest, wie viel Text das Modell auf einmal sehen darf. Großer Kontext kostet Arbeitsspeicher.

Port-Freigabe und Netzwerk ergänzt du wie gewohnt. Dann docker compose up -d ollama, und ollama ps zeigt 100% GPU.

Fast.

Der Absturz

Der erste Test endete nach rund zwei Minuten mit device lost. Im Systemprotokoll stand: GPU HANG.

Meine Lesart: Ollama schickt den Text in Häppchen von 512 Token an die Grafik (die Batchgröße). Für den kleinen Chip ist das zu viel am Stück. Der Linux-Treiber hält ihn für abgestürzt und setzt ihn zurück. Ein Wachhund, der es gut meint.

Mit 128 Token pro Häppchen lief es stabil. Eine Umgebungsvariable gibt es dafür derzeit nicht, der Wert gehört ins Modell:

docker exec ollama sh -c 'printf "FROM gemma3:12b\nPARAMETER num_batch 128\n" > /tmp/Modelfile && ollama create gemma3:12b -f /tmp/Modelfile'

Das lädt nichts neu herunter. Einmal pro Chat-Modell ausführen und nach jedem ollama pull wiederholen.

Das Ergebnis: verblüffend

Testkandidat war Gemma 3 (ein offenes Modell von Google) mit 12 Milliarden Parametern. Aufgabe: einen Text mit 6.761 Token zusammenfassen. Vorher Ollamas Standard, nachher die neue Konfiguration:

Beim Einlesen Faktor 4,5. Von einer Grafik, die bisher nur den Bildschirm bespielt hat.

Geht das wirklich auf die Grafik zurück? Gegenprobe mit kürzerem Text und identischen Einstellungen, einmal ohne und einmal mit Grafik: 6,7 gegen 32,7 Token pro Sekunde beim Einlesen. Knapp fünfmal so schnell. Beim Schreiben dagegen nur gut 10% mehr. Das Plus in der Tabelle kommt dort vermutlich vor allem von den Speicher-Einstellungen.

Und der Härtetest: ein Dokument mit 23.683 Token, eingelesen in 21,4 Minuten, ohne Absturz. Mit dem CPU-Tempo aus der Tabelle hochgerechnet wären es rund 80 Minuten gewesen.

Was es nicht bringt

• Die Modelle werden nicht klüger. Ein kleines offenes Modell bleibt ein kleines offenes Modell, mit allen Schwächen. Es antwortet nur früher.
• Beim Schreiben hilft die Grafik kaum. Sie teilt sich den Arbeitsspeicher mit der CPU, und beim Schreiben ist genau dessen Tempo die Grenze.
• Der Ruhezustand bricht laufende Anfragen ab. Ollama selbst läuft danach normal weiter.
• Getestet habe ich nur Intel-Grafik unter Linux. Ob Ollama AMD-Onboard-Grafik genauso nutzt, habe ich nicht ausprobiert.

Lohnt sich das für dich?

Wenn du Ollama in Docker auf einem Rechner ohne eigene Grafikkarte betreibst: ja, ausprobieren. Es kostet nichts, die Hardware hast du schon. Zurück geht es, indem du devices und OLLAMA_IGPU_ENABLE wieder löschst. Ohne Docker solltest du dieselben Umgebungsvariablen beim Ollama-Dienst setzen können, getestet habe ich das nicht.

Wer nur kurze Fragen stellt, merkt weniger. Die Stärke zeigt sich bei langen Texten: Verträge, Protokolle, Handbücher.

Und das Riesenmodell? Bleibt auf Rechnern, die dafür gebaut sind. Mein Laptop hat dafür etwas Neues gelernt. Eigentlich konnte er es schon seit Monaten.