Ollama: ghorgh Intel mIllogh De'wI' QaH?

qun ('Modell') 744 Saghmey ('Milliarden') parameter ghajbogh De'wI' QamwI'wIjDaq ('mein Laptop') vIQapmoHmeH vIbuSpu' (parameter: qun ghojpu'bogh mI'mey, qun tInghach juvmeH). Qapbe'. 'ach Dochvetlh vItu'pu', vIpIHbe'pu'bogh: Hoch poH, jav ('Handbremse') lo'taHvIS vum De'wI' QamwI'wIj.

nab: qun tIn De'wI' QamwI'Daq

colibri Dalo'pu' wa'DIch, fonts-poSmoH ('Open Source') jInmol, DaH law' qImlu'bogh. DaHjaj qun tIn law' po'wI' ('Experten') ghaj (Mixture of Experts). mu' wa'DIchDaq puS po'wI' neH vum. vaj qun Qaw'be'bogh 'ay' 'ej po'wI' DaH poQlu'bogh qawHaqDaq ('Arbeitsspeicher') pol colibri, 'ej latlh SSD-vo' lI'moH poQlu'DI'.

jInmol jatlh: Qap. 'ach mI'mey teH: De'wI' QamwI' motlhDaq, qun 'ey' tagh bIrDI' ('Kaltstart'), lup wa'DIchDaq 0,05 vo' 0,1 Token neH (Token: ghItlh 'ay' mach, Silbe rur). 100 Token mu'tlhegh: rep 'ay' ('Viertel- bis halbe Stunde').

jan Dun. jaj Hoch vumwIjvaD lo'laHbe'. 'ach wa' De' vIqawta': mIllogh De'wI' ('Onboard-Grafik') Daq qun mach nom Qap, CPU ('Prozessor') law'.

yImev. mIllogh De'wI'?

qIn pa' ('lokale KI') Dalo'chugh, Daq Hoch rap DalaD: mIllogh De'wI' ('Grafikkarte') DaghajnIS. Nvidia vo'. qawHaq law' ghajbogh. latlh Hoch: ngoq ('Bastelei').

De'wI' QamwI'wIj Nvidia ghajbe'. Intel Core i5 ghaj, 64 GB qawHaq, 'ej mIllogh De'wI' CPU QoDDaq: Intel Iris Xe. jar law' naDev Qap Ollama — qun wIjmey Qapbogh. QIt, ngutlh tIq laDDI'.

docker exec ollama ollama ps vIbej: 100% CPU. leSpu' mIllogh De'wI'. reH.

'ej DaH, pay', law' laH? Hu'. ghorgh?

qaSpu'bogh

nI' poH, Nvidia, AMD, Apple mIllogh De'wI' lo'laH Ollama. Intel tetlhDaq tu'lu'be'. ghIq Vulkan ('offene Grafik-Schnittstelle', Hoch chenmoHwI'vaD) chel:

jar wa'maH 2025: Vulkan noH, Ollama chenmoHbogh nuvpu'vaD neH.
jar wa'maH wa' 2025: Vulkan ghaj Ollama ghap ('fertige Pakete') — 'ach ghop lo'taHvIS DachuQnIS. Ollama ghItlh ('Release-Notes') Intel 'ej mIllogh De'wI' ponglu'.
jar jav 2026: motlh Qap Vulkan. 'ach mIllogh De'wI'vaD, DaH SeH ('Schalter') nIv tu'lu'. Hutlhchugh, Hoch Intel mIllogh De'wI' Qapbe'.

ghu'vam 'oH: jar law' tu'lu' QaHghach. nIteb chu'be' neH. DaSovbe'chugh, Daghovbe'.

tlhegh lughpu' — yIcheH

docker-compose.yml wIj 'ay' potlh, Ollama 0.40.8 lo'taHvIS noHlu'pu':

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    environment:
      OLLAMA_CONTEXT_LENGTH: "131072"
      OLLAMA_IGPU_ENABLE: "1"
      OLLAMA_FLASH_ATTENTION: "1"
      OLLAMA_KV_CACHE_TYPE: "q8_0"
    devices:
      - /dev/dri:/dev/dri
    volumes:
      - ollama-models:/root/.ollama

volumes:
  ollama-models:

nuq ta' tlheghmey (wej Doch wa'DIch chu'):

devices: mIllogh De'wI' Docker 'aplo'Daq juSmoH.
OLLAMA_IGPU_ENABLE: mIllogh De'wI' SeH.
OLLAMA_KV_CACHE_TYPE: qawHaq toD. Hoch Token laDlu'pu'bogh, mI' bID ('Zwischenergebnisse') qaw qun — KV-Cache ponglu'. q8_0 lo'DI', bID tInghach neH. OLLAMA_FLASH_ATTENTION poQ ('sparsamere Rechenweise').
OLLAMA_CONTEXT_LENGTH: ngutlh 'ar leghlaH qun, rap poHDaq. ngutlh tIq qawHaq lo'qu'.

port 'ej De'wI' mIr ('Netzwerk') yIchel, motlh DaghItlhpu'bogh rur. ghIq docker compose up -d ollama — 'ej ollama ps cha': 100% GPU.

chaq.

Qagh

noH wa'DIch cha' tup ret rIn: device lost. pat ghItlhDaq: GPU HANG.

vIyajpu'bogh: 512 Token ('Batchgröße') 'ay'mey mIllogh De'wI'vaD ngeH Ollama. mIllogh De'wI' machvaD law' 'ay'vam. Qaghpu' Qoch Linux SeHwI' ('Treiber'), 'ej chu'qa'moH. targh 'avwI' ('Wachhund') — QaQ ngoQDaj.

128 Token 'ay'mey lo'DI', ralqu' Qap. DaH Hoch-qun SeH ('Umgebungsvariable') Hutlh; qunDaq mI' Dapol:

docker exec ollama sh -c 'printf "FROM gemma3:12b\nPARAMETER num_batch 128\n" > /tmp/Modelfile && ollama create gemma3:12b -f /tmp/Modelfile'

chu' De' lI'moHbe'. ja'chuqmeH qun Hoch wa'logh yIQapmoH, 'ej Hoch ollama pull ret yIqa'.

Qapla': mIn Daq

noHlu'bogh: Gemma 3 (Google qun poSmoH), 12 Saghmey parameter. Qu': ngutlh 6.761 Token nap ghItlh. nI'Ho': Ollama motlh SeH; DaH: tlhegh chu':

	nI'Ho': CPU neH	DaH: mIllogh De'wI' je
laD	22,5 tup	4,9 tup
jang ghItlh	1,6 Token/s	2,4 Token/s
Hoch	25 tup	6,5 tup

laDDaq: loS-'ej-bID-logh nom. mIllogh De'wI' vo' — DaH qaStaHvIS HaSta neH ('Bildschirm') Qapbogh.

Qu'vam ta'pu''a' mIllogh De'wI'? ngutlh ngaj 'ej SeH rap, wa'logh mIllogh De'wI' Hutlh, wa'logh ghaj: laDDaq 6,7 'ej 32,7 Token/s. vagh-logh nom, chaq. 'ach ghItlhDI', 10% neH nom law'. vaj ghItlh nom law' 'oH qawHaq SeHmey, chaq.

'ej noH Qatlh: ngutlh 23.683 Token, 21,4 tup laDlu'pu' — Qagh Hutlh. CPU Do wIqelchugh, chaq 80 tup.

nuq ta'be'

qun val law' ghaHbe'. qun poSmoH mach — qun poSmoH mach ratlh, Qaghmey Hoch je. nom jang neH.
ghItlhDI', mIllogh De'wI' QaHbe'chu'. CPU qawHaq rap lo', 'ej ghItlhDI', qawHaq Do 'oH veH'e'.
QongDI' De'wI' ('Ruhezustand'), tlhob ghor. ghIq Ollama motlh Qap.
Intel mIllogh De'wI' Linux Daq neH vInoHpu'. AMD mIllogh De'wI' rap lo''a' Ollama? vInoHbe'.

DalughnIS'a'?

mIllogh De'wI' nIv ('eigene Grafikkarte') ghajbe'bogh De'wI'Daq Docker Daq Ollama DaQapmoHchugh: HIja', yInoH. mach Daq ('kostet nichts'), jan DaghajtaH. DacheghmeH, devices 'ej OLLAMA_IGPU_ENABLE yIQaw'. Docker Hutlhchugh, Ollama QuQDaq Hoch-qun SeHmey rap DacherlaH chaq; vInoHbe'.

mu'tlhegh ngaj neH Dayupchugh, puS Daghov. HoS leghlu' ngutlh tIqDaq: mab ('Verträge'), qonwI' ghItlh ('Protokolle'), paq ('Handbücher').

'ej qun tIn? De'wI'mey chenmoHlu'bogh ratlh. De'wI' QamwI'wIj chu' ghoj. 'ach jar law' laHpu' ghaH.