Ollama: Ex Quo Tempore Graphica Interna Intel Adiuvat?

Exemplar septingentorum quadraginta quattuor miliardorum parametrorum in computatro meo portatili currere volebam (parametri sunt numeri in exemplari didicti, fere mensura magnitudinis eius). Nihil inde factum est. Pro eo in rem incidi quam non exspectabam: computatrum meum toto tempore freno adducto laboraverat.

Consilium: exemplar ingens in computatro portatili

Initium fecit colibri, opus fontis aperti quod nunc multum attentionis habet. Exemplaria magna hodie saepe ex multis peritis constant (vocabulum technicum: „Mixture of Experts"). In singulis verbis pauci tantum laborant. Itaque colibri nucleum fixum et peritos nunc maxime quaesitos in memoria tenet, ceteros e disco SSD, cum opus est, arcessit.

Auctoribus teste id procedit. Sed numeri eorum ipsorum honesti sunt: exemplar praecipuum in computatro portatili communi, frigide incipiens, 0,05 ad 0,1 signa (Token) per secundum efficit (signum fere syllaba est). Paragraphus centum signorum quadrantem vel dimidiam horae partem postulat.

Ars mirabilis. Usui meo cotidiano inutilis. Sed in numeris unum haesit: in graphica interna exemplar parvum manifeste celerius currebat quam in processore.

Exspecta. Graphica interna?

Qui de intelligentia locali quaerit, ubique idem legit: charta graphica tibi opus est. A Nvidia. Optime cum multa memoria. Cetera sunt nugae fabriles.

Computatrum meum chartam Nvidia non habet. Habet Intel Core i5, LXIV GB memoriae et graphicam quae in ipso processore inest: Intel Iris Xe. In eo per menses Ollama currit, programma quo exemplaria localia utor. Tarde, praesertim in documentis longis.

Aspectus in docker exec ollama ollama ps ostendit: 100% CPU. Graphica otiabatur. Ut semper.

Et nunc subito plus fieri potest? Hui. Ex quo tempore?

Quid acciderit

Diu Ollama processus graphicos Nvidia, AMD et Apple adhibere poterat. Intel in indice non erat. Deinde Vulkan accessit, interfacies aperta processibus graphicis omnium fabricatorum:

• Octobri 2025: Vulkan ut experimentum, solum iis qui Ollama ipsi componunt.
• Novembri 2025: Vulkan in fasciculis paratis inest, sed manu accendendum est. Notae editionis Ollama Intel et graphicam internam expresse nominant.
• Iunio 2026: Vulkan ex more accensum est. Graphica interna tamen ex eo tempore proprium interruptorem habet. Sine eo graphica Intel foris manet.

Hoc est acumen. Facultas iam per menses adest. Tantum non sponte accenditur. Qui id nescit, nihil sentit.

Dispositio exscribenda

Pars ad rem pertinens fasciculi mei docker-compose.yml, cum Ollama 0.40.8 probata:

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    environment:
      OLLAMA_CONTEXT_LENGTH: "131072"
      OLLAMA_IGPU_ENABLE: "1"
      OLLAMA_FLASH_ATTENTION: "1"
      OLLAMA_KV_CACHE_TYPE: "q8_0"
    devices:
      - /dev/dri:/dev/dri
    volumes:
      - ollama-models:/root/.ollama

volumes:
  ollama-models:

Quid versus faciant (tria prima puncta nova sunt):

• devices processum graphicum in continentem Docker traicit.
• OLLAMA_IGPU_ENABLE interruptor graphicae internae est.
• OLLAMA_KV_CACHE_TYPE memoriam parcit. Exemplar pro quoque signo lecto eventus medios retinet, qui „KV-Cache" vocantur. Cum q8_0 hi dimidia magnitudine servantur. Ad id OLLAMA_FLASH_ATTENTION requiritur, ratio computandi parcior.
• OLLAMA_CONTEXT_LENGTH statuit quantum textus exemplar simul videre possit. Contextus magnus memoriam consumit.

Portum et retia adde ut soles. Deinde docker compose up -d ollama, et ollama ps100% GPU ostendit.

Fere.

Ruina

Prima probatio post duo fere minuta verbis device lost finem habuit. In actis systematis stabat: GPU HANG.

Ut ego lego: Ollama textum in frustis quingentorum duodecim signorum ad graphicam mittit („batch size"). Processui parvo id nimium uno tenore est. Rector Linux eum collapsum putat et restituit. Canis custos bene volens.

Centum viginti octo signis per frustum firmiter currebat. Variabilis ambitus ad hoc nunc nulla est; valor in exemplar inseritur:

docker exec ollama sh -c 'printf "FROM gemma3:12b\nPARAMETER num_batch 128\n" > /tmp/Modelfile && ollama create gemma3:12b -f /tmp/Modelfile'

Nihil novi deducitur. Semel pro quoque exemplari colloquendi exsequere et post quodque ollama pull itera.

Eventus: mirabilis

Probatum est Gemma 3 (exemplar apertum Google) duodecim miliardorum parametrorum. Munus: textum 6.761 signorum in summam redigere. Antea praecepta Ollama solita, postea dispositio nova:

In lectione quater et dimidio. A graphica quae hactenus solum tabulam visualem pingebat.

Num id vere graphicae debetur? Probatio contraria textu breviore et paribus optionibus, semel sine et semel cum graphica: 6,7 contra 32,7 signa per secundum in lectione. Fere quinquies celerius. In scribendo autem vix 10% plus. Incrementum scriptionis in tabula verisimiliter maxime ex optionibus memoriae oritur.

Et probatio gravior: documentum 23.683 signorum, 21,4 minutis lectum, sine ruina. Ex velocitate processoris in tabula computata, circiter octoginta minuta fuissent.

Quod non praestat

• Exemplaria non fiunt sapientiora. Exemplar apertum parvum manet exemplar apertum parvum, cum omnibus vitiis. Tantum citius respondet.
• In scribendo graphica vix adiuvat. Memoriam cum processore communicat, et in scribendo eius velocitas ipsa finis est.
• Somnus computatri rogationes currentes abrumpit. Ollama ipsum postea solito more currit.
• Solam graphicam Intel sub Linux probavi. Utrum Ollama graphica interna AMD eodem modo utatur, non expertus sum.

Tibine prodest?

Si Ollama in Docker in machina sine charta graphica propria exerces: ita, experire. Nihil constat, machinam iam habes. Ut redeas, devices et OLLAMA_IGPU_ENABLE rursus dele. Sine Docker easdem variabiles in servitio Ollama ponere posse debes; id non probavi.

Qui solum breves quaestiones ponit, minus sentit. Vis apparet in textibus longis: contractibus, actis, enchiridiis.

Et exemplar ingens? In machinis ad id factis manet. Computatrum meum pro eo aliquid novi didicit. Revera id iam per menses poterat.