QI'ntel ngoQ — Daq pagh veng chaq? De'wI' SoHvaD neH. toDuj pagh. De' DIlqu' pagh. "De'lIj wIQaQ" De' pagh. Ollama Dochvam chup.
(Was, wenn deine KI-Anfragen nirgendwo hinkämen — außer auf deiner eigenen Festplatte? Kein Server in Übersee, kein Unternehmen das mitliest. Genau das verspricht Ollama.)
Ollama nuq 'oH?
(Was ist Ollama?)
Ollama — Nab De'wI' SoHvaD neH QI'ntel Nab chenmoHbogh. yIlo' — Nab tIn yIchenmoH, vaj QI'ntel Hoch De'wI'Daq vang. offline bIQapchu'. bIwuq bIlobbe'.
Account Qo'. Huch Qo'. "De'lIj maQaQ" Qo'.
(Ollama lässt große Sprachmodelle lokal auf dem eigenen Computer laufen. Vollständig offline. Vollständig unter deiner Kontrolle.)
nuq nIS SoH?
(Was braucht man dafür?)
DaH — Dochvam potlhqu': GPU Qob pagh — RAM Qob.
QI'ntel Nab — RAM Hoch 'elmoHlu'. RAM DaHev pagh Nab — Nab vang pagh, pagh nom puj. buv nap:
- 8 GB RAM: Nab nap — Phi-3 Mini pagh Gemma 2B — QaQ
- 16 GB RAM: Llama 3.2 (3B pagh 8B) — nap lo'
- 32 GB RAM: Llama 3 70B pagh Segh rur — lo'laH
GPU HoS — QaQ je. mIw nom. 'ach GPU pagh — neH CPU lo'laH. nom pagh. rut lo'laH.
(Nicht die GPU ist der Flaschenhals, sondern der RAM. KI-Modelle werden komplett in den Arbeitsspeicher geladen.)
De'wI' nap — Nab nuq vang?
(Welche Modelle laufen auf normalen Rechnern?)
Ollama — Nab pong tu'lu': ollama.com/library. chup De'wI' nap:
- Llama 3.2 3B — Meta Nab, nom, Daj law' Segh nap
- Gemma 3 4B — Google Nab nap, Qu' Hoch
- Phi-3 Mini — Microsoft Nab nap, De' wuq (Reasoning) QaQ
- Mistral 7B — loQ tIn, 'ach 16-GB De'wI' QaQ
- Qwen 2.5 Coder — De'wI' ngoQ (Code) — QI'
buv: ChatGPT-4 — SaD De' (Parameter). Llama 3.2 3B — wejSaD neH. pIm Daj. 'ach: Qu' law'vaD — Nab nap Qap.
(Zum Vergleich: ChatGPT-4 hat vermutlich eine Billion Parameter. Llama 3.2 3B hat 3 Milliarden. Der Unterschied ist spürbar — aber für viele Aufgaben reicht das kleine Modell.)
lo' wej tup
(Installation in drei Minuten)
- ollama.com yIjaH — SoH De'wI' lo'bogh (Windows, Mac, Linux — Hoch tu'lu') Nab yISam
- yIlo' — yIchenmoH
- jabbI'ID:
ollama run llama3.2— Nab tIgh SuqmeH 'ej chenmoHmeH
vaj jabbI'ID jatlhwI' lo'laH. pagh Hum chenmoH.
(Auf ollama.com den Installer herunterladen, installieren, im Terminal: ollama run llama3.2. Das Modell wird heruntergeladen und gestartet.)
OpenWebUI: mIlloH Hum
(OpenWebUI: Damit es auch schön aussieht)
jabbI'ID — Qap, 'ach Daj pagh. OpenWebUI — De'wI' Hum (Browser-Frontend), Ollama tIgh — jatlhwI' Hum rur ChatGPT — 'ach SoHvaD neH.
jIH — cha' chenmoHta'. Ollama tIgh, OpenWebUI Hum. jaj Hoch Daj law'qu'.
Docker lo'DI' — chenmoH nap ngoQ — cha' tup neH. Docker ghajQo'bogh — latlh mIw tu'lu', 'ach loQ Qu' law'.
(Ich betreibe beides selbst: Ollama im Hintergrund, OpenWebUI als Interface. Docker-Installation ist ein Einzeiler.)
Dochvam qab nuq?
(Wo ist der Haken?)
batlh jIjatlh Qo'chugh — bIwaq:
nom pagh: Sep De'wI' — Cloud QI'ntel law' nom pIm. SuvwI' yajlaHbe' nom. 'ach lo'laH.
Nap naq: Sep Nab — GPT-4o pagh Claude Sonnet pIm. Qu' nap — Qo'. Qu' Qobqu' — legh SoH.
Qu' law': "account chenmoH 'ej yIlo'" pagh. loQ De'wI' Sov nIS.
(Langsamer: lokale Modelle auf normaler Hardware sind deutlich langsamer als Cloud-KI. Kleiner: Qualität reicht nicht an GPT-4o heran. Mehr Aufwand: kein einfaches "Account erstellen und losgehen".)
SoH vaD Ollama?
(Für wen ist Ollama?)
Hoch — pegh potlhbogh 'ej loQ nap DIlqangbogh. Nab tu'wI' — lojmIt Hoch yajmeH. De'wI' qelwI' — Sep Nab lo'meH.
je: Hoch "QI'ntel De'wI'wIjvaD neH vang" leghqangbogh.
(Für alle, denen Datenschutz wichtig ist und die dafür etwas Komfort aufzugeben bereit sind. Für Bastler und Entwickler. Und für alle, die mal sehen wollen: Wie fühlt es sich an, wenn KI auf dem eigenen Rechner läuft?)
wa'leS: ghItlhvam — QI'ntel chenmoHta'. batlhHa''a'? batlh! (Nächste Woche: Ein ehrlicher Meta-Post — wie dieser Blog selbst mit Claude Code entstanden ist.)