Irgendwo zwischen "dein Handy schickt jetzt alles in die Cloud" und "70 Milliarden Parameter, komplett offline, auf deinem Telefon" liegt die Wahrheit. Und die ist, ehrlich gesagt, trotzdem beeindruckend.
Was wirklich auf dem Chip läuft
Apples aktuelles On-Device-Modell für Apple Intelligence hat rund 3 Milliarden Parameter — deutlich kleiner als ChatGPT oder Claude, aber genau darauf zugeschnitten, was die sogenannte Neural Engine (die spezialisierte KI-Recheneinheit im Chip) besonders schnell kann. Ergebnis: Antwortzeiten unter 200 Millisekunden, direkt auf dem Gerät, ganz ohne Internetverbindung.
Bei Qualcomm sieht die Strategie etwas anders aus. Der aktuelle Hexagon-NPU (die KI-Einheit im Snapdragon-Chip) ist laut Hersteller rund 37% schneller als die Vorgängergeneration und unterstützt eine neue, sehr sparsame Rechengenauigkeit namens INT2 (ein Format, mit dem Modelle stärker komprimiert werden können, ohne komplett unbrauchbar zu werden). In Demos liefen damit größere Sprachmodelle direkt auf dem Telefon — mit über 200 Tokens pro Sekunde (ein Token ist ungefähr eine Wortsilbe) und einem Kontextfenster von bis zu 128.000 Tokens, also mehreren hundert Seiten Text.
Das ist nicht "GPT-4 in deiner Hosentasche". Aber es ist auch nicht nichts — und es läuft, ganz ohne dass irgendwo ein Rechenzentrum mitverdient.
Warum das für Datenschutz zählt
Der eigentliche Punkt ist gar nicht die reine Rechenleistung, sondern wo die Daten bleiben. Läuft die Verarbeitung lokal auf dem Chip, müssen deine Fotos, Sprachnotizen oder Mails den Speicher des Geräts gar nicht erst verlassen. Kein Upload, kein Server, der mitlesen könnte — zumindest für diese eine Anfrage.
Das ist ein echter Fortschritt gegenüber der Standard-Logik der letzten Jahre, wo praktisch jede KI-Anfrage automatisch in irgendeiner Cloud landete. Aber Vorsicht vor der nächsten Übertreibung: "On-Device" heißt nicht automatisch "alles bleibt lokal". Die meisten Hersteller fahren einen Hybrid-Ansatz — einfache Anfragen laufen auf dem Chip, komplexere wandern trotzdem zu größeren Modellen in der Cloud (bei Apple zum Beispiel über "Private Cloud Compute", ein Server-Setup mit eigenen Datenschutz-Versprechen, aber eben doch: ein Server). Welche Anfrage wohin geht, entscheidet die Software — nicht du, zumindest nicht standardmäßig.
Und eine Einschränkung, die dabei gern untergeht: "On-Device" gilt nur für die KI-Verarbeitung selbst — nicht für das restliche Datenschutz-Bild deines Handys. iCloud-Backup, die Google-Fotos-Sicherung oder WhatsApp-Cloud-Backups laufen bei den meisten Leuten standardmäßig im Hintergrund und laden exakt dieselben Fotos, Nachrichten und Mails in die Cloud hoch — völlig unabhängig davon, ob eine KI-Funktion sie lokal verarbeitet hat oder nicht. Der Datenschutz-Gewinn der Neural Engine bezieht sich also nur auf diese eine KI-Anfrage, nicht auf deine Daten insgesamt. Wenn dein Backup ohnehin an ist, war das Foto vermutlich längst in der Cloud, bevor die KI überhaupt draufgeschaut hat.
Was du konkret tun kannst
Ein Blick in die Einstellungen lohnt sich. Aktuelle iPhones und Android-Flaggschiffe zeigen zunehmend an, ob eine KI-Funktion lokal oder in der Cloud läuft — meist irgendwo unter "Apple Intelligence" beziehungsweise den Datenschutz- oder KI-Einstellungen des jeweiligen Herstellers. Wer besonders sensibel ist, kann in vielen Fällen Cloud-Funktionen gezielt deaktivieren und nur die On-Device-Verarbeitung nutzen — auf Kosten etwas geringerer Antwortqualität bei komplizierteren Aufgaben.
Und: KI-Einstellungen und Backup-Einstellungen sind zwei verschiedene Baustellen. Ein separater Blick in iCloud-Backup beziehungsweise die Google-Fotos- oder Google-One-Sicherung lohnt sich — genau da entscheidet sich, ob deine Fotos und Nachrichten überhaupt in einer Cloud landen, unabhängig von der KI.
Ist das jetzt schon relevant für dich?
Wenn du ein aktuelles Flaggschiff-Smartphone besitzt: ja, direkt. Die Funktionen laufen bereits im Hintergrund, ganz ohne dass du sie aktiv einschalten musst. Wenn dein Handy älter ist: Die nötige NPU-Leistung für größere lokale Modelle ist noch recht neu — bei älteren Chips bleibt es bei einfacheren Aufgaben wie Texterkennung oder Foto-Kategorisierung.
Der Trend zeigt trotzdem in eine angenehme Richtung: KI, die nicht bei jeder Kleinigkeit zuerst ins Internet telefoniert. Kein Grund zur Entwarnung auf ganzer Linie — die KI-Anfrage selbst bleibt lokal, aber dein Backup-Verhalten entscheidet, ob der Rest deiner Daten das auch tut. Trotzdem: ein handfester Schritt, bei dem Datenschutz und Technikfortschritt für einmal in die gleiche Richtung zeigen.