On-Device-LLM-Optimierung für Handy-KI-Agenten

Warum gefühlte Geschwindigkeit wichtiger ist als ein Benchmark

Ein Handy-KI-Agent wirkt nur dann hilfreich, wenn er im richtigen Moment reagiert. Wenn du sagst „Fasse diese Benachrichtigung zusammen“, „öffne die passende App“ oder „bereite eine kurze Antwort vor“, zählt nicht allein, wie viele Tokens ein Modell unter Laborbedingungen schafft. Entscheidend ist, wie schnell der erste sinnvolle Schritt sichtbar wird, wie warm das Gerät dabei wird und ob die Aktion zuverlässig fortgesetzt werden kann.

On-Device-LLM-Optimierung für Handy-KI-Agenten beginnt deshalb bei der gefühlten Wartezeit. Ein lokales Modell kann kurze Aufgaben nahe am Gerät ausführen, wenn Gerät, Systemdienst und App-Unterstützung passen. Google beschreibt Gemini Nano über Android AICore als Weg für On-Device-generative KI, niedrige Inferenzlatenz, stärker datennahe Anwendungsfälle und Erlebnisse ohne Netzwerk, wenn sie unterstützt werden. Für Nutzer heißt das: Manche Schritte können schneller und unabhängiger vom Netz wirken.

Zur Qualität gehört aber mehr als Geschwindigkeit. Speicherbelastung, Akku, Vordergrundzustand der App, Gerätesupport, Quoten und Bestätigungspunkte entscheiden mit. Ein Telefonagent, der blitzschnell antwortet, aber eine App nicht sichtbar öffnen kann, löst die Aufgabe nicht. Ein Agent, der eine Nachricht vorschlägt, braucht einen klaren Versandpunkt.

Bei FoneClaw richten wir unsere Produktarbeit an sichtbaren Android-Aktionen aus. Wir wollen nicht nur Text erzeugen, sondern den nächsten unterstützten Telefonschritt vorbereiten: App öffnen, Bildschirmzustand prüfen, Entwurf anzeigen, Erinnerung setzen, Bestätigung einholen. Für die Grundlagen dieser Telefonsteuerung passt unser Artikel Handy-Steuerung mit KI-Agenten.

Modellgröße, Quantisierung und kleine Modelle im Telefonalltag

Ein großes Modell kann mehr wissen und komplexer argumentieren, aber ein Smartphone hat andere Grenzen als ein Server: Speicher, Wärme, Akku und schnelle Verfügbarkeit. Deshalb geht es bei mobiler LLM-Optimierung nicht um „größer ist besser“, sondern um die richtige Modellgröße für den jeweiligen Telefonschritt.

Quantisierung ist dabei eine wichtige Technik. Vereinfacht gesagt wird ein Modell kompakter dargestellt, damit es weniger Speicher und Rechenleistung braucht. Adapter können spezielle Fähigkeiten ergänzen, ohne das gesamte Modell für jede Aufgabe schwerer zu machen. Kleine Modelle oder spezialisierte Pfade können einfache Aufgaben übernehmen: Absicht erkennen, kurze Zusammenfassung erzeugen, eine App-Kategorie bestimmen oder einen Entwurf vorbereiten.

Apple beschreibt in seinen Updates zu Foundation Models unter anderem Effizienzarbeit mit KV-Cache-Teilung, Quantisierung, Adaptern und einer Aufteilung zwischen lokalen und serverseitigen Modellen. Das ist Apple-spezifisch, zeigt aber eine breitere Produktlogik: Das Gerät erledigt passende Aufgaben nah am Nutzer, während schwierigere Aufgaben stärkere Ressourcen nutzen können.

Für Android Phone Agents ist diese Aufteilung besonders greifbar. Ein kurzer Befehl wie „Erinnere mich nach dem Meeting an den Rückruf“ braucht kein riesiges Modell. Eine komplizierte Auswertung über mehrere Apps und Dokumente kann eine andere Verarbeitung verlangen. Bei FoneClaw ist der Zweck klar: das passende Modell- oder Systemverhalten soll am Ende zu einem sichtbaren, unterstützten Android-Schritt führen.

Die Frage lautet daher nicht nur „Wie klein ist das Modell?“, sondern „Welche Telefonaktion wird dadurch schneller, stabiler oder stromsparender?“ Wenn die Antwort keine sichtbare Nutzerverbesserung bringt, bleibt die Optimierung akademisch.

AICore, Gemini Nano, ML Kit GenAI, LiteRT und LiteRT-LM auf Android

Damit lokale KI auf Android praktisch wird, braucht sie einen zuverlässigen Systempfad. Nutzer sehen am Ende nur die Funktion, aber darunter müssen Modell, Gerät, Dienst, App und Berechtigung zusammenarbeiten. Android AICore, Gemini Nano, ML Kit GenAI, LiteRT und LiteRT-LM sind Beispiele für solche Wege.

Google positioniert Gemini Nano in AICore als On-Device-Modell für generative KI-Funktionen auf Android. Für App-Entwickler bietet die ML Kit GenAI Prompt API einen Einstieg, der unterstützte Geräte prüft, Gemini Nano bei Bedarf herunterladen kann, Warmup zur Verringerung der ersten Wartezeit unterstützt und Grenzen wie Tokenlimits sowie App-Kontingente dokumentiert.

Daneben zeigt Google AI Edge einen breiteren Rahmen für On-Device-ML und KI über Plattformen hinweg. Dazu gehören MediaPipe-Aufgaben, LiteRT und LiteRT-LM. Die LiteRT-LM-Übersicht nennt Beispiele lokaler LLM-Ausführung und Leistungsdimensionen wie Prefill, Decode, Zeit bis zum ersten Token, CPU- und GPU-Backends, Speicher und Offline-Ausführung lokaler Modelle.

Für FoneClaw sind diese Begriffe nicht Selbstzweck. Entscheidend ist, welche Android-Aktion daraus sichtbar möglich wird. Ein schneller lokaler Entwurf, eine kurze Zusammenfassung oder eine zuverlässige Absichtserkennung kann den Ablauf verkürzen. Wenn die Funktion auf einem Gerät noch nicht verfügbar ist, bleibt der sichtbare Rückfall wichtig: App öffnen, manuell bestätigen, Erinnerung setzen oder auf einen Cloud-Schritt wechseln.

KV-Cache, Vorlauf, Warmstart und wiederkehrende Abläufe

Viele Phone-Agent-Aufgaben wiederholen sich. Jeden Morgen Benachrichtigungen prüfen, nach Meetings Rückrufe erinnern, unterwegs ETA-Nachrichten vorbereiten, abends Aufgaben zusammenfassen. Genau hier werden Begriffe wie KV-Cache, Prefill, Decode und Warmup praktisch.

Beim Prefill verarbeitet ein Modell den vorhandenen Kontext: Prompt, Systemhinweise, App-Zustand oder bisherige Informationen. Beim Decode entsteht die Antwort Schritt für Schritt. Der KV-Cache speichert interne Zwischenergebnisse, damit wiederkehrende Kontexte effizienter weitergenutzt werden können. Für Nutzer zeigt sich das als kürzere Wartezeit, vor allem wenn ähnliche Abläufe mehrfach auftreten.

Warmup bedeutet, dass ein Modell oder Dienst vor der ersten echten Anfrage vorbereitet wird. Die ML Kit GenAI Prompt API dokumentiert Warmup ausdrücklich, um die Latenz des ersten Aufrufs zu verbessern. Bei einem Handy-Agenten ist dieser erste Moment wichtig: Wenn der Nutzer eine Aufgabe beginnt und mehrere Sekunden nichts passiert, fühlt sich die Funktion unzuverlässig an.

Kontextlänge ist die andere Seite. Mehr Kontext kann bessere Antworten ermöglichen, beansprucht aber Speicher und Zeit. Auf einem Telefon muss ein Agent unterscheiden: Reicht die aktuelle Benachrichtigung plus letzter Schritt? Muss der Kalender dazu? Oder ist die Aufgabe groß genug für einen anderen Verarbeitungspfad? Gute Optimierung hält den Kontext so klein wie möglich und so groß wie nötig.

Bei FoneClaw nutzen wir diese Denkweise produktseitig: Wiederkehrende Android-Abläufe sollen schnell zum sichtbaren nächsten Schritt kommen. Ein Entwurf, eine Erinnerung oder eine App-Öffnung muss nicht jedes Mal wie eine völlig neue Aufgabe behandelt werden, solange Nutzerkontrolle und sichtbare Bestätigung erhalten bleiben.

Wann lokale KI reicht und wann Cloud-Denken hilft

Lokale KI ist stark bei kurzen, unmittelbaren Telefonaufgaben: Absicht erkennen, Text knapp zusammenfassen, Vorschlag vorbereiten, sichtbaren Kontext einordnen. Cloud-Verarbeitung bleibt nützlich, wenn mehr Wissen, längere Analyse, größere Modelle oder komplexe Planung gefragt sind. Ein guter Handy-Agent nutzt beides als Werkzeug, nicht als Ideologie.

Die Frage lautet: Welche Aufgabe liegt vor? „Setze eine Erinnerung in 20 Minuten“ ist lokal oder systemnah naheliegend. „Fasse die letzten zehn Dokumente, mehrere Chatverläufe und eine Strategiefrage zusammen“ verlangt mehr. Dazwischen liegen hybride Abläufe: lokales Modell erkennt Absicht und Kontext, Cloud-Modell hilft bei anspruchsvoller Formulierung, Android führt den sichtbaren Schritt aus.

Für den größeren Vergleich zwischen lokalem KI-Agent und Cloud-Agent gibt es unseren separaten Artikel lokaler KI-Agent oder Cloud-Agent. Hier steht die Optimierung im Vordergrund: Wie entscheidet ein Telefon, welcher Pfad schnell, sparsam, verfügbar und passend zur Aufgabe ist?

Bei FoneClaw verbinden wir diese Entscheidung mit sichtbaren unterstützten Android-Aktionen. Lokale Inferenz kann einen schnellen Entwurf oder eine kurze Zusammenfassung liefern. Cloud-Denken kann bei komplexeren Texten helfen. Am Ende zählt der Telefonschritt: App öffnen, Nachricht prüfen, Erinnerung setzen, Einstellung anzeigen, Nutzerbestätigung einholen.

Auch Apple zeigt mit dem Foundation Models Framework, dass On-Device-Sprachmodelle, strukturierte Ausgaben und Tool Calling direkt in Apps wichtiger werden. Die Betriebssysteme bewegen sich in dieselbe Richtung: mehr KI näher am Nutzer, kombiniert mit klaren App-Aktionen.

Checkliste für lokale LLM-Funktionen auf dem Handy

Wer eine On-Device-LLM-Funktion auf einem Smartphone bewertet, sollte nicht nur nach Modellname oder Demo fragen. Entscheidend ist, ob die Funktion im Alltag wiederholt funktioniert: auf dem eigenen Gerät, mit den eigenen Apps, bei schwankendem Netz, mit Akkureserve und sichtbarer Korrektur.

• Geräteunterstützung: Prüfe, welche Android-Version, Hardware und Dienste benötigt werden.
• Offline-Verhalten: Kläre, welche Schritte lokal laufen und welche einen Netzpfad nutzen.
• Wartezeit: Achte auf den ersten sichtbaren Schritt, nicht nur auf die vollständige Antwort.
• Speicher und Akku: Lokale KI soll in Alltagsroutinen stabil bleiben, nicht nur in kurzen Demos.
• Kontingente: Tokenlimits, App-Quoten und Modell-Downloads können die Nutzung beeinflussen.
• Datennähe: Lokale Verarbeitung kann sensible kurze Aufgaben unterstützen, wenn App und Gerät den Pfad anbieten.
• Oberfläche: Der Nutzer braucht einen sichtbaren nächsten Schritt, eine Korrektur und einen Rückfall.
• Bestätigung: Nachrichten, Einstellungen, Käufe und sensible Inhalte gehören in prüfbare Aktionen.

Für Phone Agents zählt außerdem die Verbindung zum Betriebssystem. Die dreischichtige Grundlage des OS-Agenten erklärt diesen größeren Rahmen. On-Device-LLM-Optimierung ist nur eine Ebene; App-Zugriff, Nutzeroberfläche und Bestätigung machen daraus ein echtes Telefonerlebnis.

Bei FoneClaw messen wir lokale KI daran, ob sie unterstützte Android-Aktionen besser macht: schneller verstehen, präziser öffnen, klarer zusammenfassen, zuverlässiger erinnern, sichtbarer bestätigen. So wird On-Device-LLM-Optimierung für Handy-KI-Agenten nicht zur Fachvokabel, sondern zu weniger Wartezeit und mehr Kontrolle im Alltag.