Android Phone Agent Benchmark: So bewertet man mobile KI-Agenten 2026
Ein praktischer Bewertungsrahmen für Android Phone Agents: Benchmarks, Testdimensionen, Freigaben, Nebenwirkungen, Wiederherstellung und FoneClaw-Aufgabenmatrix.
- Ein Android Phone Agent Benchmark muss verifizierte Ergebnisse, kontrollierte Nebenwirkungen, Freigaben, Berechtigungen und Wiederherstellung messen, nicht nur plausible Bildschirmaktionen.
- B-MoCA, MobileWorld, KnowU-Bench und PhoneHarness zeigen verschiedene Lücken: Konfigurationswechsel, lange App-übergreifende Aufgaben, Personalisierung, Zustimmung, gemischte Aktionsflächen und nachvollziehbare Spuren.
- Eine belastbare Mobile-Agent-Evaluation braucht sechs Achsen: Gerätevariation, Aufgabenhorizont, App-Umfang, Nutzerinteraktion, GUI- oder Tool-Ausführung und Nebenwirkungsklasse.
- FoneClaw liefert nach dem bisher neuesten Produktstand aktuelle Android-Aufgabenklassen für Tests: aktueller Bildschirm, schwebender Zugriff, Task-Kontinuität, Freigaben, Stoppen, Berechtigungswiederherstellung und 100+ integrierte Tools.
Was ein Android Phone Agent Benchmark messen sollte
Ein Android Phone Agent Benchmark sollte nicht fragen, ob ein Agent überzeugend tippt oder plausibel erklärt, was er tun würde. Er sollte messen, ob der Agent das richtige Ziel versteht, die passende Android-Aktion wählt, notwendige Berechtigungen respektiert, den Nutzer an der richtigen Stelle einbindet, die Wirkung verifiziert und nach Fehlern sauber weiterarbeitet. Aus unserer Arbeit an FoneClaw wissen wir: Ein schöner Klickpfad ist noch kein geprüftes Ergebnis.
Ein guter Testfall hat deshalb mindestens vier Bestandteile. Erstens beschreibt er die Nutzerabsicht. Zweitens fixiert er den Anfangszustand: Gerät, Sprache, App-Version, Konto, Berechtigungen, sichtbarer Bildschirm und Netzwerk. Drittens definiert er das erwartete Ergebnis, etwa eine geänderte Einstellung, einen vorbereiteten Entwurf, eine korrekt geöffnete App oder einen erklärten Abbruch. Viertens bewertet er Nebenwirkungen: Wurde etwas gesendet, gelöscht, geteilt, angerufen oder geändert, das nicht zur Aufgabe gehörte?
Für Phone Agents ist der Prozess Teil des Ergebnisses. Eine Aufgabe kann am Ende sichtbar richtig wirken und trotzdem schlecht ausgeführt sein, wenn der Agent eine Freigabe übersprungen, unnötig viele Daten gelesen oder nach einer Ablehnung weitergedrängt hat. Darum gehört zur Bewertung auch die Governance-Schicht: Freigabe, Stoppen, Rückfrage, Wiederherstellung und Audit. Wer die langfristige Test- und Rollback-Schleife für Phone Agents vertiefen möchte, findet in Selbstverbessernde Phone Agents: Skill-Versionen, Tests und Rollback den passenden Anschluss.
Die Mobile-Agent-Benchmark-Landschaft 2026
Die 2026 wichtigen Mobile-Agent-Benchmarks messen unterschiedliche Dinge. Man sollte ihre Zahlen deshalb nicht zu einer einzigen Rangliste zusammenkleben. B-MoCA, MobileWorld, KnowU-Bench und PhoneHarness beleuchten jeweils andere Schwächen: Geräte- und Sprachvariation, lange App-übergreifende Workflows, Personalisierung mit Zustimmung oder gemischte Ausführungsflächen mit überprüfbaren Nebenwirkungen.
| Benchmark | Schwerpunkt | Was wir daraus für Phone Agents lernen |
|---|---|---|
| B-MoCA | Das PMLR-Paper Benchmarking Mobile Device Control Agents across Diverse Configurations definiert 131 häufige Android-Alltagsaufgaben und randomisiert Konfigurationen wie UI-Layouts und Spracheinstellungen. | Ein Agent muss über Geräte-, Layout- und Sprachvarianten hinweg stabil bleiben. Ein Test auf nur einem vorbereiteten Telefon reicht für Produktqualität nicht aus. |
| MobileWorld | Das ACL-2026-Paper MobileWorld enthält 201 Aufgaben über 20 Apps. Die Aufgaben haben im Schnitt 27,8 Schritte; 62,2 Prozent sind multi-app. Das Paper berichtet in seinem Setting 51,7 Prozent für das beste agentische Framework und 20,9 Prozent für das beste End-to-End-Modell. | Lange Workflows und App-Wechsel sind die harte Realität. Für FoneClaw zählt nicht nur der erste Schritt, sondern ob Zustand, Rückfragen und Übergaben über mehrere Screens hinweg halten. |
| KnowU-Bench | Der Preprint KnowU-Bench umfasst 42 allgemeine GUI-Aufgaben, 86 personalisierte Aufgaben und 64 proaktive Aufgaben. Nutzerprofile werden verborgen, Verhaltenslogs werden bereitgestellt, und der Benchmark testet Klärung, proaktive Zustimmung und Zurückhaltung nach Ablehnung. | Personalisierung ist nur nützlich, wenn der Agent richtig fragt, Zustimmung einholt und nach einem Nein aufhört. Eine hohe Erledigungsquote ohne Respekt vor Ablehnung ist kein gutes Ergebnis. |
| PhoneHarness | Der Preprint PhoneHarness kombiniert GUI-, CLI- und hostseitige Tool-Aktionen, bewertet beobachtbare Nebenwirkungen und zeichnet ausführbare Spuren auf. Das Paper trennt Benchmark und Ausführungsharness. | Ein moderner Test muss nicht nur Screens anschauen. Er sollte verschiedene Aktionsflächen, überprüfbare Wirkungen und auditierbare Spuren bewerten. |
Diese Benchmarks sind für uns Bausteine, keine austauschbaren Tabellen. B-MoCA beantwortet Generalisierung über Konfigurationen, MobileWorld testet lange Android-Arbeit, KnowU-Bench prüft persönliche und proaktive Agentenentscheidungen, PhoneHarness lenkt den Blick auf Nebenwirkungen und Spuren. Wenn ein Agent externe Fähigkeiten entdeckt, muss außerdem die Vertrauensfrage bewertet werden; dafür vertieft Agentic Resource Discovery: Ressourcensuche, ai-catalog.json und Vertrauen für Phone Agents die passende Sicherheitsseite.
Sechs Dimensionen für echte Android Phone-Agent-Tests
Aus diesen Forschungsrichtungen bauen wir für FoneClaw eine praktische Testlogik mit sechs Dimensionen. Jede Dimension sollte unabhängig variiert werden, damit ein Agent nicht nur auf einem glatten Demo-Pfad gut aussieht.
- Konfiguration: Gerät, Android-Version, Sprache, Schriftgröße, Theme, App-Version, Konto, Berechtigungen und Netzwerkzustand verändern.
- Aufgabenhorizont: einzelne Aktion, kurze Kette, langer Workflow und unterbrochene Aufgabe getrennt testen.
- App-Umfang: eine App, mehrere Apps, Systemoberfläche, Benachrichtigungen und externe Dienste auseinanderhalten.
- Nutzerinteraktion: klare Anweisung, mehrdeutiger Auftrag, Rückfrage, Ablehnung, Korrektur und proaktive Empfehlung prüfen.
- Aktionsfläche: sichtbare GUI, strukturierte Tools, Host-Funktionen, Plugin-Fähigkeiten und manuelle Übernahme getrennt bewerten.
- Nebenwirkung: lesen, vorbereiten, ändern, senden, teilen, löschen, anrufen oder wiederherstellen als unterschiedliche Risikoklassen behandeln.
Mehr Schritte bedeuten dabei nicht automatisch mehr Schwierigkeit. Eine lange, rein lesende Aufgabe kann einfacher sein als ein kurzer Befehl mit echter Wirkung, etwa „Sende diese SMS“ oder „Aktiviere Nicht-stören mit Ausnahmen“. Entscheidend ist die Kombination aus Mehrdeutigkeit, Berechtigung, Nebenwirkung und Verifikation.
Für einen Android GUI Agent Test ist außerdem wichtig, dass der sichtbare Bildschirm veralten kann. Ein Dialog erscheint, eine App lädt nach, ein Kontaktname ändert sich, oder der Nutzer tippt selbst weiter. Ein guter Test variiert deshalb nicht nur den Prompt, sondern auch den laufenden Zustand des Telefons.
Metriken jenseits der Erfolgsrate
Die reine Erfolgsrate ist ein Anfang, aber sie reicht für Zuverlässigkeitsmetriken für Phone Agents nicht aus. Wir brauchen eine Scorecard, die Ergebnis und Prozess zusammen bewertet. Ein verifizierter Pass bedeutet: Das erwartete Ergebnis ist sichtbar oder maschinenprüfbar erreicht, die richtige App oder Funktion war beteiligt, und keine unerwünschte Nebenwirkung wurde beobachtet.
Teilpunkte helfen, Fehler zu verstehen. Hat der Agent das Ziel verstanden? Hat er die richtige App geöffnet? Hat er den richtigen Kontakt gewählt? Hat er eine Freigabe eingeholt? Hat er nach einem Fehler wiederhergestellt? Eine Aufgabe kann am letzten Schritt scheitern und trotzdem wertvolle Zwischenqualität zeigen. Umgekehrt kann ein zufälliger Erfolg schlecht bewertet werden, wenn der Agent unkontrolliert geklickt hat.
Zur Scorecard gehören außerdem falsche Nebenwirkungen, unnötige Berechtigungsanfragen, menschliche Eingriffe, Wiederholungen, Latenz, Kosten, Abbruchqualität und Trace-Qualität. Der Nenner muss feststehen: Zählt ein Timeout als Fehler? Wie viele Wiederholungen sind erlaubt? Wird ein manueller Eingriff als Teilpass oder Fehlschlag klassifiziert? Welche Aufgaben werden wegen fehlender Umgebung ausgeschlossen?
Ein LLM-Judge kann bei Text, Zusammenfassungen oder Dialogqualität helfen. Für Android-Wirkung brauchen wir zusätzlich beobachtbare Zustände: Screenshot, App-Status, Systemzustand, Werkzeugantwort, Audit-Eintrag oder Nutzerbestätigung. Genau hier schließt die Sicherheitsarchitektur an; Identität von KI-Agenten: Berechtigungen, Genehmigungen und Audit-Trails für Phone Agents vertieft, wie Identität, Freigaben und Spuren zusammengehören.
Freigaben, Berechtigungen, Zurückhaltung und Stoppen testen
Ein KI-Agent Benchmark 2026 sollte Sicherheit als Verhalten messen, nicht als getrennte Fußnote. Für Phone Agents heißt das: Der Agent fordert die kleinste passende Berechtigung an, erklärt den Zweck, fragt bei Mehrdeutigkeit nach, zeigt folgenschwere Aktionen vor der Ausführung, akzeptiert Ablehnung und kann gestoppt werden.
KnowU-Bench ist hier besonders lehrreich, weil der Preprint Klärung, proaktive Zustimmung und Zurückhaltung nach Ablehnung ausdrücklich prüft. Für Android lässt sich daraus ein Testsatz bauen: Der Nutzer lehnt eine proaktive Aktion ab; der Agent soll die Aktion nicht in anderer Form erneut erzwingen. Der Nutzer gibt eine begrenzte Freigabe; der Agent soll nur diese Wirkung ausführen. Eine Berechtigung fehlt; der Agent soll führen oder abbrechen, statt Erfolg zu behaupten.
Freigabezeitpunkt ist eine eigene Metrik. Zu früh ist die Freigabe wertlos, weil Ziel und Wirkung noch unklar sind. Zu spät wirkt der Agent träge oder riskant. Genau diese Nutzeroberfläche behandeln wir in KI-Agent Freigabe-UX auf dem Smartphone: Vorschläge, Freigaben und Wiederherstellung. Für Tests heißt das: Jede folgenschwere Aufgabe braucht einen klaren Prüfpunkt mit Ziel, Grund, Wirkung und Rückweg.
Stoppen gehört ebenfalls in den Benchmark. Ein Phone Agent, der in einer falschen App weiterarbeitet, nach einer Ablehnung erneut versucht oder eine Aufgabe nach Unterbrechung nicht erklären kann, verliert Vertrauen. Gute Safety-Metriken zählen deshalb Zurückhaltung, Stoppreaktion und nachvollziehbare Wiederherstellung.
Wie wir aktuelle FoneClaw-Telefonaufgaben bewerten würden
Nach dem bisher neuesten Produktstand ist FoneClaw unsere aktuelle Android-Basis für solche Tests. Dieser Stand bringt schwebenden Zugriff, aktuelles Bildschirmanhängen, Task-Kontinuität, Freigaben, Stoppen, Berechtigungswiederherstellung, Verbesserungen bei Nicht-stören, Lautstärke, Meeting-Modus und Bildschirmfoto-Zuverlässigkeit sowie schnelle Aktionen. Die aktuellen Informationen stehen auf der FoneClaw-Downloadseite, und die FoneClaw-Funktionsseite beschreibt 100+ integrierte Tools.
Für eine FoneClaw-Mobile-Agent-Evaluation würden wir keine einzelne Zahl veröffentlichen, bevor ein kontrollierter Lauf mit fixiertem Gerät, Aufgabenbestand, Wiederholungsregel und Auswertung abgeschlossen ist. Dieser Leitfaden definiert die Methode. Die Testmatrix kann aber heute schon aus aktuellen Produktfähigkeiten gebaut werden.
| Testklasse | Beispielaufgabe | Wichtige Bewertung |
|---|---|---|
| Nur lesen | Aktuellen Bildschirm zusammenfassen oder Telefonzustand prüfen. | Frische Beobachtung, richtige App, keine Nebenwirkung. |
| Reversible Steuerung | Lautstärke oder Nicht-stören vorbereiten und Zustand bestätigen. | Freigabe, korrekter Zielzustand, Rückweg. |
| Externe Wirkung | SMS-Entwurf vorbereiten oder Versand einer unterstützten Text-SMS prüfen. | Empfänger, vollständiger Text, Freigabe, stabile Kontrolle, Ergebnis. |
| Mehrschrittiger Workflow | Benachrichtigung prüfen, Aufgabe anlegen, später erinnern. | Task-Kontinuität, App-Wechsel, Klärung, Teilerfolg. |
| Berechtigungsverlust | Aufgabe starten, Berechtigung entziehen, Wiederherstellung prüfen. | Erklärung, Nutzerführung, kein stiller Erfolg. |
| Unterbrechung | Aufgabe im schwebenden Assistenten beginnen, zu Home wechseln, fortsetzen oder stoppen. | Zustandserhalt, Stoppreaktion, nachvollziehbarer Abschluss. |
Ein konkreter Nutzerfall ist der Android-Handycheck: Rechte prüfen, versteckte Apps einordnen und Gerätezustand verstehen. Diese Art Test hat einen klaren Wert, weil sie read-only, erklärend und auditierbar beginnen kann. Für die praktische Nutzerseite verweisen wir auf Android-Handycheck mit KI: Berechtigungen, versteckte Apps und Gerätezustand prüfen.
Ein reproduzierbares Phone-Agent-Testprotokoll bauen
Ein reproduzierbarer Benchmark beginnt mit festen Angaben: Gerät, Android-Version, Sprache, Region, App-Versionen, Konten, Berechtigungen, Netz, Eingabemodus, Modellroute, Agent-Version, Aufgabe, Anfangszustand, erwarteter Zustand und Wiederholungsregel. Ohne diese Angaben ist ein Ergebnis schwer vergleichbar, selbst wenn der Agent gut wirkt.
- Umgebung einfrieren und dokumentieren.
- Anfangszustand und erwartetes Ergebnis definieren.
- Eine Achse variieren, etwa Sprache, Layout oder Berechtigung.
- Alle Aktionen, Freigaben, Rückfragen und Toolantworten aufzeichnen.
- Nebenwirkungen unabhängig prüfen.
- Wiederherstellung klassifizieren: automatisch, geführt, manuell, abgebrochen.
- Grenzen veröffentlichen: Geräte, Apps, Aufgaben, Wiederholungen und ausgeschlossene Fälle.
Ein guter Starttest ist reversibel: aktuellen Bildschirm lesen, eine harmlose Einstellung vorbereiten, eine Erinnerung als Entwurf anlegen oder einen Workflow stoppen. Danach kann die Suite zu externen Wirkungen, langen App-Ketten und Berechtigungsverlust wachsen. Die Scorecard sollte Pass, Teilpass, falsche Nebenwirkung, menschlichen Eingriff, Recovery, Latenz, Kosten und Trace-Qualität getrennt erfassen.
So entsteht eine Mobile-Agent-Evaluation, die Forschung und Produktrealität verbindet. Benchmarks zeigen die offenen Probleme; eine lokale Testsuite zeigt, ob ein konkreter Android Phone Agent auf dem eigenen Gerät zuverlässig, kontrollierbar und wiederherstellbar arbeitet.