AI 代理指南
📅 2026-10-21 ⏱️ 11 分鐘 Dean Dean

開源手機 Agent 框架推薦:Open-AutoGLM、Mobilerun 與 Minitap mobile-use 怎麼選

比較 Open-AutoGLM、Mobilerun 與 Minitap mobile-use 的裝置連線、模型、權限、授權及追蹤方式,並釐清 Mobilerun 裝置選擇、App 卡片遷移與失敗後重試的檢查重點。

三個開源手機 Agent 框架在 Android 裝置、模型服務、執行器與測試紀錄之間的比較示意
📋 核心要點
  • 想研究視覺手機代理與 Android ADB 執行流程,可先看 Open-AutoGLM;需要 CLI、Python、執行軌跡與雲端裝置選項,可評估 Mobilerun;結構化 UI 任務則可查看 Minitap mobile-use 的裝置條件。
  • Mobilerun 執行前應核對裝置清單:明確指定的 -d 優先於 ANDROID_SERIAL,兩者皆未指定時僅能使用唯一在線裝置;多台未選定會報錯,不再直接挑第一台。
  • Mobilerun 舊有 App 卡片需遷移至平台子目錄;FastAgent 在呼叫失敗後會略過同區塊剩餘步驟,但不會因此撤銷已完成動作,重試前仍須檢查實際狀態。
  • 開源不等於免維護或完全本機推論。若不想部署框架,可另評估 FoneClaw 現成 Android 路線;它不是開源框架,也不代表已與這三個專案原生整合。

先按任務選開源手機 Agent 框架

三個開源手機 Agent 框架適合不同任務。Open-AutoGLM 適合想研究視覺手機代理、Android ADB 執行與模型服務分離的人;Mobilerun 適合需要 CLI 或 Python 控制、執行軌跡與雲端裝置選項的團隊;Minitap mobile-use 適合想用自然語言描述結構化手機任務,並按專案支援條件配置 Android 或指定 iOS 模擬器環境的人。

選項最適合先確認
Open-AutoGLM研究視覺手機代理、ADB/HDC 執行與敏感操作確認Android 開發者設定、ADB Keyboard、模型端點或自架推論
Mobilerun Framework用本機框架控制手機,保留軌跡、截圖與結構化結果目標裝置、Portal 無障礙服務、模型供應商及平台 App 卡片
Minitap mobile-use用自然語言處理結構化手機 UI 任務ADB、Docker/本機環境、模型供應商及 Android 或 iOS 模擬器條件

這份清單不是實測成功率,也不是模型排名。選擇時要把四層分開:框架執行環境、模型推論、手機執行器,以及你願意維護的裝置與觀測成本。既有部署還要檢查升級是否改變裝置選擇、設定檔位置或失敗後的行為,不能只看套件是否安裝成功。

比較設定、執行、模型與授權

三個專案都可以放進手機 Agent 開發框架的討論,但開源倉庫授權不等於整個工作流免費。模型 API 可能收費,自架推論要算硬體和維運,雲端裝置也可能有服務條件。框架能開放你檢查或修改控制流程,並不代表每個 App、每台手機或每個模型都能穩定完成任務。

比較項目Open-AutoGLMMobilerunMinitap mobile-use
本機與雲端部署框架配合託管模型 API 或自架推論Framework 在自己的機器執行;Cloud 是另一條託管裝置路線可配置本機環境或 Docker;模型供應商另行設定
裝置連線Android 透過 ADB;另文件化 HDC/HarmonyOSAndroid 使用 ADB 與 Portal;執行前須明確核對目標裝置Android 實機與模擬器透過 ADB
模型配置第三方託管 API 或自架模型服務可選供應商;本機執行環境不等於本機推論可配置模型供應商,支援結構化抽取
權限與接手ADB、輸入設定及文件描述的敏感操作確認Portal 無障礙服務、鍵盤及裝置授權狀態需實際檢查依裝置、執行環境與 UI 資訊可用性檢查
App 卡片與設定遷移按專案設定核對,不套用其他框架格式Android 與 iOS 卡片分目錄,舊平面檔案會被忽略按自身設定核對,不推定相容 Mobilerun 卡片
追蹤與失敗復原查看框架流程與裝置回饋可保存軌跡,搭配 Arize Phoenix、Langfuse;失敗後查實際狀態再重試依任務輸出與框架回傳檢查,注意無障礙樹限制
倉庫授權Apache-2.0MITApache-2.0
iOS 條件另有 WebDriverAgent 設定另有 Portal 設定流程README 明列 macOS 上的 iOS 模擬器;實體 iOS 尚未支援

採用或再散布前,仍應核對實際使用版本的授權檔、相依套件、模型條款與雲端服務條件,不能只憑表中的倉庫授權判斷整套商用權利。如果你還在選模型,可先讀AI 代理模型推薦:通用與 GUI 模型,手機 Agent 怎麼選,把模型能力和框架執行條件分開評估。

什麼情況適合 Open-AutoGLM

Open-AutoGLM 官方倉庫適合想研究手機 GUI Agent 如何把螢幕理解、模型決策和裝置執行串起來的讀者。它的 Android 路線依賴 ADB,設定中包含開發者選項、USB 偵錯和 ADB Keyboard;專案也文件化 HDC/HarmonyOS,表示它不是單純的消費者 App 包裝。

它的模型推論可以走第三方託管 API,也可以自架模型服務;因此「開源框架」不代表所有推論都免費或離線。Open-AutoGLM 還描述敏感操作確認,以及登入、驗證碼等場景的人類接手。這對研究安全邊界很有價值:你可以觀察 Agent 在不確定或高影響步驟前如何停下,而不是只看它是否能一路點完。

若你的目標是理解 Android GUI 任務的工程拆分,Open-AutoGLM 很值得看;若你只是想馬上在日常手機上完成任務,它的裝置、模型與除錯成本就要先算清楚。

什麼情況選 Mobilerun Framework 或 Cloud

Mobilerun 官方倉庫是原 DroidRun 路線的現行名稱。Framework 提供 CLI 與 Python 控制、無障礙樹、截圖、模型供應商選擇和結構化結果;Android 需要 ADB、開發者/USB 偵錯設定及 Portal 無障礙服務。它適合需要把手機任務放進程式化流程,並保留可檢查輸出的團隊。

Framework 和 Cloud 要分開看。前者在你的機器上執行 Agent,不等於模型推論一定在本機,也不等於裝置維護消失;Cloud 則提供連接本地手機,以及託管虛擬或實體手機的 API 工作流。選 Cloud 可降低部分裝置管理負擔,但仍要接受相應帳號、資料流與服務條件。

10 月 14 日 UTC、台灣時間 10 月 15 日的 Mobilerun 發布說明改變了裝置選擇:執行時先採用明確指定的 -d,再看 ANDROID_SERIAL;兩者都未指定時,才使用唯一在線裝置。多台裝置連接而未選定,現在會報錯,不再直接使用清單第一台。因此每次執行前先檢查連接清單,核對序號與實機,再刻意選定測試手機。

同次更新中,FastAgent 每次回覆只執行第一個 function_calls 區塊,後續區塊會被忽略;其中一個呼叫失敗後,同區塊剩餘呼叫也會略過。這不代表整批動作具備交易性或會自動回復。前面已成功的動作可能仍然有效,應停止、查看裝置結果並修正原因,再決定從哪一步重試。

既有設定另須注意10 月 5 日的 App 卡片遷移與 Portal 設定變更。卡片改從 app_cards_dir/android/app_cards.json 與 app_cards_dir/ios/app_cards.json 讀取;直接放在 app_cards_dir 下的舊 app_cards.json 會被忽略。遷移時要同時核對 Android 套件識別與 iOS bundle ID,不只是搬動同一份檔案。設定流程會安裝框架指定的 Portal,並保留已存在的較新 Portal,不宜自行猜測相容版本或任意降版。

Portal 在執行途中可恢復無障礙服務與 Portal 鍵盤。若你原本打算撤銷存取,先停止 Agent,再檢查裝置上的服務、鍵盤及授權狀態;不要只在執行中切掉服務,就假設控制已永久中止,更不應停用 Play Protect 或繞過安全限制來讓任務繼續。Cloud 的 UI 樹相容性及點按、輸入不再自動重試的變更,也要納入依賴維護與錯誤處理,不能當成所有 App 都能成功的證明。

Mobilerun README 提到 Arize Phoenix、Langfuse 和保存軌跡,可用來區分模型選錯、畫面解析錯、權限不足、App 狀態不同或執行器受限。選它的理由應是這些工程控制符合需求,而不是把單次發布視為效能排名。

什麼情況適合 Minitap mobile-use

Minitap mobile-use 官方倉庫主打自然語言行動 UI 自動化,並提供可配置的模型供應商與結構化抽取。它適合把任務描述成清楚的 UI 步驟,然後檢查輸出是否符合預期的工程場景,例如表單、設定頁或重複性 App 流程。

它的 Android 實體裝置與模擬器走 ADB;README 的 Docker 快速開始僅適用於 Android。iOS 要按專案說明逐項看:手動裝置章節列出 macOS 上的 iOS 模擬器,並明確表示實體 iOS 裝置尚未支援。這一點要優先於較寬泛的行銷字句,避免把 iOS 模擬器支援誤讀成實體 iPhone 對等支援。

mobile-use 也提醒,缺少無障礙樹資訊的遊戲類場景會受限制。換句話說,它較適合結構化 UI 任務;如果目標是大量視覺不透明、即時變化或遊戲畫面,就要另外設計觀測和回退策略。

先用一個可復原任務檢查失敗原因

不要用真實帳號付款、外發訊息或刪除資料作為第一輪評估。可依各專案文件,用自己擁有的測試手機執行同一個小任務:「開啟指定的無敏感測試 App,停在首頁,不輸入、不送出、不修改設定。」驗收是指定手機真的顯示正確 App,而不是模型說已完成。這是建議的檢查方法,不是我們已執行的測試結果。

  1. 固定裝置、系統、App 版本與網路,先查看連接裝置清單,將序號對照實機。Mobilerun 按 -d、ANDROID_SERIAL 或唯一在線裝置的規則確認目標,不依賴清單順序。
  2. 記錄框架、模型供應商、託管 API 或自架推論設定,以及是否使用雲端裝置。Mobilerun 既有部署另查平台卡片路徑與 Portal 狀態。
  3. 提出同一個開啟 App 的要求,保存可用的截圖、無障礙樹、工具呼叫、模型輸出與最終畫面。
  4. 若另一台手機出現動作、工具呼叫失敗或畫面不符,立即停止,不讓後續步驟繼續猜測。核對實際已完成的動作,不假設框架已自動撤銷。
  5. 按裝置選擇、連線、權限、卡片識別、模型決策或執行器分類原因,修正後只重試尚未完成的部分;不要盲目重播整個任務。
  6. 結束後停止執行,確認手機仍可由你手動操作。若要撤銷授權,另行檢查相關服務與鍵盤狀態。

首次連線與開啟 App 確認正常後,才考慮加入一個可復原的小變更,並事先定義查核與還原方式。若要擴展成完整基準,可參考Android 手機 Agent 基準測試指南:2026 AI Agent 評估、GUI 測試與可靠性指標。重點不是做漂亮分數,而是讓失敗可定位、可重現、可修正。

不想部署框架時,選現成 Android 路線

如果你的目標不是研究框架,而是直接在 Android 手機上完成受支援的日常任務,FoneClaw 是另一條路。FoneClaw 是現成的 Android 手機 Agent,不是本文三個開源開發框架之一。我們提供可配置模型、支援工具、權限及核准控制的產品路線,不代表已與 Open-AutoGLM、Mobilerun 或 mobile-use 原生整合。

這條路適合不想自行組合 ADB、Portal、WebDriverAgent、模型服務和雲端裝置的人。配置的模型負責理解與規劃,已啟用工具則依實際 Android 權限與工具核准政策執行。實際是否出現核准提示取決於政策與動作,不是每個步驟都必然詢問;支援工具也不等於可以任意控制所有 Android App,或所有推論都在裝置本機完成。

若想了解產品能力,可從FoneClaw 功能頁開始,按自己的裝置與任務確認支援範圍。若需要理解現成 Agent 如何分開處理意圖、確認、執行與結果檢查,可延伸閱讀AI 代理控制 Android 手機指南:從意圖到確認、執行、驗證與復原。選框架還是現成產品,取決於你要修改與維護控制流程,還是使用已支援的手機工作流程。

體驗 FoneClaw