Tối ưu LLM trên thiết bị cho AI agent điện thoại

Độ trễ mới là nơi người dùng cảm nhận phone agent

Một AI agent điện thoại có thể nghe rất thông minh trong phần giới thiệu, nhưng người dùng đánh giá nó ở khoảnh khắc rất cụ thể: nói một câu, chờ bao lâu, thấy màn hình nào, có phải lặp lại không, và bước tiếp theo có rõ không. Nếu yêu cầu là soạn tin trả lời khách là tôi đến sau 10 phút, trải nghiệm tốt là bản nháp hiện nhanh, đúng người nhận và có nút xác nhận rõ. Điểm benchmark lớn chưa đủ nếu hành động trên điện thoại vẫn chậm hoặc khó khôi phục.

Vì vậy, tối ưu LLM trên thiết bị cho AI agent điện thoại phải được nhìn qua cảm giác sử dụng: thời gian phản hồi, áp lực bộ nhớ, nhiệt độ máy, tiêu hao pin, khả năng chạy khi app ở trạng thái phù hợp, và sự ổn định của bước xác nhận. Một mô hình nhỏ hơn nhưng phản hồi ngay cho lệnh thường dùng có thể hữu ích hơn một mô hình lớn chờ lâu cho từng thao tác nhỏ.

Android Developers về Gemini Nano mô tả Gemini Nano chạy qua Android AICore cho AI tạo sinh trên thiết bị, hướng tới độ trễ suy luận thấp, các trường hợp dùng chú trọng quyền riêng tư và trải nghiệm khi không có mạng trong phạm vi được hỗ trợ. Điều đáng chú ý với phone agent là mô hình cục bộ giúp một số bước gần màn hình phản hồi nhanh hơn khi thiết bị và tính năng phù hợp.

Tại FoneClaw, chúng tôi quan tâm tới đoạn cuối của hành trình: người dùng có thấy hành động Android rõ ràng không. Bài AI agent điều khiển điện thoại đi sâu hơn vào phần biến ý định thành thao tác; trong bài này, chúng ta tập trung vào cách tối ưu LLM làm cho thao tác đó nhanh, tiết kiệm pin và dễ xác nhận hơn.

Kích thước mô hình, lượng tử hóa và mô hình nhỏ trong tác vụ Android

Trên điện thoại, mô hình càng lớn thì nhu cầu bộ nhớ, pin và thời gian khởi chạy càng đáng chú ý. Người dùng không hỏi mô hình có bao nhiêu tham số khi họ đang cần mở bản đồ, tóm tắt thông báo hoặc viết một tin nhắn ngắn. Họ chỉ cảm nhận rằng điện thoại có trả lời kịp nhịp làm việc hay không.

Kích thước mô hình là điểm đầu tiên. Mô hình nhỏ có thể xử lý tác vụ ngắn như phân loại thông báo, hiểu lệnh mở app, tạo bản nháp ngắn hoặc nhận biết ý định. Mô hình lớn hơn có thể phù hợp với yêu cầu nhiều ngữ cảnh, suy luận dài hoặc văn bản phức tạp. Tối ưu tốt nghĩa là chọn đúng mức cho đúng việc, không kéo một mô hình nặng vào mọi thao tác nhỏ.

Lượng tử hóa có thể hiểu đơn giản là làm mô hình nhẹ hơn bằng cách biểu diễn số liệu gọn hơn. Adapter là cách thêm khả năng chuyên biệt mà không phải thay toàn bộ mô hình. Trong cập nhật Apple Foundation Models 2025, Apple mô tả các hướng như chia sẻ KV cache, lượng tử hóa, adapter và tách vai trò giữa mô hình trên thiết bị và máy chủ. Với người dùng Android, ý tưởng chung vẫn hữu ích: mô hình cần được làm gọn để phản hồi nhanh và phù hợp thiết bị.

Trong FoneClaw, cách chúng tôi dùng bài học này là thiết kế workflow theo độ nặng của việc. Một lệnh như nhắc tôi gọi lại sau 20 phút nên đi đường ngắn. Một yêu cầu như tóm tắt chuỗi thông báo và soạn phản hồi lịch sự có thể cần suy luận kỹ hơn. Trải nghiệm tốt là chọn đúng cách xử lý rồi đưa kết quả về màn hình người dùng.

AICore, Gemini Nano, ML Kit GenAI, LiteRT và LiteRT-LM trên Android

Muốn LLM di động hữu ích, nhà phát triển cần nhiều hơn một file mô hình. Điện thoại cần môi trường chạy, API, kiểm tra thiết bị, tải mô hình, quản lý giới hạn, và cách xử lý lần gọi đầu tiên. Đây là nơi các đường như AICore, Gemini Nano, ML Kit GenAI, LiteRT và LiteRT-LM trở nên quan trọng.

Google ML Kit GenAI Prompt API nêu các bước như kiểm tra thiết bị được hỗ trợ, kiểm tra tính khả dụng của tính năng, tải Gemini Nano, khởi động trước để giảm độ trễ lần gọi đầu, cùng giới hạn token và quota theo app. Những chi tiết này nghe kỹ thuật, nhưng chúng quyết định việc người dùng có thấy phản hồi ngay hay gặp chờ đợi khó hiểu.

Google AI Edge trình bày mảng AI và machine learning trên thiết bị qua nhiều nền tảng, gồm MediaPipe task APIs, LiteRT và LiteRT-LM cho LLM cục bộ. Tổng quan LiteRT-LM đưa ra các ví dụ LLM chạy trên thiết bị và các thước đo như prefill, decode, thời gian tới token đầu tiên, backend CPU/GPU, bộ nhớ và chạy mô hình cục bộ.

Bên ngoài Android, Apple Foundation Models framework cho thấy một hướng tương tự trong hệ sinh thái Apple: mô hình ngôn ngữ trên thiết bị cho tác vụ Apple Intelligence, đầu ra có cấu trúc và tool calling trong app. Điều này củng cố xu hướng rộng hơn: AI cục bộ đang được đóng gói thành đường dùng thực tế cho app, không chỉ là mô hình chạy thử.

Với FoneClaw, các môi trường chạy này là nền để thiết kế hành động Android có thể nhìn thấy: app mở ra, trạng thái màn hình được kiểm tra, bản nháp hiện lên, nhắc việc được tạo, và người dùng xác nhận thao tác quan trọng. Bức tranh OS, model và app rộng hơn được giải thích ở nền tảng ba lớp của OS agent.

Cache, khởi động trước và ngữ cảnh lặp lại trong workflow điện thoại

Nhiều tác vụ phone agent lặp lại mỗi ngày: tóm tắt thông báo buổi sáng, soạn ETA, mở app họp, kiểm tra lịch, trả lời tin quen thuộc. Khi một workflow lặp lại, mô hình không cần bắt đầu từ con số 0 theo đúng nghĩa trải nghiệm. Nó cần phản hồi như thể đã sẵn sàng cho việc người dùng hay làm.

Trong LLM, prefill là phần mô hình đọc ngữ cảnh đầu vào; decode là phần tạo từng token tiếp theo. Thời gian tới token đầu tiên ảnh hưởng mạnh tới cảm giác nhanh hay chậm. KV cache lưu một phần trạng thái chú ý của mô hình để tái sử dụng trong ngữ cảnh phù hợp, giúp giảm công việc lặp. Với điện thoại, cache và khởi động trước có thể làm các tác vụ thường dùng như bản nháp ngắn hoặc tóm tắt nhanh cảm giác mượt hơn.

ML Kit GenAI Prompt API có nhắc tới warmup để giảm độ trễ lần gọi đầu, còn LiteRT-LM đặt các thước đo như prefill, decode và time to first token vào phần đánh giá hiệu năng. Đây là các chi tiết phía sau, nhưng người dùng cảm nhận bằng câu hỏi đơn giản: sau khi nói lệnh, kết quả có xuất hiện đủ nhanh để tôi tiếp tục việc đang làm không?

Ngữ cảnh dài cũng cần thận trọng. Nhét quá nhiều thông báo, lịch sử chat hoặc nội dung màn hình vào một yêu cầu có thể làm chậm, tốn bộ nhớ và khiến kết quả khó kiểm tra. Tại FoneClaw, chúng tôi ưu tiên chia workflow thành các bước nhìn thấy: tóm tắt phần cần thiết, mở app liên quan, chuẩn bị bản nháp, rồi xác nhận. Cách chia này hợp với điện thoại hơn là cố xử lý mọi thứ trong một yêu cầu dài.

Khi xử lý trên máy là đủ và khi cần suy luận đám mây

Có những việc rất hợp với suy luận AI cục bộ: hiểu lệnh ngắn, phân loại thông báo đơn giản, tạo bản nháp ngắn, nhận biết hành động kế tiếp, hoặc xử lý khi mạng yếu trong phạm vi thiết bị hỗ trợ. Các việc này hưởng lợi từ độ trễ thấp và cảm giác gần với màn hình.

Cũng có những yêu cầu cần suy luận rộng hơn: tổng hợp nhiều tài liệu, phân tích ngữ cảnh dài, viết nội dung phức tạp hoặc xử lý tác vụ cần kiến thức cập nhật. Khi đó, xử lý đám mây vẫn có giá trị. Bài AI agent cục bộ và đám mây đi sâu hơn vào lựa chọn này; ở đây, điểm chính là phone agent cần biết chọn nơi xử lý phù hợp với việc đang làm.

Với FoneClaw, chúng tôi thiết kế trải nghiệm theo kết quả người dùng thấy. Nếu xử lý trên thiết bị đủ để tạo nhắc việc, mở app hoặc soạn câu ngắn, workflow nên đi nhanh. Nếu cần suy luận sâu hơn, hệ thống vẫn đưa kết quả về bước Android rõ ràng: bản nháp, màn hình app, nhắc việc, danh sách lựa chọn hoặc yêu cầu xác nhận. Người dùng không cần nhìn thấy thuật toán chọn đường; họ cần thấy việc tiếp theo rõ và có thể kiểm soát.

Mô hình kết hợp cũng giúp quản lý quota, pin và độ trễ. Một app có thể có giới hạn theo thiết bị, theo tính năng hoặc theo quota. Tối ưu tốt là dùng mô hình nhẹ cho việc thường xuyên, mô hình mạnh cho việc cần suy nghĩ, và đưa người dùng về trạng thái an toàn khi app cần thêm quyền hoặc mạng.

Checklist đánh giá một tính năng LLM chạy trên điện thoại

Khi một điện thoại hoặc app nói rằng có LLM trên thiết bị, hãy thử bằng workflow thật thay vì chỉ nhìn tên mô hình. Hỏi: thiết bị nào hỗ trợ, tính năng có cần tải mô hình không, lần đầu gọi có chậm không, có hoạt động khi mạng yếu không, pin và nhiệt ra sao, app có quota không, và khi lỗi xảy ra giao diện đưa người dùng về đâu?

• Thiết bị: kiểm tra phiên bản Android, phần cứng, AICore hoặc môi trường chạy được hỗ trợ.
• Tính sẵn sàng: app có bước kiểm tra feature availability, tải mô hình và khởi động trước hay không.
• Độ trễ: thử lệnh ngắn nhiều lần, chú ý thời gian tới kết quả đầu tiên.
• Bộ nhớ và pin: theo dõi máy nóng, app bị đóng nền hoặc pin tụt nhanh trong tác vụ lặp lại.
• Giới hạn: xem token limit, quota theo app, độ dài ngữ cảnh và phản hồi khi vượt giới hạn.
• Quyền riêng tư: xem dữ liệu nào xử lý trên thiết bị, dữ liệu nào cần dịch vụ ngoài thiết bị, và app hiển thị lựa chọn ra sao.
• Khôi phục giao diện: khi lệnh thất bại, app có đưa bạn về màn hình có thể tiếp tục không.
• Xác nhận: tin nhắn, thay đổi dữ liệu hoặc hành động nhạy cảm nên có bước xem lại.

Tối ưu LLM trên thiết bị cho AI agent điện thoại không phải cuộc đua một con số. Nó là chuỗi quyết định sản phẩm: mô hình đủ nhỏ, môi trường chạy phù hợp, cache tốt, pin ổn, quyền rõ, quota được xử lý, và hành động Android có kết quả nhìn thấy. Khi những lớp này phối hợp tốt, phone agent mới thật sự bớt giống chatbot và bắt đầu giống một trợ lý hành động trên thiết bị bạn dùng hằng ngày.