So sánh trợ lý AI ngoại tuyến cho Android: chọn mô hình cục bộ

Chọn theo việc cần làm khi không có mạng

Trợ lý AI ngoại tuyến tốt nhất cho Android phụ thuộc vào việc bạn cần làm: trò chuyện với nội dung đã có, tùy chỉnh cách mô hình trả lời hay thực hiện thêm một thao tác điện thoại. PocketPal là lựa chọn đáng ưu tiên cho trò chuyện trên thiết bị đã chuẩn bị sẵn. ChatterUI phù hợp khi muốn cấu hình chế độ cục bộ. FoneClaw là đường có điều kiện khi cần kết hợp mô hình trên thiết bị với công cụ Android được hỗ trợ.

Chúng tôi đối chiếu tài liệu chính thức và đề xuất các bước để bạn tự kiểm tra; bài này không báo cáo thử nghiệm tốc độ, pin hay độ chính xác.

Điểm quyết định là nơi suy luận thực sự diễn ra. Một cuộc trò chuyện còn mở hoặc lịch sử còn đọc được sau khi mất mạng chưa chứng minh ứng dụng tạo được câu trả lời mới. Tương tự, kết nối tới máy tính trong nhà vẫn cần mạng và một thiết bị khác. Nếu bạn muốn không phụ thuộc kết nối, hãy bắt đầu bằng văn bản được cung cấp trực tiếp và mô hình nằm trên điện thoại.

PocketPal: trò chuyện trực tiếp trên điện thoại

Tài liệu chính thức của PocketPal mô tả tải mô hình GGUF tương thích, nạp rồi trò chuyện trên điện thoại mà không cần internet hay tài khoản cho phần trò chuyện cục bộ. Mô hình phải phù hợp với bộ nhớ và dung lượng thiết bị.

Dự án có giọng đọc TTS thần kinh trên thiết bị, gồm Kokoro và các bộ máy khác; cần tải tài nguyên trước. Đây là đọc văn bản thành tiếng, không chứng minh nhận dạng micro ngoại tuyến. Pals cho phép tùy chỉnh trợ lý; công cụ tích hợp gồm tính toán, ngày giờ và hiển thị HTML, không xác lập quyền điều khiển Android bất kỳ.

Tìm mô hình trên Hugging Face, khám phá Pals cộng đồng, gửi phản hồi hoặc chia sẻ kết quả lên bảng xếp hạng là các hoạt động kết nối riêng. Không nên lấy khả năng trò chuyện cục bộ để suy rằng mọi phần của ứng dụng đều không dùng mạng.

Một nhu cầu phù hợp là viết lại ghi chú chuyến đi từ thông tin bạn đã có. Bạn có thể đưa ba ý, yêu cầu chuyển thành đoạn ngắn và giữ nguyên những chỗ chưa rõ. Nếu cần thời tiết hiện tại, lịch tàu mới hoặc giá vé đang thay đổi, mô hình cục bộ không tự có nguồn cập nhật. Hãy chọn PocketPal cho phần soạn và trao đổi, không coi nó là nguồn thông tin trực tiếp chỉ vì câu trả lời nghe tự tin.

ChatterUI: cấu hình trò chuyện ở chế độ cục bộ

Theo tài liệu chính thức của ChatterUI, bản Android được cung cấp bằng APK của dự án; iOS hiện chưa có. Để chạy trên điện thoại, bật chế độ cục bộ, vào phần mô hình rồi nhập mô hình hoặc dùng tệp bên ngoài. Chọn GGUF tương thích vừa bộ nhớ, nạp và trò chuyện qua llama.cpp.

Nhập mô hình tạo bản sao tệp; dùng tệp bên ngoài truy cập trực tiếp vị trí lưu trên thiết bị. Vì vậy, cần giữ tệp đó sẵn có. Chế độ từ xa kết nối các API và máy chủ là đường khác, không phải suy luận trên điện thoại.

Tích hợp TTS của thiết bị cũng cần kiểm tra bộ máy và giọng đã cài; nó không bảo đảm mọi giọng đọc hoặc nhận dạng lời nói đều ngoại tuyến.

ChatterUI đáng cân nhắc nếu bạn muốn dùng những chỉ dẫn nhất quán cho nhiều bản nháp ngắn, chẳng hạn luôn trả lời thành ba ý và không thêm dữ kiện. Khi tự so sánh, giữ cùng đoạn đầu vào và chỉ thay một lựa chọn cấu hình mỗi lần. Đừng đổi đồng thời mô hình, độ dài đoạn nhập và chỉ dẫn rồi kết luận ứng dụng nào tốt hơn: bạn sẽ khó biết điều gì làm câu trả lời khác đi.

FoneClaw: khi cần thêm tác vụ điện thoại được hỗ trợ

FoneClaw hỗ trợ nhập từ Hugging Face ngay trong ứng dụng một mô hình tương thích chạy trên thiết bị. Đây là đường riêng bên cạnh mô hình mặc định miễn phí và cấu hình API trực tuyến bằng API Base URL, API Key. Bạn có thể xem phạm vi tại trang tính năng FoneClaw; không nên hiểu chữ “miễn phí” là “ngoại tuyến”.

Mô hình đảm nhiệm suy luận; công cụ Android đang bật thực hiện thao tác theo quyền và chính sách phê duyệt. Khả năng gọi công cụ cần tương thích. Văn bản chạy được không chứng minh giọng nói, ảnh hay mọi công cụ đều hoạt động khi mất mạng.

Một bước đầu chỉ đọc là kiểm tra âm lượng đa phương tiện, nếu mô hình cục bộ và công cụ tương thích. Đối chiếu đầu ra mới của công cụ với trạng thái Android. Nếu sau đó muốn thay đổi âm lượng, ghi lại giá trị ban đầu và tự khôi phục khi cần; dừng tác vụ không tự hoàn tác thay đổi.

Với nhu cầu này, nên tách yêu cầu thành hai phần. Trước hết hỏi một câu chỉ cần dữ kiện bạn cung cấp. Sau khi xác nhận có phản hồi mới, mới thử thao tác chỉ đọc. Nếu trợ lý chỉ mô tả cách mở cài đặt, đó là hướng dẫn, chưa phải bằng chứng công cụ đã đọc trạng thái điện thoại.

Email, bản đồ và tra cứu web còn có phụ thuộc riêng ở nơi nhận dữ liệu. Mô hình trên máy không loại bỏ chúng. Nếu bạn chọn đường API thay vì nhập mô hình cục bộ, bài Kết nối API mô hình AI trên Android: kiểm tra văn bản, ảnh và công cụ hướng dẫn cấu hình đường đó, không phải hướng dẫn nhập mô hình ngoại tuyến.

Chuẩn bị và kiểm tra sau khi mở lại ứng dụng

Hãy chuẩn bị khi còn mạng, trước thời điểm cần dựa vào trợ lý. Lưu mô hình trong vị trí ứng dụng truy cập được, tải tài nguyên giọng đọc nếu cần, nạp mô hình và hỏi một câu không nhạy cảm. Ghi lại mô hình cùng chế độ đang dùng để tránh vô tình chuyển sang kết nối từ xa.

Chọn mô hình tương thích phù hợp thiết bị, không chỉ chọn tệp lớn nhất. Khi cân nhắc khả năng theo tác vụ, bài Chọn mô hình AI cho tác nhân Android: 6 lựa chọn theo tác vụ giúp phân biệt lựa chọn mô hình với ứng dụng chạy nó; không phải mọi lựa chọn đều dành cho điện thoại ngoại tuyến.

1. Bật chế độ máy bay, sau đó kiểm tra riêng Wi-Fi và dữ liệu di động đều tắt. Wi-Fi có thể vẫn bật hoặc được bật lại.
2. Không dùng đường kết nối tới máy chủ LAN hay API từ xa trong lần kiểm tra này.
3. Đóng hoàn toàn rồi mở lại ứng dụng, không xóa dữ liệu hoặc tệp mô hình.
4. Chọn mô hình cục bộ và bắt đầu cuộc trò chuyện mới.
5. Cung cấp đoạn văn giả lập rồi yêu cầu một câu trả lời mới dựa trên đoạn đó.

Ví dụ đầu vào: “Ghi chú buổi đọc sách: bắt đầu lúc 14 giờ, mang một cuốn sách. Địa điểm chưa xác định.” Yêu cầu: “Viết lại thành hai câu, giữ giờ và nói rõ thông tin chưa có.” Bạn có dữ kiện gốc để đối chiếu, không cần internet và không phải đưa thông tin liên hệ thật.

Tiếp theo đổi giờ thành 15 giờ, gửi đoạn mới và kiểm tra câu trả lời đã dùng dữ kiện mới. Việc còn thấy câu cũ trong lịch sử không đủ; bạn cần quan sát một phản hồi mới với đầu vào đã thay đổi. Đây là bài kiểm tra gợi ý, không phải kết quả chúng tôi đã thực hiện.

Chỉ thử tác vụ điện thoại được hỗ trợ sau khi phần văn bản đạt yêu cầu. Đừng bắt đầu bằng gửi thư hoặc tạo hàng loạt bản ghi: nếu chưa biết phần nào cần mạng, bạn khó phân biệt chờ kết nối với thao tác đã hoàn tất.

Tách suy luận cục bộ khỏi phụ thuộc mạng

“Cục bộ” có thể nói về mô hình, lịch sử hoặc tệp lưu, nhưng ba điều đó không giống nhau. Trợ lý có thể lưu cuộc trò chuyện trên máy trong khi mỗi câu hỏi vẫn gửi tới máy chủ. Muốn đánh giá ngoại tuyến, hãy xem cả đường xử lý lẫn chức năng được gọi.

Một máy chủ LAN có thể hoạt động khi không có internet công cộng, nhưng vẫn phụ thuộc Wi-Fi và máy khác. Nếu bật lại Wi-Fi trong chế độ máy bay để dùng nó, hãy gọi đó là kiểm tra qua LAN, không phải điện thoại đã hoàn toàn ngắt mạng.

Quyền riêng tư cũng cần xem riêng việc đồng bộ, chia sẻ tùy chọn và nơi nhận dữ liệu. Mã nguồn mở hay lịch sử cục bộ không tự bảo đảm mọi dữ liệu luôn ở trên máy. Nếu cần rà soát quyền hệ điều hành, xem Quyền riêng tư của trợ lý AI trên Android 17: cách kiểm tra quyền. Mô hình ngoại tuyến vẫn không nên được dùng để xác nhận tin mới hoặc giá đang thay đổi.

Sửa đúng phần đang gặp lỗi

Khi mất mạng rồi không dùng được, đừng vội xóa ứng dụng. Xác định tác vụ dừng ở việc tìm tệp, nạp mô hình, nhận đầu vào, gọi công cụ hay liên hệ dịch vụ. Mỗi phần có cách xử lý khác nhau.

Nếu mục tiêu thiết yếu chỉ là soạn nội dung, hãy dùng văn bản cục bộ trước. Với thao tác chưa được hỗ trợ, thực hiện thủ công; với dịch vụ cần mạng, giữ bản nháp và kiểm tra trạng thái trước khi tiếp tục. Dừng không đảo ngược phần đã làm.

Nếu quyết định dùng API riêng khi có kết nối, bài Trợ lý AI Android dùng API key riêng: so sánh 4 ứng dụng giúp chọn ứng dụng cho đường đó. Còn khi ưu tiên ngoại tuyến, chọn PocketPal cho trò chuyện đã chuẩn bị, ChatterUI cho cấu hình cục bộ, hoặc FoneClaw khi mô hình và tác vụ điện thoại cụ thể đã được xác nhận tương thích.