Dạy phone agent bằng thao tác mẫu: ghi màn hình, kỹ năng tái sử dụng và an toàn Android

Dạy bằng thao tác mẫu khác gì prompt, macro và huấn luyện mô hình?

Một phone agent có thể học công việc chỉ bằng cách nhìn người dùng thao tác hay không? Tín hiệu mới nhất cho thấy cách tương tác này đang trở nên cụ thể hơn. Theo báo cáo của ITmedia ngày 22 tháng 7 năm 2026, tính năng Record a Skill của Claude Cowork ghi lại tác vụ cùng lời giải thích bằng giọng nói rồi chuyển nội dung đó thành kỹ năng có thể tái sử dụng. Trải nghiệm do Android Authority công bố ngày 21 tháng 7 cũng mô tả việc ghi màn hình trong lúc người dùng giải thích quy trình nhằm giảm nhu cầu lặp lại prompt cho công việc thường xuyên.

Điều đáng chú ý không phải là video tự biến thành một chuỗi cú chạm. Học bằng thao tác mẫu hướng tới việc nhận ra mục tiêu, điều kiện và lý do đứng sau mỗi lựa chọn. Nếu người dùng mở lịch, chọn ngày mai, tạo cuộc hẹn rồi thêm địa điểm, quy tắc cần giữ là “tạo sự kiện vào ngày kế tiếp với thông tin được cung cấp”. Vị trí nút, nội dung đang có trên màn hình hay thời gian chờ ở lần ghi đầu tiên chỉ là chi tiết tình huống.

Prompt, macro, phát lại màn hình và huấn luyện mô hình giải quyết bốn bài toán khác nhau. Prompt diễn đạt yêu cầu bằng ngôn ngữ. Macro chạy một chuỗi bước xác định trước. Phát lại màn hình lặp lại hình ảnh hoặc tọa độ đã ghi. Huấn luyện mô hình thay đổi năng lực nền qua dữ liệu và tối ưu. Dạy bằng ví dụ nằm giữa các cách đó: lấy một lần làm mẫu để hình thành quy trình có tham số, điều kiện và điểm dừng.

Record a Skill là ví dụ về thiết kế kỹ năng trong Claude Cowork, không phải tính năng điều khiển Android. Bối cảnh sản phẩm liền kề được trình bày trong bài Claude Cowork lên điện thoại: mobile thành giao diện AI agent. Đối với phone agent, một kỹ năng chỉ thực sự hữu ích khi còn thích ứng được với trạng thái ứng dụng, hoạt động trong phạm vi quyền và dừng để người dùng quyết định trước bước quan trọng.

Từ bản ghi màn hình đến kỹ năng có thể gọi lại

Làm thế nào để một ví dụ duy nhất trở thành quy trình dùng được nhiều lần? Vòng đời nên bắt đầu bằng một phiên ghi sạch, có lời giải thích tại các điểm quyết định. Hình ảnh cho biết người dùng đã thao tác gì; lời nói làm rõ vì sao bước đó cần thiết, điều kiện nào cho phép tiếp tục và kết quả nào được xem là hoàn tất.

Giai đoạn trích xuất sẽ phân loại những gì quan sát được thành hành động, đối tượng, dữ liệu đầu vào và quy tắc. Tên người nhận, thời gian, số lượng, nội dung tin nhắn hoặc địa điểm nên trở thành tham số. Các yêu cầu như “chỉ chọn đúng tài khoản công việc”, “nếu không tìm thấy liên hệ thì hỏi lại” hay “cho tôi xem trước trước khi gửi” phải trở thành điều kiện thực hiện. Thao tác đóng thông báo bất chợt hoặc cuộn thêm vì mạng tải chậm thường không thuộc logic cốt lõi.

Sau đó, kỹ năng cần được đóng gói với trạng thái bắt đầu hợp lệ, ứng dụng liên quan, quyền cần thiết, kết quả mong đợi và phương án khi thiếu dữ liệu. Chẳng hạn, kỹ năng gửi bản cập nhật có thể nhận người nhận và nội dung làm tham số, mở ứng dụng được hỗ trợ, soạn bản nháp, hiển thị kết quả rồi chờ xác nhận. Cùng cấu trúc ấy có thể được gọi lại bằng câu nói khác mà không phụ thuộc vào dữ liệu của lần ghi ban đầu.

Một quy trình dài nên chia thành các chặng có thể quan sát: thu thập đầu vào, xác định đúng đối tượng, chuẩn bị hành động, xem lại và hoàn tất. Cách tổ chức này phù hợp với Tự động hóa tác vụ Android nhiều bước bằng một lệnh thoại, bởi người dùng luôn biết tác vụ đang ở bước nào và có thể dừng trước khi tạo ra thay đổi.

Kỹ năng hoàn chỉnh vì thế không phải bản sao của video hướng dẫn. Video mô tả một lần thực hiện cụ thể; kỹ năng mô tả cách đạt mục tiêu trong nhiều lần sử dụng. Muốn chuyển từ bản ghi sang kỹ năng, hệ thống phải tách quy tắc bền vững khỏi cú chạm tình cờ, tham số hóa dữ liệu và định nghĩa rõ khi nào cần hỏi lại hoặc trao quyền quyết định cho người dùng.

Giao diện Android luôn thay đổi, phát lại từng cú chạm thì không

Vì sao một macro chạy đúng hôm nay có thể thất bại ngay ngày mai? Android không cung cấp một mặt phẳng giao diện bất biến. Kích thước màn hình, phiên bản ứng dụng, ngôn ngữ, bàn phím, thông báo, trạng thái đăng nhập, dữ liệu tài khoản và quyền đã cấp đều có thể làm bố cục hoặc luồng thao tác thay đổi.

Phát lại theo tọa độ giả định rằng một nút luôn nằm ở cùng vị trí. Phone agent cần suy luận theo trạng thái: màn hình nào đang mở, phần tử nào phù hợp với mục tiêu, bước trước đã thành công chưa và có hộp thoại nào đang chờ xử lý. Cây trợ năng có thể cung cấp nhãn, vai trò và cấu trúc của thành phần giao diện. Hướng dẫn dịch vụ trợ năng Android cho thấy đây là một khả năng nền tảng có phạm vi cụ thể, cần được sử dụng theo đúng mục đích và quyền được cấp.

Tài khoản cũng tạo ra nhiều nhánh mà bản ghi đầu tiên có thể không thể hiện. Quy trình được ghi khi người dùng đã đăng nhập không thể giả định lần nào cũng như vậy. Một lần chạy khác có thể gặp màn hình chọn hồ sơ, yêu cầu đăng nhập lại hoặc hộp thoại cấp quyền. Kỹ năng cần nhận diện trạng thái mới, cho biết điều gì đang cản trở và mời người dùng hoàn thành bước cần thiết.

Ngôn ngữ và thiết kế thích ứng tiếp tục làm macro dựa trên chữ hoặc vị trí trở nên mong manh. Quy trình tổng quát nên tìm phần tử theo ý nghĩa, kiểm tra kết quả sau hành động và chỉ tiếp tục khi trạng thái phù hợp. Khi không đủ chắc chắn, phone agent nên dừng ở trạng thái dễ hiểu, giữ phần việc đã hoàn tất và đưa ra cách xử lý tiếp thay vì thử chạm vào một vị trí đoán trước.

Khả năng thích ứng này khác với việc huấn luyện lại mô hình. Bài PhoneBuddy-4B và huấn luyện Phone Agent: vì sao Mock-App RL quan trọng với Android Agent tập trung vào quá trình phát triển năng lực phone agent trong môi trường mô phỏng. Kỹ năng rút ra từ thao tác mẫu có phạm vi hẹp hơn: một mục tiêu cụ thể, các tham số của nó, những trạng thái cần kiểm tra và các hành động được phép thực hiện trên thiết bị thật.

Ghi một ví dụ sạch, đủ rõ và không lộ dữ liệu riêng tư

Nên chuẩn bị phiên ghi như thế nào để ví dụ vừa hữu ích vừa kiểm soát được dữ liệu? Hãy dùng tài khoản thử nghiệm hoặc dữ liệu giả, tắt thông báo nổi, đóng ứng dụng không liên quan và đưa điện thoại về trạng thái bắt đầu rõ ràng. Bản ghi quy trình không phải nơi dành cho mật khẩu, mã xác thực, thông tin thanh toán, cuộc trò chuyện riêng, dữ liệu sức khỏe hoặc tài liệu bí mật.

Tài liệu MediaProjection của Android yêu cầu người dùng đồng ý cho từng phiên chiếu hoặc ghi màn hình, đồng thời nêu yêu cầu xử lý an toàn nội dung hiển thị đã thu. Với thiết kế học bằng thao tác mẫu, điều đó có nghĩa mỗi phiên ghi phải có mục đích, phạm vi và điểm kết thúc dễ nhận biết. Người dùng chủ động bắt đầu sau khi đã chuẩn bị màn hình sạch và kết thúc ngay khi ví dụ hoàn tất.

Lời giải thích trong lúc ghi nên tập trung vào quyết định thay vì vị trí. “Chọn người nhận đã xác minh” hữu ích hơn “chạm nút bên phải”. “Chờ đến khi trạng thái tải hoàn tất” chính xác hơn “đợi ba giây”. “Hiển thị bản xem trước rồi yêu cầu tôi xác nhận” rõ hơn “gửi luôn”. Cách diễn đạt này giúp hệ thống hiểu quy tắc có thể áp dụng khi bố cục hoặc tốc độ tải thay đổi.

Trước khi tạo kỹ năng, nên rà lại bản ghi để loại bỏ thông báo vô tình xuất hiện, khung hình thừa và dữ liệu không phục vụ quy tắc. Hướng dẫn quyền riêng tư và bảo mật Android xem quyền cùng quyền truy cập dữ liệu nhạy cảm là các khả năng được cấp theo phạm vi. Kỹ năng vì vậy chỉ nên yêu cầu những quyền thực sự cần cho hành động đã mô tả.

Việc kiểm tra nguồn, phạm vi và quyền của kỹ năng được phân tích kỹ hơn trong Bảo mật kỹ năng AI agent trên điện thoại. Nguyên tắc thực tế là ghi đủ ngữ cảnh để hiểu quy trình, nhưng không biến video thành nơi lưu trữ thông tin cá nhân.

Kiểm thử, ánh xạ quyền và quản lý vòng đời kỹ năng

Một kỹ năng chạy đúng trên ví dụ ban đầu đã sẵn sàng để sử dụng hay chưa? Chưa hẳn. Kết quả ấy chỉ cho thấy chuỗi công việc có thể lặp lại trong trạng thái gần giống lúc ghi. Kỹ năng cần được thử với dữ liệu khác, bố cục khác, trạng thái tài khoản khác và ít nhất một ngoại lệ dự kiến.

Kiểm thử biến thể nên đặt ra những tình huống cụ thể: không tìm thấy đối tượng, có hai kết quả cùng tên, quyền chưa được cấp, ứng dụng mở sai tài khoản hoặc thành phần giao diện chuyển vị trí. Mỗi lần chạy phải cho biết bước nào đã được chọn, kết quả nào được quan sát và vì sao quy trình tiếp tục. Nếu không xác định được lựa chọn đúng, trạng thái dừng cũng là một kết quả hợp lệ cần thiết kế.

Chế độ chạy thử nên dừng trước hành động có hệ quả như gửi tin, xóa nội dung, đăng bài, thay đổi cài đặt quan trọng hoặc xác nhận giao dịch. Người dùng có thể xem đối tượng, dữ liệu và kế hoạch mà không thực hiện bước cuối. Khi chuyển sang chạy thật, điểm xác nhận vẫn phải xuất hiện đúng nơi; việc phê duyệt cấu trúc kỹ năng không thay thế quyết định tại thời điểm hành động.

Quyền cần được ánh xạ theo từng thao tác. Mở ứng dụng không mặc nhiên cần quyền danh bạ. Soạn nội dung không đồng nghĩa với quyền gửi. Quyền ghi màn hình trong phiên tạo ví dụ cũng không trở thành quyền thường trực của kỹ năng. Khi thiếu quyền, hệ thống nên hiển thị rõ quyền cần thiết, tác dụng của quyền và bước tiếp theo để người dùng chủ động quyết định.

Nhật ký nên lưu phiên bản kỹ năng, đầu vào, các bước đã thực hiện, điểm xác nhận, kết quả và lỗi. Khi ứng dụng thay đổi giao diện, phiên bản cập nhật có thể được thử riêng trước khi thay thế bản đang dùng. Cơ chế quay lại phiên bản trước và khôi phục sau lỗi giúp người dùng không phải ghi lại toàn bộ quy trình. Khung quản lý này được mở rộng trong bài Danh tính, quyền và nhật ký kiểm toán AI agent: lớp an toàn cho tác nhân trên điện thoại.

Cách FoneClaw tổ chức quy trình Android có thể tái sử dụng

Một quy trình tái sử dụng nên kết hợp khả năng hiểu linh hoạt với việc thực hiện có kiểm soát như thế nào? Trong FoneClaw, mô hình do người dùng cấu hình đảm nhiệm hiểu ngôn ngữ, suy luận và lập kế hoạch. FoneClaw thực hiện các thao tác Android được hỗ trợ, hiển thị trạng thái và kết quả, sử dụng quyền phù hợp, đồng thời đưa người dùng vào bước xác nhận trước hành động có hệ quả.

Phạm vi sản phẩm hiện tại của FoneClaw bắt đầu từ mô hình được cấu hình, quy trình đã xác định và các thao tác Android được hỗ trợ. Khả năng tự chuyển một bản ghi màn hình thành kỹ năng điện thoại hoàn chỉnh chưa thuộc chức năng hiện tại. Một trải nghiệm như vậy chỉ phù hợp với định hướng sản phẩm khi nó có thể rút ra quy tắc thay vì sao chép tọa độ, tham số hóa dữ liệu, kiểm thử trạng thái thay đổi, ánh xạ quyền và giữ nguyên các điểm xác nhận.

Từ góc nhìn của đội ngũ FoneClaw, bản ghi nên đóng vai trò ví dụ để mô hình hiểu mục tiêu, không phải mệnh lệnh phát lại tuyệt đối. Khi thực hiện trên Android, FoneClaw quan sát trạng thái hiện tại và hoàn thành những thao tác được hỗ trợ. Mỗi chặng tạo ra kết quả có thể nhìn thấy. Nếu điều kiện thực tế khác ví dụ, quy trình có thể hỏi thêm dữ liệu, mời người dùng hoàn thành một bước hoặc dừng với phương án xử lý tiếp rõ ràng.

Cách tổ chức này đặc biệt quan trọng với kỹ năng dùng nhiều lần. Người dùng có thể thay đổi người nhận, thời gian, nội dung hoặc dữ liệu đầu vào mà vẫn giữ cấu trúc công việc. Tuy nhiên, mỗi lần chạy vẫn dựa trên trạng thái thiết bị, quyền Android và ứng dụng được hỗ trợ tại thời điểm đó. Một lần xác nhận khi cấu hình kỹ năng không thay thế xác nhận trước khi gửi, xóa, đăng hoặc thay đổi dữ liệu.

Trước khi đưa một quy trình vào sử dụng, hãy kiểm tra sáu câu hỏi: mục tiêu đã đủ rõ chưa; dữ liệu nào cần trở thành tham số; trạng thái nào có thể thay đổi; từng hành động cần quyền gì; bước nào phải xác nhận; và hệ thống sẽ làm gì nếu không thể tiếp tục. Phạm vi thao tác thực tế được giải thích thêm trong bài Điều khiển điện thoại bằng AI agent trên Android.

Dạy phone agent bằng thao tác mẫu có giá trị khi nó giảm công sức mô tả mà vẫn duy trì quyền kiểm soát của người dùng. Đích đến không phải một video tự chạy, mà là kỹ năng có mục tiêu rõ, thích ứng với giao diện, xin đúng quyền, cho thấy kết quả và dừng đúng thời điểm để người dùng quyết định.