Mengajari Phone Agent lewat Demonstrasi: Rekaman Layar, Skill, dan Keamanan Android

Menunjukkan alur bukan sekadar merekam sentuhan

Bisakah AI agent mempelajari pekerjaan dari rekaman layar? Sinyal terbaru menunjukkan pola interaksi itu mulai menjadi nyata. Menurut laporan ITmedia pada 22 Juli 2026, fitur Record a Skill di Claude Cowork merekam pelaksanaan tugas beserta penjelasan lisan pengguna, lalu mengubahnya menjadi skill yang dapat dipakai kembali. Pengujian Android Authority pada 21 Juli 2026 juga menggambarkan perekaman layar sambil pengguna menerangkan alur, dengan tujuan mengurangi perintah berulang untuk pekerjaan rutin.

Gagasan tersebut berbeda dari empat pendekatan yang sering dianggap sama. Perintah teks menjelaskan hasil yang diinginkan, tetapi belum tentu memperlihatkan cara kerja aplikasi. Makro deterministik mengulang langkah yang telah ditetapkan. Pemutaran rekaman hanya menampilkan kembali video tanpa menghasilkan tindakan baru. Pelatihan model mengubah kemampuan model melalui proses yang jauh lebih luas. Belajar lewat demonstrasi berada di antara semuanya: sistem mengamati contoh, mengambil aturan yang relevan, lalu membentuk prosedur yang dapat diterapkan kembali.

Nilai terbesar demonstrasi bukan pada urutan ketukan, melainkan pada alasan di baliknya. Saat pengguna berkata, “Pilih pesanan yang statusnya belum diproses, tetapi lewati pelanggan yang meminta perubahan alamat,” agent memperoleh aturan keputusan yang tidak terlihat dari video saja. Penjelasan juga membantu membedakan data tetap, seperti aplikasi tujuan, dari parameter yang berubah, seperti nama pelanggan, tanggal, jumlah, atau folder.

Karena itu, mengajari phone agent lewat demonstrasi bukan sama dengan merekam makro. Skill yang baik memahami tujuan, kondisi awal, elemen yang harus ditemukan, variasi yang diizinkan, hasil yang diharapkan, dan kapan harus meminta bantuan. Makro biasanya menganggap layar tetap sama; skill perlu menilai keadaan aktual. Pembahasan tentang posisi perangkat seluler sebagai antarmuka agent tersedia dalam Claude Cowork di Ponsel: Mengapa Mobile Jadi Antarmuka AI Agent, sedangkan fokus di sini adalah merancang demonstrasi agar dapat menjadi alur Android yang tahan perubahan.

Dari rekaman dan penjelasan menjadi skill yang dapat digunakan ulang

Bagaimana sebuah contoh berubah menjadi kemampuan yang bisa dipanggil lagi? Siklusnya dimulai sebelum tombol rekam ditekan. Pengguna terlebih dahulu menetapkan satu hasil yang dapat diperiksa, misalnya membuat draf laporan dari data uji atau memindahkan berkas tertentu ke folder yang benar. Demonstrasi yang mencampur terlalu banyak tujuan akan menyulitkan pemisahan antara aturan utama dan tindakan kebetulan.

1. Rekam contoh bersih: tampilkan satu alur lengkap dengan data uji dan keadaan awal yang diketahui.
2. Jelaskan keputusan: sebutkan alasan memilih tombol, item, akun, atau cabang tertentu.
3. Ambil aturan: bedakan langkah wajib, pilihan bersyarat, pengecualian, dan hasil akhir.
4. Tentukan parameter: ubah nilai yang akan berbeda pada setiap penggunaan menjadi masukan, seperti tanggal, kontak, folder, atau jumlah.
5. Kemas sebagai skill: susun pemicu, prasyarat, tindakan yang tersedia, kebutuhan izin, titik konfirmasi, dan pemeriksaan hasil.
6. Panggil kembali: jalankan skill dengan parameter baru, lalu cocokkan hasil aktual dengan tujuan pengguna.

Penjelasan suara berfungsi seperti anotasi pada tindakan. Kalimat “Saya membuka tab ini karena hanya pesanan aktif yang boleh diproses” lebih berguna daripada sekadar menunjukkan ketukan pada tab. Demikian pula, pengguna perlu menyebutkan apa yang harus terjadi jika item tidak ditemukan, akun keluar, jaringan terputus, atau aplikasi meminta izin baru. Informasi ini menjadi dasar percabangan dan pemulihan.

Parameterisasi mencegah skill terikat pada satu contoh. Nama “Rina” dalam rekaman, misalnya, seharusnya menjadi parameter kontak, bukan nilai permanen. Tanggal hari ini berubah menjadi parameter waktu. Folder “Laporan Juni” dapat menjadi lokasi tujuan yang diperoleh dari permintaan pengguna. Namun, parameter yang berakibat penting tetap memerlukan pemeriksaan konteks dan, bila sesuai, konfirmasi sebelum tindakan dilakukan.

Skill yang telah dikemas idealnya memiliki kontrak sederhana: apa yang dibutuhkan, tindakan Android mana yang digunakan, izin apa yang diperlukan, hasil apa yang dikembalikan, dan kapan alur berhenti. Contoh penerapan tugas bertahap dapat dilihat dalam Otomatisasi Tugas Android dengan Satu Perintah Suara. Demonstrasi menambah cara untuk menjelaskan prosedur, tetapi kualitas skill tetap bergantung pada aturan, parameter, dan pemeriksaan hasil yang berhasil diekstrak.

Mengapa alur Android tidak bisa diputar ulang secara kaku

Mengapa rekaman yang berhasil hari ini dapat gagal besok? Layar Android bukan kanvas statis. Ukuran perangkat, orientasi, pembesaran teks, bahasa, versi aplikasi, status akun, eksperimen antarmuka, dan konten yang sedang dimuat dapat menggeser posisi elemen. Mengandalkan koordinat seperti “ketuk titik ini setelah dua detik” membuat alur cepat rapuh.

Status aplikasi juga mengubah jalur. Pengguna yang sudah masuk akun mungkin langsung melihat beranda, sedangkan sesi yang berakhir menampilkan formulir masuk. Keranjang kosong membutuhkan langkah berbeda dari keranjang yang sudah berisi barang. Dialog pembaruan, pemberitahuan, atau izin dapat menutupi tombol utama. Skill harus mengenali keadaan tersebut sebelum memilih tindakan berikutnya.

Struktur aksesibilitas menawarkan cara yang lebih bermakna untuk menemukan kontrol melalui peran, label, dan hubungan antarelemen. Panduan layanan aksesibilitas Android menjelaskan kerangka layanan yang berinteraksi dengan peristiwa dan elemen antarmuka. Dalam rancangan phone agent, struktur ini dapat membantu menemukan tombol atau bidang berdasarkan makna. Meski demikian, kualitas label berbeda antar aplikasi, dan elemen yang digambar khusus mungkin tidak selalu menyediakan informasi yang memadai.

Perbedaan antara demonstrasi produk dan pembelajaran agent juga perlu dipertahankan. Riset tentang pelatihan agent dengan lingkungan terkendali memiliki tujuan tersendiri, sebagaimana dibahas dalam PhoneBuddy-4B dan pelatihan Phone Agent: mengapa Mock-App RL penting untuk Android Agent. Demonstrasi pengguna tidak langsung melatih ulang model. Ia lebih tepat diperlakukan sebagai sumber prosedur yang harus digeneralisasi, dibatasi, dan diuji sebelum dipakai pada keadaan nyata.

Cara merekam contoh kerja tanpa membawa data sensitif

Apa yang seharusnya tidak pernah muncul dalam rekaman alur AI? Kata sandi, PIN, kode autentikasi, data kartu atau pembayaran, percakapan pribadi, dokumen identitas, informasi kesehatan, dan data rahasia organisasi harus dikeluarkan dari sesi. Demonstrasi bertujuan menangkap keputusan kerja, bukan mengumpulkan rahasia yang kebetulan terlihat di layar.

Mulailah dengan akun uji, kontak fiktif, dan dokumen contoh. Matikan pratinjau notifikasi agar pesan pribadi tidak muncul di atas aplikasi. Tutup aplikasi lain, bersihkan papan klip, dan periksa riwayat pencarian atau saran otomatis. Jika alur biasanya melewati autentikasi atau pembayaran, hentikan demonstrasi sebelum data sensitif dimasukkan dan jelaskan bahwa langkah tersebut menjadi titik konfirmasi pengguna.

Dokumentasi MediaProjection Android mensyaratkan persetujuan pengguna untuk setiap sesi proyeksi media dan menjelaskan penanganan aman untuk konten layar yang ditangkap. Persetujuan sesi penting, tetapi perekam tetap perlu menentukan area, durasi, penyimpanan, dan akses terhadap hasil rekaman. Rekam hanya rentang yang diperlukan dan hentikan segera setelah contoh selesai.

Selama demonstrasi, ucapkan tujuan dan alasan, bukan nilai rahasia. Penjelasan “pilih akun kerja yang telah disetujui” lebih tepat daripada membacakan pengenal akun. Sebutkan pula pengecualian: kapan alur harus berhenti, kapan pengguna perlu meninjau hasil, dan perubahan apa yang tidak boleh diterima otomatis. Tunjukkan keadaan selesai yang dapat diverifikasi, seperti label status atau lokasi berkas, tanpa membuka data pribadi.

Panduan privasi dan keamanan Android menempatkan izin serta akses data sensitif sebagai kemampuan yang memiliki cakupan tertentu. Prinsip itu berlaku sepanjang siklus skill. Rekaman layar bukan sumber kewenangan permanen untuk kamera, kontak, pesan, berkas, atau layanan aksesibilitas. Saat skill dijalankan kembali, setiap tindakan tetap mengikuti izin yang tersedia dan kebutuhan tugas aktual. Penjelasan lebih lanjut tersedia dalam Keamanan Skill AI Agent: Mengapa Phone Agent Perlu Cek Izin Saat Berjalan.

Uji variasi, petakan izin, dan siapkan pemulihan

Kapan skill hasil demonstrasi siap digunakan? Satu keberhasilan pada rekaman asal belum cukup. Uji alur dengan nilai parameter yang berbeda, data kosong, urutan item yang berubah, jaringan lambat, bahasa lain yang didukung, ukuran layar berbeda, sesi akun berakhir, serta dialog izin yang belum pernah muncul. Tujuannya adalah menemukan asumsi tersembunyi sebelum skill menjalankan tindakan penting.

Mulailah dengan simulasi tanpa menyimpan atau mengirim perubahan. Agent dapat menunjukkan langkah yang direncanakan, aplikasi yang akan dibuka, data yang akan digunakan, dan titik konfirmasi. Setelah rencana cocok, jalankan pada lingkungan uji. Bandingkan hasil aktual dengan keluaran yang diharapkan, bukan hanya dengan jumlah ketukan yang berhasil dilakukan.

Pemetaan izin perlu ditempatkan pada tingkat tindakan. Membuka aplikasi mungkin tidak membutuhkan akses tambahan, sedangkan memilih kontak, membaca berkas, atau berinteraksi melalui layanan aksesibilitas mempunyai kebutuhan berbeda. Skill harus meminta kemampuan ketika diperlukan dan menjelaskan tindakan yang bergantung padanya. Jika izin tidak tersedia, alur dapat menawarkan langkah manual atau berhenti pada keadaan yang mudah dilanjutkan.

• Variasi: uji parameter, tata letak, bahasa, status akun, dan data kosong.
• Konfirmasi: tandai pengiriman pesan, penghapusan, publikasi, pembelian, dan perubahan akun sebagai langkah penting.
• Catatan: simpan versi skill, waktu eksekusi, keputusan utama, konfirmasi, dan hasil.
• Versi: beri nomor pada perubahan aturan agar perilaku baru dapat dibandingkan.
• Pemulihan: sediakan keadaan terakhir yang diketahui dan langkah aman untuk melanjutkan.
• Pengembalian versi: pertahankan versi sebelumnya ketika pembaruan aplikasi merusak alur baru.

Catatan tindakan seharusnya cukup untuk menjawab versi skill mana yang berjalan, parameter apa yang digunakan, izin apa yang tersedia, dan di mana kegagalan terjadi. Tata kelola identitas serta rekam tindakan dibahas dalam Identitas, izin, dan audit trail AI agent: lapisan keamanan untuk agen ponsel. Dengan pengujian variasi dan pemulihan yang jelas, skill berubah dari demonstrasi menarik menjadi prosedur yang dapat dipercaya dalam pemakaian berulang.

Pendekatan FoneClaw untuk alur ponsel yang dapat digunakan ulang

Bagaimana gagasan demonstrasi cocok dengan FoneClaw? Kami melihat rekaman dan penjelasan sebagai cara potensial untuk menangkap maksud prosedural, tetapi alur produk FoneClaw saat ini berpusat pada model yang dikonfigurasi dan tindakan Android yang didukung. FoneClaw belum membuat skill ponsel langsung dari rekaman layar. Batas ini menjaga perbedaan yang jelas antara arah desain yang sedang berkembang dan kemampuan yang tersedia.

Dalam penggunaan FoneClaw, model yang dikonfigurasi menyediakan pemahaman bahasa, penalaran, dan perencanaan. FoneClaw menerjemahkan rencana tersebut menjadi tindakan Android yang didukung, memperlihatkan keadaan serta hasilnya, memeriksa izin yang diperlukan, dan meminta konfirmasi pengguna pada langkah yang berakibat penting. Jika aplikasi berubah atau tindakan tidak dapat diteruskan, pengguna memperoleh jalur praktis untuk memperbaiki, melanjutkan secara manual, atau berhenti.

Kerangka demonstrasi tetap memberi pelajaran produk yang berguna. Alur yang dapat digunakan ulang seharusnya menyimpan tujuan, prasyarat, parameter, aturan pemilihan, pengecualian, izin, konfirmasi, dan pemeriksaan hasil. Klik atau ketukan hanya merupakan salah satu cara untuk mencapai tujuan tersebut. Dengan struktur ini, model dapat merencanakan berdasarkan keadaan aktual, sementara FoneClaw menangani tindakan ponsel dalam cakupan yang didukung.

Sebelum suatu alur dijalankan berulang kali, pengguna perlu mengetahui apa yang akan dibaca, diubah, dikirim, atau dihapus. Hasil setiap tahap harus terlihat. Pengiriman pesan, perubahan akun, publikasi, pembelian, dan tindakan penting lain tetap menjadi titik keputusan yang jelas. Pendekatan tersebut memungkinkan otomatisasi membantu pekerjaan rutin tanpa menghilangkan kendali atas akibatnya.

Jalur masa depan yang matang bukanlah tombol “rekam lalu jalankan selamanya”. Siklus yang tepat adalah merekam contoh bersih, menjelaskan keputusan, mengekstrak aturan, membentuk parameter, menguji variasi, memetakan izin, menetapkan konfirmasi, dan menyediakan pemulihan. Itulah standar yang kami gunakan untuk menilai gagasan mengajari phone agent lewat demonstrasi: skill harus memahami pekerjaan, beradaptasi terhadap keadaan Android, dan mempertahankan kendali pengguna dari awal sampai hasil akhir.