Asisten AI Mengambang Android untuk Memahami Layar Saat Ini

Mengurangi perpindahan aplikasi tanpa menutupi pekerjaan

Asisten AI mengambang Android layar saat ini berguna ketika pengguna membutuhkan bantuan tanpa meninggalkan aplikasi yang sedang dibuka. Panel kecil dapat dipanggil di atas halaman belanja, pesan, kalender, formulir, atau dokumen, lalu dipindahkan agar tidak menutupi bagian penting. Nilainya bukan sekadar selalu terlihat, melainkan memperpendek jarak antara pertanyaan dan konteks yang ingin dibahas.

Bayangkan Anda membaca rincian acara dalam aplikasi pesan. Cara lama mengharuskan Anda menyalin teks, membuka aplikasi AI, menempelkan informasi, meminta ringkasan, lalu kembali ke pesan. Asisten mengambang memungkinkan pertanyaan dibuat dari tempat yang sama. Pengguna dapat melampirkan tampilan aktif, meminta ekstraksi tanggal dan lokasi, kemudian meninjau usulan acara kalender sebelum menyimpannya.

Ukuran panel menentukan apakah pengalaman ini membantu atau mengganggu. Panel yang terlalu besar menutupi target, sedangkan gelembung yang tidak dapat dipindahkan dapat menghalangi tombol aplikasi. Kontrol utama harus mudah ditemukan: pindahkan, perkecil, kembali ke tugas, hentikan, dan tutup. Pengguna juga perlu melihat apakah agen sedang memahami konteks, menjalankan langkah, atau menunggu persetujuan.

Asisten mengambang tidak harus mempertahankan percakapan panjang di atas setiap layar. Mode ringkas dapat menampilkan status dan satu tindakan berikutnya, sementara detail tetap tersedia saat panel diperluas. Dengan susunan ini, pengguna dapat mengawasi tugas tanpa kehilangan fokus pada aplikasi tujuan.

Suara dapat menjadi jalur pemanggilan yang cepat ketika tangan sedang sibuk, tetapi layar tetap berguna untuk memeriksa target dan tindakan. Pembahasan Kontrol Suara Android: Setup Aman, Perintah Jelas, dan Alur FoneClaw menjelaskan bagaimana perintah suara, layar, dan pengambilalihan lewat sentuhan saling melengkapi.

Memahami konteks layar yang dilampirkan pengguna

Konteks layar saat ini adalah keadaan aplikasi yang terlihat ketika pengguna memilih untuk melampirkannya ke tugas. Konteks dapat mencakup teks, label, bidang, gambar, atau susunan antarmuka yang tersedia pada saat itu. Tindakan melampirkan perlu terlihat agar pengguna mengetahui aplikasi dan tampilan mana yang sedang diberikan kepada model.

Contohnya, pengguna membuka halaman pemesanan dengan tanggal, harga, dan ketentuan pembatalan. Setelah menekan lampirkan layar, asisten dapat diminta membandingkan pilihan atau menjelaskan syarat yang rumit. Lampiran tersebut mewakili keadaan pada saat pengambilan. Jika pengguna mengganti tanggal atau membuka halaman lain, konteks perlu diperbarui sebelum agen menyusun tindakan berikutnya.

Pemisahan antara konteks percakapan dan konteks layar membantu mengurangi informasi yang tidak diperlukan. Pengguna tidak harus menyerahkan seluruh riwayat aplikasi hanya untuk menanyakan satu bagian yang terlihat. Panel dapat menunjukkan bahwa layar sudah dilampirkan, memberikan pilihan untuk melepasnya, dan meminta lampiran baru ketika keadaan aplikasi berubah.

Kesegaran konteks sangat penting untuk tugas yang berujung pada tindakan. Harga, penerima pesan, akun aktif, posisi tombol, atau isi formulir dapat berubah beberapa detik setelah lampiran dibuat. Sebelum mengirim, menyimpan, atau mengubah data, agen perlu memeriksa bahwa target yang terlihat masih sesuai dengan usulan yang ditinjau pengguna.

Konteks personal juga perlu dipisahkan dari layar aktif. Preferensi kalender atau gaya balasan mungkin membantu tugas tertentu, tetapi tidak otomatis menjadi bagian dari setiap pertanyaan layar. Artikel Agen AI dengan Konteks Personal untuk Phone Agent membahas cara memilih konteks yang relevan tanpa membebani setiap tugas dengan data tambahan.

Mengenali batas overlay, aksesibilitas, dan keadaan layar

Android membedakan tampilan overlay dari kemampuan membaca isi jendela. Sebuah panel dapat muncul di atas aplikasi tanpa otomatis memperoleh seluruh data yang ada di bawahnya. Akses terhadap konten jendela bergantung pada kemampuan yang dideklarasikan, izin pengguna, layanan yang aktif, dan informasi yang memang disediakan oleh aplikasi atau sistem.

Dokumentasi Android mengenai layanan aksesibilitas dan jendela aplikasi menjelaskan bahwa pengambilan konten jendela memerlukan kemampuan yang dinyatakan dalam konfigurasi layanan. Android juga menyediakan overlay aksesibilitas untuk menghadirkan kontrol langsung, tetapi kemampuan tersebut tetap berjalan dalam aturan sistem dan konfigurasi yang diberikan pengguna.

Data antarmuka dapat menjadi usang. Sebuah elemen yang sebelumnya mewakili tombol kirim mungkin berubah setelah dialog terbuka, halaman dimuat ulang, atau akun berganti. Panduan Android tentang pembuatan layanan aksesibilitas mengingatkan bahwa informasi jendela perlu diperlakukan sebagai keadaan yang dapat berubah. Agen perlu mengambil ulang konteks sebelum langkah yang bergantung pada posisi atau nilai terkini.

Beberapa tampilan juga membatasi pengambilan isi, terutama pada area yang dilindungi, layar autentikasi, atau antarmuka yang tidak memberikan struktur yang dapat digunakan. Dalam keadaan tersebut, asisten dapat menjelaskan bagian yang tersedia, meminta pengguna membuka tampilan lain, atau menyerahkan langkah akhir melalui sentuhan.

Izin harus hadir sebagai bagian dari alur yang dapat dipahami. Jika tugas membutuhkan aksesibilitas, mikrofon, kamera, notifikasi, atau fungsi lain, pengguna perlu mengetahui kegunaannya pada tugas tersebut. Pusat status yang menampilkan izin, tugas aktif, dan tindakan menunggu dibahas lebih lanjut dalam Kontrol AI Agent di Ponsel: Saat Smartphone Menjadi Pusat Komando.

Dari memanggil asisten hingga menyetujui tindakan

Alur yang aman dapat diuji dengan satu skenario nyata. Misalnya, pengguna melihat tagihan dalam aplikasi email dan ingin membuat pengingat pembayaran. Tugas ini memerlukan pemahaman layar, ekstraksi tanggal, pemilihan kalender atau aplikasi tugas, serta keputusan sebelum data baru disimpan.

1. Panggil asisten. Buka panel mengambang tanpa meninggalkan email. Posisikan panel agar jumlah dan tanggal jatuh tempo tetap terlihat.
2. Lampirkan layar aktif. Pengguna menekan kontrol lampiran sehingga konteks yang terlihat masuk ke tugas secara sengaja.
3. Ajukan permintaan. Gunakan instruksi jelas: “ambil tanggal jatuh tempo dan jumlahnya, lalu siapkan pengingat satu hari sebelumnya.”
4. Periksa pemahaman. Asisten menampilkan tanggal, jumlah, sumber informasi, kalender tujuan, serta waktu pengingat yang ditafsirkan.
5. Tinjau tindakan. Usulan pembuatan pengingat masih dibedakan dari pengingat yang sudah disimpan. Pengguna dapat mengubah tanggal, kalender, atau judul.
6. Setujui atau hentikan. Setelah target benar, pengguna menyetujui. Jika konteks salah atau informasi kurang, tugas dapat dihentikan tanpa membuat perubahan.
7. Pulihkan bila terhambat. Jika izin kalender belum tersedia atau aplikasi berubah, panel menjelaskan hambatan dan membantu pengguna kembali setelah masalah diselesaikan.

Persetujuan perlu menyebut tindakan secara spesifik. Tombol “Buat pengingat di Kalender Pribadi” lebih jelas daripada “Lanjutkan”. Jika lampiran layar berubah setelah usulan dibuat, pratinjau perlu diperbarui sehingga keputusan tetap merujuk pada keadaan terbaru.

Untuk pola persetujuan yang membedakan saran, pratinjau, keyakinan, alasan, dan penerapan, baca UX Persetujuan Agen AI di Ponsel: Keyakinan, Alasan, dan Kontrol Pengguna.

Membedakan pencarian layar dari tindakan agen ponsel

Pencarian layar dan agen ponsel sama-sama berangkat dari apa yang sedang terlihat, tetapi hasil akhirnya berbeda. Pencarian layar membantu mengenali objek, mencari informasi, menyalin teks, atau menerjemahkan. Agen ponsel dapat memakai pemahaman tersebut untuk merencanakan dan menjalankan tindakan Android yang didukung melalui alat, izin, dan persetujuan yang sesuai.

Google mendokumentasikan Circle to Search pada perangkat Android tertentu sebagai alur yang dimulai pengguna untuk memilih teks, gambar, atau video dan melihat hasil pencarian di atas layar aktif. Pengguna dapat melingkari, mengetuk, atau menandai bagian yang ingin dicari. Penggunaan tangkapan layar terkait dapat dikelola melalui pengaturan asisten digital.

Circle to Search cocok ketika pertanyaannya adalah “produk apa ini?”, “apa arti kalimat ini?”, atau “di mana saya dapat menemukan barang serupa?”. Hasilnya membantu pencarian dan pemahaman. Jika pengguna kemudian ingin menyimpan informasi ke catatan, membuat acara, menyiapkan pesan, atau menjalankan perubahan lain, tugas memasuki wilayah tindakan agen ponsel.

Pemisahan ini membantu pengguna memilih jalur tercepat. Gunakan pencarian layar untuk pertanyaan langsung. Gunakan agen ponsel ketika konteks perlu diteruskan menjadi tugas beberapa langkah dengan status dan hasil yang dapat diperiksa.

Asisten mengambang dan kelanjutan tugas FoneClaw saat ini

Berdasarkan informasi terbaru yang tersedia sejauh ini, FoneClaw menghadirkan asisten mengambang yang dapat dipindahkan dan panel ringkas. Kami merancangnya agar pengguna dapat mempertahankan aplikasi tujuan di layar sambil meminta bantuan, memeriksa status, atau mengambil keputusan tanpa terus berpindah ke Home.

Lampiran layar aktif tersedia dengan satu ketukan. Ketika pengguna memilihnya, FoneClaw mengambil konteks yang terlihat untuk tugas tersebut dan mengecualikan overlay FoneClaw dari lampiran. Hasilnya berfokus pada aplikasi tujuan, bukan panel yang digunakan untuk mengajukan pertanyaan.

Model yang dikonfigurasi menangani pemahaman dan perencanaan. Alat yang diatur, termasuk cross_app_read_screen dan get_screen_info, memperoleh konteks layar yang tersedia untuk tindakan yang didukung. Kemampuan tersebut bekerja sesuai izin, keadaan jendela, dan informasi yang dapat dibaca pada perangkat.

Kemampuan yang tersedia saat ini juga menjaga kelanjutan tugas antara Home dan asisten mengambang pada ponsel yang sama. Pengguna dapat berpindah tampilan sambil mempertahankan pelaksanaan, permintaan persetujuan, kontrol penghentian, dan pemulihan izin. Perpindahan ini tidak mengubah perangkat pelaksana; tindakan tetap berlangsung melalui FoneClaw dan kemampuan Android pada ponsel tersebut.

Contohnya, pengguna dapat membuka aplikasi perjalanan, melampirkan layar pemesanan, dan meminta ringkasan aturan bagasi. Jika tugas dilanjutkan menjadi catatan atau pengingat yang didukung, panel menampilkan usulan sebelum perubahan dibuat. Ketika izin belum tersedia, pengguna dapat mengikuti pemulihan dan kembali ke tugas yang sama selama konteksnya masih berlaku.

Informasi versi terbaru tersedia melalui halaman Download FoneClaw. Kami memusatkan pengalaman ini pada konteks yang dipilih pengguna, hasil yang terlihat, tindakan Android yang didukung, dan jalur pengambilalihan yang tetap mudah dijangkau.

Menguji kegunaan, privasi, persetujuan, dan pemulihan

Asisten mengambang sebaiknya diuji pada aplikasi yang benar-benar digunakan sehari-hari. Pilih tugas berisiko rendah, seperti menjelaskan satu formulir, meringkas halaman pemesanan, atau menyiapkan pengingat tanpa langsung menyimpannya. Perhatikan bukan hanya kualitas jawaban, tetapi seluruh perjalanan dari konteks hingga hasil.

• Kegunaan panel: pastikan panel dapat dipindahkan, diperkecil, dan ditutup tanpa menutupi target utama.
• Pemilihan konteks: periksa apakah layar hanya dilampirkan setelah tindakan yang jelas dari pengguna.
• Identitas aplikasi: pastikan pengguna dapat mengetahui aplikasi dan keadaan layar yang menjadi sumber konteks.
• Kesegaran: ubah satu nilai pada aplikasi dan lihat apakah agen meminta atau mengambil konteks terbaru sebelum bertindak.
• Pengecualian overlay: pastikan panel asisten tidak masuk ke lampiran layar dan tidak mencemari pemahaman model.
• Izin: periksa apakah kebutuhan akses dijelaskan ketika tugas memerlukannya serta apakah penolakan menghasilkan langkah berikutnya yang jelas.
• Pratinjau tindakan: pastikan target, perubahan, dan konsekuensi terlihat sebelum tindakan berdampak dijalankan.
• Penghentian: hentikan tugas ketika sedang berjalan dan lihat apakah status akhirnya dapat dipahami.
• Pemulihan: cabut izin yang relevan, jalankan kembali tugas, lalu nilai apakah produk membantu pengguna memulihkan akses dan kembali ke konteks yang benar.
• Pengambilalihan: pastikan pengguna dapat kembali ke sentuhan dan menyelesaikan langkah secara manual tanpa kehilangan informasi penting.

Uji privasi dapat dilakukan dengan membuka layar yang memuat informasi tambahan di luar pertanyaan. Lampirkan hanya ketika konteks tersebut memang diperlukan, lalu periksa apakah lampiran dapat dilepas atau diperbarui. Untuk data sensitif, gunakan tugas contoh terlebih dahulu sebelum memberikan konteks sebenarnya.

Asisten AI mengambang Android layar saat ini memberikan manfaat terbesar ketika hubungan antara melihat, memahami, dan bertindak tetap jelas. Pengguna memilih konteks, model membantu menalar, alat menjalankan tindakan yang didukung, dan layar menyediakan tempat untuk menyetujui, menghentikan, atau memulihkan. Dengan pola ini, panel mengambang menjadi kendali yang praktis, bukan sekadar gelembung percakapan di atas aplikasi.