Konteks Gambar AI di Android: Menjaga Referensi dan Menganalisis Ulang
Panduan menjaga konteks gambar AI di Android, menganalisis ulang screenshot yang sama, memperbarui lampiran kedaluwarsa, dan memverifikasi tindakan.
- Konteks gambar yang berkelanjutan memerlukan referensi ke gambar asli, identitas aset, dimensi, sumber, dan riwayat analisis; ingatan percakapan saja tidak cukup.
- Pemilih foto, kamera, dan tangkapan layar menghasilkan sumber dengan izin serta kualitas berbeda, sehingga asal, waktu, orientasi, potongan, dan resolusi perlu diperiksa.
- Pertanyaan baru harus memicu analisis ulang piksel ketika temuan lama tidak memuat bukti yang dibutuhkan atau detail berubah akibat pemotongan dan kompresi.
- Nilai yang dibaca dari gambar perlu ditinjau sebelum dipakai untuk tindakan Android, kemudian hasil tindakan diperiksa dan referensi yang kedaluwarsa diperbarui secara eksplisit.
Arti Konteks Gambar yang Berkelanjutan di Android
Konteks gambar AI di Android berarti asisten dapat mempertahankan gambar yang benar selama percakapan berlangsung, membuka kembali piksel aslinya ketika pertanyaan berubah, dan menghubungkan temuan yang sudah diperiksa dengan tindakan berikutnya. Gambar diperlakukan sebagai masukan tugas yang tetap dapat dirujuk, bukan sekadar bahan visual untuk satu balasan.
Bayangkan Anda mengunggah foto struk. Pertanyaan pertama adalah, “Berapa jumlah akhirnya?” Asisten membaca total pembayaran. Beberapa menit kemudian Anda bertanya, “Apakah ada biaya layanan?” Jawaban pertama mungkin hanya menyimpan angka total sebagai teks. Untuk pertanyaan kedua, asisten perlu membuka kembali foto yang sama dan memeriksa baris rincian, bukan menebak dari ringkasan sebelumnya.
- Pengguna memilih atau mengambil satu gambar.
- Asisten mencatat identitas dan sumber gambar tersebut.
- Pertanyaan pertama menghasilkan temuan yang terikat pada gambar.
- Pertanyaan lanjutan diperiksa terhadap temuan yang sudah ada.
- Jika bukti belum cukup, piksel asli dianalisis ulang pada bagian yang relevan.
- Temuan baru ditinjau sebelum dipakai untuk tindakan di ponsel.
Ada tiga hal yang harus dibedakan. Pertama, aset gambar, yaitu piksel yang dipilih atau ditangkap. Kedua, referensi yang memungkinkan aplikasi menemukan kembali aset tersebut. Ketiga, temuan sebelumnya, seperti teks, objek, nominal, atau pesan kesalahan yang telah dikenali. Ingatan percakapan mungkin mempertahankan temuan, tetapi belum tentu menyimpan setiap detail visual yang dibutuhkan untuk pertanyaan baru.
Asisten juga harus mengetahui gambar mana yang sedang aktif. Jika percakapan memuat foto struk, screenshot aplikasi, dan gambar produk, frasa “gambar tadi” dapat menjadi ambigu. Antarmuka yang baik menampilkan pratinjau atau nama sumber, mempertahankan hubungan gambar dengan tugas saat ini, dan meminta pengguna memilih kembali ketika targetnya tidak jelas.
Memilih Foto, Mengambil Gambar, atau Menangkap Layar
Kualitas konteks dimulai saat gambar diperoleh. Android menyediakan beberapa jalur, dan setiap jalur cocok untuk kebutuhan berbeda. Pemilih foto berguna untuk media yang sudah tersimpan. Kamera cocok untuk objek atau dokumen di depan pengguna. Tangkapan layar paling tepat ketika bukti berada di aplikasi yang sedang terbuka.
| Sumber | Paling sesuai untuk | Hal yang perlu diperiksa |
|---|---|---|
| Pemilih foto | Struk, dokumen, produk, atau gambar yang sudah tersimpan | Gambar yang dipilih, orientasi, potongan, resolusi, dan masa akses |
| Kamera | Dokumen fisik, label, kerusakan benda, atau kondisi di sekitar | Pencahayaan, fokus, pantulan, bayangan, serta hasil penuh atau thumbnail |
| Tangkapan layar | Pesan kesalahan, halaman aplikasi, formulir, atau status transaksi | Aplikasi sumber, waktu tangkapan, area sensitif, skala tampilan, dan jendela yang dipilih |
Panduan pemilih foto Android menjelaskan bahwa pengguna dapat memberikan akses hanya ke gambar atau video yang dipilih. Aplikasi menerima URI untuk media tersebut, termasuk pilihan tunggal atau beberapa item. Jalur ini membatasi cakupan akses dan cocok ketika pengguna mengetahui gambar mana yang diperlukan.
Pengambilan melalui kamera mempunyai variasi hasil. Menurut panduan Intent kamera Android, aplikasi dapat menyerahkan proses pengambilan kepada aplikasi kamera dan menerima data gambar atau hasil yang disimpan. Thumbnail cukup untuk pratinjau, tetapi teks kecil, nomor seri, atau retakan halus mungkin memerlukan file beresolusi penuh. Proses mengambil gambar dan menganalisisnya tetap merupakan dua tahap yang perlu dipantau.
Untuk layar, dokumentasi MediaProjection Android menjelaskan bahwa pengguna memberikan persetujuan untuk setiap sesi penangkapan. Alurnya dapat mencakup seluruh layar atau jendela aplikasi tertentu, bergantung pada pilihan yang tersedia. Persetujuan sesi tersebut memberi konteks yang jelas tentang apa yang sedang ditangkap.
Sebelum mengirim gambar ke analisis, periksa empat hal: apakah sumbernya benar, apakah bagian penting terlihat, apakah orientasinya sesuai, dan apakah ada informasi sensitif yang perlu ditutupi. Jika kebutuhan Anda adalah memperoleh konteks dari aplikasi yang sedang dibuka, panduan Asisten AI Mengambang Android untuk Memahami Layar Saat Ini menjelaskan alur pengambilan layar saat ini secara lebih khusus.
Menjaga Satu Referensi Gambar di Sepanjang Tugas
Setelah gambar diperoleh, asisten memerlukan referensi yang stabil agar pertanyaan lanjutan tetap menunjuk ke aset yang sama. Referensi tersebut perlu membawa identitas gambar, asalnya, jenis berkas, dimensi, lokasi akses yang masih berlaku, dan hubungan dengan percakapan atau tugas aktif.
Dimensi bukan sekadar metadata tambahan. Lebar dan tinggi menentukan cara potongan gambar diterjemahkan, bagaimana koordinat sebuah objek dipahami, dan apakah pratinjau telah berubah skala. Jika sistem membaca tombol pada koordinat tertentu dari screenshot yang diperkecil, tindakan berikutnya berisiko mengarah ke tempat yang keliru. Karena itu, dimensi asli dan dimensi gambar yang benar-benar dianalisis perlu tetap dapat dibedakan.
Referensi lokal dapat berasal dari URI yang diberikan Android. Sebagian akses bersifat sementara, sedangkan pekerjaan yang berlangsung lebih lama mungkin memerlukan akses yang dipertahankan sesuai mekanisme Android. Referensi jarak jauh juga memiliki masa akses. Ketika masa tersebut berakhir, aplikasi perlu memperbarui akses terhadap aset yang sama atau meminta pengguna memilihnya kembali secara sadar.
Di FoneClaw, kami mempertahankan referensi gambar dan dimensinya agar lampiran atau hasil tangkapan tetap dapat digunakan untuk pertanyaan lanjutan selama aksesnya berlaku. Referensi lokal maupun jarak jauh tetap terikat pada tugas yang sedang berjalan. Jika akses perlu diperbarui, alur pemulihan mencoba menghubungkan kembali aset yang sama sebelum meminta pilihan baru.
- Identitas gambar konsisten pada setiap giliran percakapan.
- Sumber gambar tercatat sebagai pilihan media, kamera, atau tangkapan layar.
- Waktu pemilihan atau pengambilan membantu membedakan aset serupa.
- Jenis berkas serta dimensi asli tersedia saat analisis diulang.
- Pratinjau menunjukkan gambar yang sedang aktif.
- Referensi terikat pada tugas yang benar.
- Masa akses diperiksa sebelum piksel dibuka kembali.
- Pembaruan akses tidak mengganti gambar secara diam-diam.
Jika dua gambar terlihat mirip, identitas aset lebih dapat diandalkan daripada nama berkas. Foto struk yang diambil dua kali bisa mempunyai nama hampir sama, tetapi waktu, dimensi, sumber, dan pratinjaunya berbeda. Pemeriksaan singkat ini mencegah AI menganalisis screenshot yang salah.
Menganalisis Ulang Gambar Saat Pertanyaan Berubah
Analisis ulang gambar dengan AI diperlukan ketika pertanyaan baru membutuhkan bukti visual yang belum tercakup dalam jawaban sebelumnya. Sistem sebaiknya memulai dengan menilai apakah temuan lama sudah cukup. Jika tidak, referensi aktif dibuka kembali dan analisis diarahkan pada detail yang relevan.
Pada foto struk, pertanyaan total pembayaran membutuhkan area angka akhir. Pertanyaan tentang pajak membutuhkan baris rincian lain. Pertanyaan tentang tanggal transaksi memerlukan bagian kepala struk. Ketiganya memakai gambar yang sama, tetapi bukti yang dicari berbeda. Menyalin jawaban lama tidak akan menghasilkan pemeriksaan yang memadai.
Screenshot pesan kesalahan memberi contoh lain. Pertanyaan pertama mungkin meminta arti kode galat. Pertanyaan berikutnya dapat menanyakan tombol pemulihan mana yang harus dipilih. Analisis kedua perlu memeriksa tata letak, label tombol, status aplikasi, dan kemungkinan perubahan layar. Ketika piksel tidak cukup untuk memastikan elemen interaktif, inspeksi UI terstruktur dapat melengkapi gambar. Perbedaannya dibahas dalam Pemahaman Layar Agen AI Android: Pohon UI, Screenshot, atau Keduanya?.
Pada foto kondisi benda, pertanyaan pertama dapat mengidentifikasi jenis produk. Pertanyaan selanjutnya mungkin meminta pemeriksaan retakan atau perubahan warna. Detail kecil membutuhkan resolusi lebih tinggi atau potongan yang lebih sempit. Gambar yang dikompresi untuk pertanyaan umum mungkin belum mempertahankan detail yang diperlukan untuk pemeriksaan kondisi.
Persiapan multimodal memengaruhi hasil. Ukuran gambar, anggaran token visual, kompresi, dan pemotongan menentukan seberapa banyak detail yang sampai ke model. Kompresi membantu mengelola permintaan, tetapi detail kecil dapat berkurang. Alur yang baik memilih resolusi sesuai pertanyaan: gambaran umum untuk mengenali layar, potongan terarah untuk membaca teks kecil, dan sumber beresolusi lebih tinggi ketika kondisi objek perlu diperiksa.
Jika temuan baru bertentangan dengan hasil sebelumnya, tindakan lanjutan perlu berhenti. Tampilkan perbedaannya, buka kembali area yang relevan, atau minta pengguna mengonfirmasi gambar dan nilai yang benar. Misalnya, hasil pertama membaca total sebagai Rp178.000, sedangkan analisis ulang menunjukkan Rp173.000. Pengingat pengeluaran atau catatan pembayaran sebaiknya menunggu sampai angka tersebut diverifikasi.
Memverifikasi Tindakan dan Memulihkan Konteks yang Kedaluwarsa
Temuan visual baru menjadi berguna ketika dapat dibawa ke tindakan ponsel yang didukung. Sebelum tindakan dijalankan, nilai hasil ekstraksi perlu ditampilkan dalam bentuk yang mudah diperiksa. Pada struk, tampilkan merchant, tanggal, total, dan kategori. Pada screenshot galat, tampilkan nama aplikasi, kode kesalahan, dan langkah pemulihan yang akan dibuka.
Tindakan yang berdampak pada komunikasi, jadwal, catatan, atau data lain memerlukan pemeriksaan bidang penting. Penerima pesan, isi, tanggal, jam, nominal, judul catatan, dan aplikasi tujuan harus terlihat sebelum pengguna memberi konfirmasi. Nilai yang dikenali dari gambar berfungsi sebagai rancangan terisi, bukan keputusan akhir yang tersembunyi.
Setelah tindakan dilakukan, asisten perlu mencari bukti hasil. Catatan yang dibuat harus muncul pada daftar atau detail catatan. Pengingat perlu mempunyai waktu yang benar. Jika sistem membuka pengaturan, layar yang tampil harus sesuai dengan tujuan. Status berhasil pada proses internal belum cukup ketika keadaan ponsel tidak berubah.
| Tanda kegagalan | Arti yang mungkin | Pemulihan yang tepat |
|---|---|---|
| Pratinjau berbeda dari gambar yang dimaksud | Referensi tugas tertukar atau gambar aktif berubah | Hentikan tindakan, tampilkan daftar aset, lalu pilih kembali gambar yang benar |
| Lampiran tidak dapat dibuka | Akses URI atau referensi telah kedaluwarsa | Perbarui akses ke aset yang sama atau minta pengguna memilih ulang |
| Teks kecil terbaca tidak konsisten | Resolusi, pemotongan, atau kompresi mengurangi detail | Gunakan sumber asli atau analisis potongan beresolusi lebih tinggi |
| Temuan baru bertentangan dengan hasil lama | Bukti sebelumnya tidak lengkap atau area yang diperiksa berbeda | Bandingkan kedua temuan dan minta konfirmasi sebelum bertindak |
| Aplikasi tujuan berubah keadaan | Layar atau data tidak lagi sama dengan rencana awal | Baca ulang keadaan aplikasi dan susun langkah berikutnya |
| Tindakan dilaporkan selesai tetapi hasil tidak terlihat | Proses berhenti sebelum komitmen atau verifikasi | Periksa layar atau data tujuan sebelum mencoba kembali |
Referensi yang kedaluwarsa harus diperbarui secara eksplisit. Menggantinya dengan gambar terbaru dari galeri dapat menghasilkan jawaban yang tampak masuk akal tetapi berasal dari aset lain. Pemulihan yang aman mempertahankan identitas tugas, menunjukkan pratinjau, dan meminta pilihan baru jika aset asli tidak lagi tersedia.
Skor keyakinan dapat membantu menentukan kapan pemeriksaan tambahan diperlukan, tetapi bukti tetap berasal dari gambar dan hasil tindakan. Untuk nilai penting, gunakan pratinjau yang dapat dibaca pengguna, analisis ulang terarah, dan pemeriksaan keadaan setelah tindakan.
Membatasi Akses dan Mengatur Masa Simpan Gambar
Konteks visual yang berkelanjutan bekerja paling baik ketika cakupan aksesnya jelas. Untuk media yang sudah tersimpan, pemilih foto memungkinkan pengguna memberikan akses pada item yang dipilih. Panduan Android untuk meminimalkan permintaan izin menempatkan jalur sempit seperti ini sebagai pilihan yang sesuai ketika aplikasi hanya memerlukan media tertentu.
Sebelum memilih atau menangkap gambar, tentukan bagian yang benar-benar dibutuhkan. Saat memakai screenshot, periksa notifikasi, identitas akun, kode pemulihan, alamat, dan informasi pembayaran yang mungkin ikut terlihat. Potong atau tutupi area sensitif yang tidak membantu tugas. Saat analisis berlangsung, pratinjau aset aktif dan tujuan penggunaan perlu tetap mudah dilihat.
Masa tugas juga perlu dibedakan dari penyimpanan jangka panjang. Sebuah gambar dapat diperlukan selama percakapan aktif agar pertanyaan lanjutan berfungsi, lalu dihapus atau dilepaskan setelah tugas selesai. Pengguna dapat mempertahankan akses lebih lama untuk pekerjaan yang memang berlanjut, tetapi keputusan tersebut sebaiknya dibuat berdasarkan kebutuhan nyata.
- Sebelum: pilih sumber paling sempit, periksa area sensitif, dan pastikan gambar yang benar.
- Selama: lihat pratinjau aktif, batasi pertanyaan pada tujuan tugas, dan tinjau data yang diekstrak.
- Sesudah: periksa hasil tindakan, hapus lampiran yang tidak diperlukan, dan akhiri akses penangkapan layar.
Jika lingkup tugas berubah, pilih ulang gambar atau mulai sesi tangkapan baru. Persetujuan MediaProjection berlaku untuk sesi yang diberikan pengguna, sedangkan URI sementara dan akses yang dipertahankan memiliki masa berlaku berbeda. Untuk aturan konteks ponsel yang lebih luas, baca Asisten AI Proaktif di Ponsel: Konteks, Izin, Kontrol, dan Batas Tindakan.
Alur Gambar ke Tindakan yang Andal di FoneClaw
Di FoneClaw, kami membangun alur visual agar satu gambar dapat tetap menjadi dasar tugas selama pengguna masih membutuhkannya. Lampiran dari pilihan media, kamera, atau tangkapan layar disiapkan bersama referensi, dimensi, dan konteks tugas. Ketika pertanyaan berubah, gambar dapat dianalisis ulang dengan persiapan multimodal yang sesuai.
Contoh berisiko rendah adalah mengubah foto struk menjadi catatan pengeluaran yang telah ditinjau. Pertama, pilih atau ambil satu foto struk dan pastikan seluruh bagian penting terlihat. FoneClaw mempertahankan gambar tersebut sebagai aset aktif, bukan hanya menyimpan ringkasan jawaban pertama.
Kedua, ajukan pertanyaan yang terarah, misalnya, “Berapa total pembayaran dan tanggal transaksi?” Model yang dikonfigurasi di dalam FoneClaw menganalisis gambar, lalu hasilnya ditampilkan sebagai temuan yang dapat diperiksa. Jika teks terlalu kecil, pengguna dapat memilih sumber beresolusi lebih tinggi atau memusatkan analisis pada area tertentu.
Ketiga, tanyakan sesuatu yang membutuhkan bukti lain: “Apakah total itu sudah termasuk biaya layanan?” FoneClaw menyiapkan kembali lampiran yang sama, menyesuaikan penggunaan detail visual, dan mengarahkan analisis pada baris rincian. Jika akses lampiran perlu diperbarui, alur pemulihan berusaha mempertahankan aset yang sama dan meminta pilihan ulang ketika diperlukan.
Keempat, minta tindakan lanjutan, seperti membuat catatan pengeluaran. FoneClaw menyusun judul, merchant, tanggal, nominal, dan keterangan dari temuan yang sudah diverifikasi. Pratinjau ditampilkan sebelum catatan disimpan. Pengguna dapat memperbaiki angka atau membatalkan tindakan jika pembacaan gambar belum tepat.
Kelima, setelah pengguna mengonfirmasi, FoneClaw menjalankan tool Android yang didukung dan memeriksa hasilnya. Progres tetap terlihat selama tugas berjalan. Jika izin belum tersedia atau aplikasi berubah keadaan, alur pemulihan membantu membuka langkah yang relevan, lalu tugas dapat dilanjutkan setelah kondisinya siap.
Alur yang sama dapat dipakai untuk screenshot pesan kesalahan. Lampirkan layar, identifikasi kode dan aplikasi, tanyakan langkah pemulihan, lalu pratinjau pengaturan yang akan dibuka. Setelah tindakan dilakukan, ambil atau lampirkan konteks baru untuk memastikan pesan galat berubah. Dengan demikian, gambar awal, analisis ulang, tindakan, dan bukti hasil tetap berada dalam satu rangkaian yang dapat diperiksa.
Kemampuan aktual dipengaruhi versi Android, izin, keadaan aplikasi, region, kemampuan model, dan cakupan tugas. Kami menggunakan tool yang eksplisit, titik konfirmasi, progres terlihat, dan verifikasi hasil untuk menjaga alur tetap dapat dipahami. Rincian kemampuan gambar, konteks layar, kamera, catatan, kalender, komunikasi, dan alur kerja dapat dilihat di halaman Fitur FoneClaw.
Untuk mencoba pola ini, gunakan halaman Download FoneClaw, lalu mulai dengan satu foto atau screenshot yang tidak sensitif. Ajukan dua pertanyaan yang memerlukan detail berbeda, periksa bahwa pratinjau tetap menunjuk ke aset yang sama, dan lanjutkan ke tindakan sederhana seperti membuat catatan atau pengingat setelah nilainya diverifikasi.