SeedRealtime Full Duplex untuk Phone Agent: Dari Suara Real-Time ke Eksekusi Android

Apa yang diubah SeedRealtime dan Seeduplex untuk phone agent

SeedRealtime phone agent full duplex menjadi topik penting karena rilis Seed menunjukkan arah baru dalam interaksi suara: model dapat mendengar saat sedang berbicara. Dalam pengantar Seed Full-Duplex Speech LLM pada 9 April 2026, ByteDance Seed menjelaskan Seeduplex sebagai kerangka native listen-while-speaking yang meningkatkan attentive listening, interference suppression, endpointing, dan penanganan interupsi. Seed juga menyebut rollout ke Doubao sebagai bagian dari penerapan produk.

Dalam percakapan half-duplex, sistem biasanya menunggu giliran: pengguna bicara, model menjawab, lalu pengguna menunggu sampai jawaban selesai. Full-duplex mengubah ritme itu. Pengguna dapat menyela, memberi koreksi, atau menambahkan konteks saat model masih berbicara. Untuk agen suara real time, perubahan ini besar karena ponsel dipakai dalam situasi yang jarang rapi: pengguna berjalan, lingkungan bising, layar berubah, dan niat sering berkembang di tengah kalimat.

Halaman model SeedRealtime memberi konteks nama dalam keluarga model Seed saat ini. Dari sisi FoneClaw, kami membaca SeedRealtime dan Seeduplex sebagai sinyal arsitektur: percakapan akan semakin cair, tetapi phone agent tetap membutuhkan lapisan eksekusi Android yang terkelola. Untuk prinsip voice-first yang lebih luas, Ponsel AI yang Mengutamakan Suara: Mengapa Voice-First Tetap Membutuhkan Layar menjelaskan mengapa suara menjadi jalur utama, sementara layar tetap diperlukan untuk bukti, pilihan, dan persetujuan.

Cara AI suara full-duplex menangani jeda, noise, dan interupsi

Full-duplex terdengar sederhana: AI berbicara sambil tetap mendengar. Dalam praktiknya, ini memerlukan keputusan teknis yang sulit. Sistem harus membedakan jeda berpikir dari akhir kalimat, memisahkan suara pengguna dari noise sekitar, mengenali ketika pengguna benar-benar ingin menyela, dan memilih apakah jawaban yang sedang diucapkan perlu dihentikan, diringkas, atau diarahkan ulang.

Endpointing adalah bagian pertama. Jika sistem terlalu cepat menganggap pengguna selesai, jawaban terasa memotong. Jika terlalu lama menunggu, percakapan terasa lambat. Barge-in menjadi bagian kedua: pengguna dapat berkata “tunggu, maksud saya kontak yang satunya” saat model sedang menjawab. Phone agent yang baik perlu memahami bahwa interupsi seperti ini dapat mengubah target tindakan, bukan hanya mengubah kalimat.

Noise dan side speech membuat masalah lebih nyata di ponsel. Dapur, jalan raya, kendaraan, kantor terbuka, atau suara orang lain dapat mengganggu audio. Seed mengaitkan Seeduplex dengan peningkatan suppression dan penanganan interupsi dalam rilisnya; angka dan hasil spesifik tetap kami atribusikan kepada laporan Seed. Riset How Should LLMs Listen While Speaking? menambahkan konteks ilmiah: sistem full-duplex harus merutekan audio pengguna yang masuk saat generasi sedang berjalan, dan strategi seperti channel fusion atau cross-attention membawa tradeoff antara grounding dan ketahanan konteks.

Untuk phone agent, latensi juga menentukan rasa percakapan. Model yang cepat membantu turn-taking terasa alami, tetapi kecepatan model perlu bertemu dengan kecepatan sistem Android, izin, dan verifikasi hasil. Pembaca yang ingin memahami sisi inference-speed dapat melanjutkan ke LLM 1000 TPS untuk Agen AI Ponsel: Apa Artinya?. Pelajaran kami: percakapan real-time hanya menjadi berguna di ponsel ketika tindakan berikutnya tetap dapat diverifikasi.

Mengapa percakapan dan eksekusi Android adalah dua lapisan berbeda

AI suara dua arah memperbaiki lapisan interaksi. Ia membuat pengguna dapat bicara, menyela, mengoreksi, dan menambahkan konteks dengan cara yang lebih natural. Namun Android execution berada di lapisan lain. Mengubah Do Not Disturb, menyiapkan SMS, membuka panggilan, menyerahkan navigasi ke aplikasi peta, atau menjalankan pengaturan tertentu membutuhkan target, izin, status, persetujuan, dan hasil yang dapat dilihat.

Kami membedakan dua bidang kerja. Bidang pertama adalah percakapan: menangkap niat, memahami nada, menerima koreksi, dan menjaga alur dialog. Bidang kedua adalah eksekusi: memilih kemampuan Android yang didukung, memeriksa izin, menyiapkan rencana, meminta approval, menjalankan tindakan, lalu memverifikasi hasil. Full-duplex memperkuat bidang pertama. Phone agent yang dapat dipercaya memerlukan bidang kedua.

Kesalahan umum terjadi saat keduanya disatukan terlalu cepat. Kalimat yang terdengar lancar dapat terasa seperti izin, padahal tindakan ponsel butuh verifikasi. Pengguna mungkin berkata “ya, kirim”, tetapi agent masih perlu memastikan penerima dan isi SMS yang terlihat. Pengguna mungkin menyela “yang kantor”, dan agent perlu memperbarui target kontak sebelum tindakan berjalan. Dalam FoneClaw, kami membangun lapisan eksekusi agar percakapan yang natural dapat masuk ke tindakan Android yang terkelola.

Untuk dasar phone-agent execution secara umum, Kontrol Ponsel dengan AI Agent: Cara Kerja, Batas, dan Keamanan Android menjelaskan bagaimana permintaan pengguna berubah menjadi tindakan ponsel yang didukung, mengapa izin Android penting, dan kapan hasil perlu ditinjau.

Kontrak tujuh tahap dari niat suara ke hasil terverifikasi

Agar SeedRealtime atau model full-duplex lain berguna bagi phone agent, percakapan perlu masuk ke kontrak eksekusi yang jelas. Kami memakai pola tujuh tahap saat merancang alur FoneClaw: tangkap, klarifikasi, rencanakan, setujui, jalankan, verifikasi, dan pulihkan. Urutan ini menjaga kecepatan suara tetap terhubung dengan tindakan Android yang dapat dipercaya.

1. Tangkap: dengarkan niat pengguna dari suara, teks, atau entry point lain. Dalam skenario full-duplex, tahap ini juga menerima interupsi saat model sedang berbicara.
2. Klarifikasi: pastikan target tindakan, misalnya kontak mana, aplikasi mana, durasi Do Not Disturb, atau tujuan navigasi.
3. Rencanakan: pilih kemampuan Android yang didukung dan tentukan data serta izin yang diperlukan.
4. Setujui: tampilkan konsekuensi tindakan penting sebelum efek eksternal terjadi.
5. Jalankan: pakai alat terkelola untuk melakukan tindakan sesuai cakupan produk.
6. Verifikasi: baca keadaan akhir, seperti mode sudah aktif, draf SMS sudah siap, atau navigasi sudah diserahkan ke aplikasi peta.
7. Pulihkan: bila izin, layar, jaringan, atau konteks berubah, bawa pengguna ke langkah yang dapat dilanjutkan.

Kontrak ini juga membuat interupsi lebih aman. Jika pengguna menyela di tahap klarifikasi, agent memperbarui target. Jika menyela di tahap persetujuan, agent dapat menahan tindakan. Jika menyela setelah eksekusi, agent perlu menunjukkan hasil dan opsi pemulihan. Dalam desain approval, konteks tindakan lebih penting daripada rasa lancar percakapan. Pembahasan lebih dalam tersedia di UX Persetujuan Agen AI di Ponsel: Keyakinan, Alasan, dan Kontrol Pengguna.

Cara kami membangun lapisan eksekusi FoneClaw saat ini

Berdasarkan informasi terbaru yang tersedia sejauh ini, FoneClaw menjadi dasar saat ini untuk lapisan eksekusi Android yang kami bangun. Kemampuan ini menghadirkan floating assistant, same-phone task continuity, permission recovery, dan quick actions. Pengguna dapat melihat informasi unduhan saat ini melalui halaman Download FoneClaw. Status produk hari ini sederhana: FoneClaw memakai model yang dikonfigurasi pengguna melalui jalur produk yang tersedia, sementara SeedRealtime kami bahas di artikel ini sebagai konteks desain real-time.

Voice input di FoneClaw dipicu pengguna. Current-screen context juga dipicu pengguna, bukan pemantauan terus-menerus. Ketika pengguna melampirkan layar saat ini, FoneClaw memakai konteks yang terlihat untuk membantu penalaran dan tindakan yang didukung. Untuk mekanisme asisten mengambang dan lampiran layar saat ini, Asisten AI Mengambang Android untuk Memahami Layar Saat Ini menjelaskan pola user-triggered visual context yang kami pakai saat ini.

Lapisan eksekusi FoneClaw bekerja melalui Android permissions dan governed tools. Contoh cakupannya meliputi Do Not Disturb yang memerlukan persetujuan dan konfirmasi status, messaging yang menyiapkan draf terlihat dan memverifikasi kondisi sebelum pengiriman SMS teks, dialer, navigasi ke aplikasi peta, serta selected settings workflows. Halaman fitur FoneClaw merangkum kemampuan yang tersedia saat ini, termasuk 100+ built-in tools untuk tindakan Android yang didukung.

Pelajaran kami dari membangun FoneClaw adalah bahwa model interaksi dan lapisan eksekusi harus saling menghormati. Model boleh menangkap niat dengan cepat, tetapi alat Android harus menjaga izin, target, approval, dan hasil. Jika suatu saat model full-duplex masuk ke jalur produk, kontrak tujuh tahap tetap menjadi pusat: percakapan boleh semakin natural, tindakan ponsel tetap perlu dapat ditinjau.

Skenario phone agent full-duplex yang membutuhkan safeguard eksekusi

Skenario pertama adalah mode rapat. Pengguna berkata, “Aktifkan mode rapat satu jam,” lalu saat agent menjelaskan, pengguna menyela, “buat sampai jam tiga saja.” Full-duplex membantu menangkap koreksi itu tanpa menunggu jawaban selesai. Lapisan eksekusi kemudian perlu mengubah durasi, menampilkan ringkasan, meminta approval bila diperlukan, menjalankan Do Not Disturb yang didukung, dan memverifikasi status akhir.

Skenario kedua adalah pesan. Pengguna mendikte, “Kirim SMS ke Rina, saya terlambat sepuluh menit,” lalu menyela, “maksud saya Rina kantor.” Percakapan full-duplex membantu menerima koreksi di tengah proses. Phone agent tetap harus memperbarui penerima, menampilkan draf, memastikan isi lengkap, memeriksa aplikasi SMS default, lalu mengirim hanya ketika kontrol Kirim stabil dan pengguna sudah memberi persetujuan yang sesuai.

Skenario ketiga adalah panggilan atau navigasi. Pengguna berkata, “Telepon Budi,” lalu menambahkan, “Budi kurir, bukan Budi keluarga,” atau “Arahkan saya ke kantor cabang Bandung.” Agent perlu menangkap perubahan target, menyiapkan panggilan atau menyerahkan navigasi ke aplikasi peta yang dipilih, dan menjaga pengguna tetap melihat tujuan akhir. Dalam perjalanan, hands-free tetap membutuhkan perhatian pada konteks fisik dan keadaan perangkat.

Skenario keempat adalah tugas yang terinterupsi. Pengguna mulai dari layar pesan, pindah ke kalender, lalu kembali ke floating assistant. FoneClaw menjaga same-phone task continuity agar pekerjaan tidak pecah menjadi percakapan terpisah. Di sinilah agen suara real time dan execution layer bertemu: suara membuat koreksi cepat, task state menjaga pekerjaan tetap utuh, dan recovery membawa pengguna kembali ke langkah yang dapat dilanjutkan.

Privasi, baterai, batas audio-visual, dan pekerjaan berikutnya

Full-duplex voice AI membawa tantangan produk yang nyata. Mikrofon yang aktif lebih sering membutuhkan indikator, kontrol pemanggilan, dan mode berhenti yang jelas. Baterai dan panas perangkat perlu dihitung karena streaming audio, deteksi interupsi, dan pemrosesan real-time dapat menambah beban. Noise membuat sistem harus memilih antara respons cepat dan konfirmasi tambahan. Accidental action risk muncul ketika kalimat santai terdengar seperti perintah.

Visual grounding juga menjadi pekerjaan terpisah. Dalam rilis Seed pada 9 April 2026, visual input dan proactive interaction disebut sebagai arah berikutnya. Riset VideoFDB tentang benchmark full-duplex audio-visual menunjukkan bahwa streaming audio-visual grounding masih menjadi tantangan berbeda, dan banyak sistem dapat kurang memakai visual stream di luar pertanyaan visual yang eksplisit. Bagi phone agent, mendengar, melihat, dan bertindak harus digabung melalui kontrak yang hati-hati.

Di FoneClaw, jalur saat ini adalah user-triggered voice dan user-triggered current-screen context. Itu memberi pengguna kendali kapan agent mendengar permintaan dan kapan layar dilampirkan. Ke depan, kami menilai integrasi real-time dari empat hal: apakah invocation jelas, apakah konteks minimum cukup, apakah tindakan berdampak meminta approval, dan apakah hasil dapat diverifikasi serta dipulihkan.

Checklist builder kami: pisahkan percakapan dari eksekusi; catat task state; minta izin saat tugas memerlukannya; tampilkan target sebelum tindakan eksternal; verifikasi hasil dari Android; sediakan stop dan recovery; ukur dampak baterai; dan perlakukan visual context sebagai input yang dipilih pengguna. SeedRealtime dan Seeduplex membuat percakapan semakin alami. FoneClaw membangun lapisan Android yang membuat percakapan itu bisa menjadi tindakan ponsel yang dapat dipercaya.

Sumber: pengantar model suara dua arah Seed, halaman model SeedRealtime, riset tentang cara model bahasa mendengar sambil berbicara, riset VideoFDB mengenai audio-visual dua arah, halaman unduhan FoneClaw, dan halaman fitur FoneClaw.