SeedRealtime e Seeduplex: voz full duplex e a camada de execução Android que um agente precisa

O que SeedRealtime e Seeduplex mudam para agentes de telefone

SeedRealtime e Seeduplex importam para agentes de telefone porque atacam uma das partes mais difíceis da interação por voz: a conversa em tempo real. No artigo de 9 de abril de 2026, a ByteDance Seed apresentou o Seed Full-Duplex Speech LLM, descrevendo Seeduplex como uma estrutura nativa de ouvir enquanto fala. A Seed também relata melhorias em supressão de interferência, detecção de fim de fala, tratamento de interrupções e implantação no Doubao.

A página oficial de SeedRealtime na família de modelos da Seed dá o contexto de entidade: estamos falando de uma linha de modelos voltada a interação em tempo real. Para quem constrói agentes de telefone, a promessa técnica é clara. A conversa deixa de depender tanto de turnos rígidos, em que o usuário fala, espera silêncio, recebe uma resposta e só depois corrige. Um agente de voz em tempo real consegue reagir melhor a pausa, hesitação, sobreposição e mudança de intenção.

Na FoneClaw, olhamos para esse avanço com uma pergunta prática: o que acontece depois que a conversa entende o usuário? Uma IA de voz full duplex torna a intenção mais fluida, mas o telefone Android ainda precisa executar com contrato. Permissão, tela, app, aprovação, estado e resultado continuam sendo partes do produto. Para situar essa mudança dentro da experiência de telefone com voz como primeira entrada, Celular com IA centrado em voz: por que a próxima mudança não elimina botões nem telas aprofunda a hierarquia entre fala, botões e tela.

Como a voz full duplex lida com pausas, ruído e interrupções

Em sistemas de voz tradicionais, a interação costuma ser half duplex: uma parte fala enquanto a outra espera. O usuário termina a frase, o sistema detecta silêncio e começa a responder. Esse modelo funciona para comandos curtos, mas fica estranho em conversas reais. Pessoas interrompem, corrigem, pensam em voz alta, dizem espere, mudam de ideia e falam por cima quando a resposta segue por um caminho errado.

Full duplex muda essa dinâmica. O sistema precisa ouvir enquanto gera áudio, decidir se o som recebido é ruído, fala paralela, interrupção relevante ou apenas uma reação breve, e então ajustar a resposta. A Seed atribui ao Seeduplex avanços em escuta atenta, supressão de interferência, endpointing e tratamento de interrupções. Em termos de produto, isso reduz a sensação de falar com uma máquina que só entende turnos perfeitos.

O desafio técnico fica mais profundo quando o modelo está falando e o usuário interrompe com uma correção: não, mande para a Ana do trabalho. O sistema precisa preservar o que já foi entendido, abandonar a parte errada e atualizar o plano. A pesquisa How Should LLMs Listen While Speaking? descreve esse problema como roteamento de áudio durante a geração, com escolhas de fusão de canais e atenção cruzada que mudam o equilíbrio entre aterramento no novo áudio e robustez ao contexto anterior.

Para agentes de telefone, latência também muda a experiência. Um modelo rápido que ouve bem permite correções no meio do fluxo; um modelo lento força o usuário a esperar e repetir. A análise em LLMs de 1000 TPS e o novo ritmo dos agentes no telefone explica por que velocidade de inferência e interação de baixa latência se tornam parte da arquitetura, não apenas um número de benchmark.

Por que conversa e execução Android são planos separados

Quando construímos a FoneClaw, uma distinção ficou cada vez mais importante: conversa e execução vivem em planos diferentes. O plano de interação entende fala, interrupção, intenção, tom, correção e contexto conversacional. O plano de execução mexe no Android: abre app, prepara mensagem, ajusta configuração, chama uma ferramenta, pede permissão, confirma consequência, observa resultado e recupera falha.

Um modelo full duplex melhora muito o primeiro plano. Ele pode entender que o usuário interrompeu para mudar destinatário, corrigir um horário ou cancelar uma frase. Mas a fluidez da conversa não é permissão para agir no telefone. Enviar mensagem, alterar Não Perturbe, abrir navegação, iniciar chamada ou mexer em configurações exige um contrato de execução. O Android tem permissões, estado de tela, apps padrão, telas ambíguas e ações com efeito externo.

Quando esses planos são misturados, a experiência parece mágica por alguns segundos e frágil no primeiro erro. O usuário corrige a frase, mas o app já mudou de tela. O modelo entende a intenção, mas falta permissão. A voz parece natural, mas o botão certo não está estável. Por isso, tratamos voz em tempo real como uma entrada poderosa para o agente, enquanto a execução precisa de etapas verificáveis.

A arquitetura geral está detalhada em Controle do celular por agente de IA: como funciona no Android. Neste artigo, o ponto é mais específico: SeedRealtime agente de telefone full duplex é um ótimo caminho para percepção e diálogo, e a camada governada de Android é o que transforma intenção em resultado confiável.

Um contrato em sete etapas: da fala ao resultado verificado

O contrato que usamos para pensar em agente de voz no Android tem sete etapas: capturar, esclarecer, planejar, aprovar, executar, verificar e recuperar. Ele vale para modelos full duplex, modelos de texto, assistentes clássicos e agentes com tela atual. A diferença é que a voz full duplex torna as primeiras etapas mais naturais, enquanto as etapas finais continuam dependendo de política e execução.

1. Capturar: ouvir a intenção do usuário, com pausa, ruído, interrupção e correção em tempo real.
2. Esclarecer: resolver ambiguidades antes da ação, como qual Ana, qual app, qual horário ou qual rota.
3. Planejar: dividir o pedido em ações suportadas, dados necessários, permissões e pontos de decisão.
4. Aprovar: mostrar consequência, alvo e motivo quando a etapa afeta outra pessoa, dado, conta ou configuração.
5. Executar: chamar a ferramenta ou fluxo Android dentro das permissões disponíveis.
6. Verificar: observar se a ação terminou, se o estado mudou e se o resultado corresponde ao pedido.
7. Recuperar: explicar falha, pedir permissão, oferecer correção, manter rascunho ou devolver controle ao usuário.

Esse contrato evita que a conversa vire um túnel sem saída. Se o usuário interrompe durante o ditado de uma mensagem, o agente deve atualizar o rascunho. Se a pessoa muda a duração de Não Perturbe no meio da fala, o plano precisa ser refeito. Se o Android pede permissão, o estado da tarefa deve continuar vivo.

A etapa de aprovação merece atenção especial. Um agente pode soar confiante e ainda precisar mostrar o que fará. Para aprofundar esse desenho, UX de aprovação de agentes de IA no celular: confiança, contexto e recuperação explica como confiança, justificativa, alvo e consequência aparecem na interface antes de uma ação com efeito externo.

Como construímos a camada atual de execução da FoneClaw

Na base atual da FoneClaw, nossa camada de execução trabalha com entrada de voz acionada pelo usuário, contexto de tela acionado pelo usuário, assistente flutuante, continuidade de tarefa no mesmo telefone, recuperação de permissões e ações rápidas. A versão pode ser acompanhada na página de download da FoneClaw. Esse conjunto é a base prática para ligar intenção a ação governada no Android.

SeedRealtime e Seeduplex entram aqui como referência técnica de interação, enquanto a base atual da FoneClaw opera com a pilha de execução que já entregamos. Qualquer conexão futura com modelos de voz em tempo real precisa passar por esse contrato: o usuário inicia a interação, o agente mantém estado, a permissão fica visível, a aprovação aparece antes do efeito e o resultado é verificado. Esse é o caminho que preserva a utilidade da voz full duplex dentro de um telefone real.

O contexto visual também segue uma escolha do usuário. A FoneClaw permite anexar a tela atual sob demanda, em vez de tratar o telefone como uma câmera contínua. O assistente flutuante mantém o fluxo próximo da tela em que o usuário está trabalhando, e a continuidade entre Home e assistente flutuante ajuda a retomar aprovações, parada e recuperação. Para entender esse padrão, veja Assistente de IA flutuante no Android: use a tela atual com controle.

Nas ferramentas atuais, trabalhamos com ações governadas como Não Perturbe, rascunhos e envio suportado de mensagens, discador, navegação e ajustes selecionados. A página de recursos da FoneClaw mostra como esses fluxos se conectam às capacidades públicas do produto e ao conjunto de 100+ built-in tools.

Cenários full duplex que ainda precisam de salvaguardas

O primeiro cenário é uma reunião. O usuário diz: ative Não Perturbe até o fim da reunião, depois interrompe: melhor, só por 45 minutos. Um modelo full duplex entende a correção mais naturalmente. A camada de execução precisa transformar isso em duração, mostrar a mudança proposta, aplicar o ajuste suportado e confirmar o estado final.

O segundo cenário é mensagem. Durante o ditado, o usuário fala: mande para Ana que chego em dez minutos, e logo corrige: Ana do trabalho, não Ana irmã. A voz full duplex reduz atrito nessa correção. A ação Android continua exigindo destinatário certo, corpo completo, app padrão, controle Enviar estável e aprovação quando a mensagem tem consequência.

O terceiro cenário é chamada ou navegação. O usuário pede uma rota, interrompe com uma preferência de app ou destino, e depois quer ligar para avisar. O diálogo rápido ajuda a manter a intenção fluida, mas o telefone ainda precisa escolher app de mapas, destino, contato e possível chamada. A execução fica confiável quando cada etapa tem alvo e resultado observável.

O quarto cenário é uma tarefa interrompida. O usuário começa um fluxo, recebe notificação, muda de app e volta pelo assistente flutuante. A conversa pode ter sido natural, mas o valor do agente aparece na continuidade: estado preservado, aprovação ainda vinculada à tarefa, permissão recuperável e próximo passo claro. É nessa ponte entre fala e execução que a arquitetura de agente Android ganha importância.

Privacidade, bateria, limites audiovisuais e próximos passos

Full duplex traz perguntas práticas para qualquer agente de telefone. Microfone em tempo real consome energia, precisa lidar com ruído e exige estados de escuta compreensíveis. O usuário deve saber quando a voz está ativa, quando a tarefa usa contexto de tela e quando uma ação passa da conversa para execução. Na FoneClaw atual, entrada de voz e anexação da tela atual são acionadas pelo usuário, preservando uma relação clara entre intenção e contexto.

Também há o limite audiovisual. No texto de lançamento, a Seed coloca entrada visual e interação proativa como próximos trabalhos. Isso combina com o diagnóstico de benchmarks recentes: o VideoFDB para full duplex audiovisual trata aterramento de áudio e vídeo em streaming como desafio próprio e observa que sistemas avaliados frequentemente subutilizam a informação visual fora de perguntas explicitamente visuais. Ouvir enquanto fala é um avanço; ouvir, ver, decidir e agir no telefone exige mais camadas.

Nosso checklist de construção é direto: o modelo precisa ouvir bem, a interface precisa mostrar estado, a tarefa precisa manter contexto, permissões devem ser recuperáveis, aprovações devem aparecer antes de efeitos externos, execução precisa verificar resultado e falhas devem voltar como próximos passos. Quando esses itens trabalham juntos, SeedRealtime, Seeduplex ou qualquer IA de voz full duplex podem virar uma entrada poderosa para um agente de telefone prático.

É isso que estamos construindo na FoneClaw: uma camada Android governada que pode aproveitar conversas mais naturais sem abrir mão de controle, privacidade, verificação e recuperação. O próximo salto em voz só fica útil no celular quando a execução respeita o telefone real.