Asistente de IA flotante en Android: usar la pantalla actual con control
Cómo usar un asistente de IA flotante en Android con contexto de la pantalla actual, acciones revisables, permisos visibles y recuperación de tareas.
- Un asistente flotante resulta útil cuando permanece compacto, se puede mover y permite consultar o detener una tarea sin abandonar la aplicación activa.
- Adjuntar la pantalla actual es una acción deliberada: aporta el estado visible en ese momento, no una observación continua de todo lo que ocurre en el teléfono.
- Buscar o traducir contenido de una pantalla es distinto de ejecutar una acción; un agente de teléfono necesita herramientas compatibles, permisos y confirmaciones.
- La base actual de FoneClaw incorpora un asistente flotante, un panel compacto y contexto de pantalla bajo demanda, con continuidad dentro del mismo teléfono para aprobar, detener y recuperar tareas.
Cuándo aporta valor un asistente flotante
Un asistente de IA flotante en Android con acceso a la pantalla actual resulta útil cuando permite consultar el contexto sin abandonar la tarea. El usuario puede estar leyendo un correo, revisando una ruta, comparando un producto o completando un formulario. En lugar de cambiar a otra aplicación, copiar contenido y regresar, abre un panel pequeño sobre la pantalla activa y formula la pregunta desde allí.
La ventaja depende del diseño. El asistente debe ocupar poco espacio, poder desplazarse y dejar visibles los controles importantes de la aplicación. También necesita una forma inmediata de minimizarse, detener una tarea o devolver el control táctil. Una ventana que tapa el contenido o captura todos los gestos introduce más fricción de la que elimina.
Imaginemos una confirmación de reserva. El usuario abre el asistente flotante y pregunta: “¿Qué fecha, dirección y condiciones aparecen aquí?”. La IA puede responder a partir del contexto adjuntado. Si después se solicita crear un evento, el panel debe enseñar la fecha interpretada, el calendario elegido y el paso pendiente antes de modificar nada.
El valor aparece en esa continuidad: consultar, preparar y revisar sin perder la aplicación de origen. No hace falta convertir cada pantalla en una automatización. A veces la respuesta correcta es una explicación; otras veces es una propuesta que espera confirmación.
Cuando existen varias tareas, el panel también necesita indicar cuál está activa y cuál espera una decisión. Control de agentes de IA móvil: el teléfono como centro de mando explica cómo reunir actividad, aprobaciones y controles de pausa sin convertir la pantalla en una consola difícil de usar.
Qué significa adjuntar la pantalla actual
El contexto de la pantalla actual es una representación del estado visible que el usuario decide compartir en un momento concreto. Puede incluir texto, imágenes, controles reconocibles y la estructura accesible de la ventana, según la aplicación y las capacidades disponibles. Su finalidad es responder sobre aquello que la persona está viendo o preparar un siguiente paso relacionado.
La acción debe ser evidente: abrir el asistente, pulsar “Adjuntar pantalla” y comprobar qué contenido se incorpora. Este modelo permite minimizar el contexto. Si la pregunta se refiere a una dirección visible, no es necesario aportar conversaciones anteriores, otras aplicaciones ni un historial completo del dispositivo.
El estado adjuntado también tiene una hora. Si el usuario cambia de página, recibe nueva información o selecciona otra cuenta, el contexto anterior puede quedar obsoleto. La interfaz debe indicar qué pantalla sustenta la respuesta y permitir actualizarla antes de preparar una acción.
Por ejemplo, una aplicación bancaria puede mostrar un recibo después de una operación. El usuario podría adjuntar esa vista para pedir una explicación del concepto y la fecha. Si después navega a otra cuenta, la captura anterior no debe utilizarse como si representara la pantalla nueva. El agente vuelve a solicitar contexto cuando el objetivo cambia.
En la base actual de FoneClaw, la pantalla se adjunta bajo demanda y nuestras propias superposiciones quedan fuera de ese contexto. Así, el modelo recibe la aplicación visible sin confundir el panel flotante con el contenido que debe analizar. Para tareas que combinan pantalla, memoria y datos elegidos por el usuario, Agente de IA con contexto personal en el teléfono desarrolla cómo aportar únicamente la información necesaria.
Superposiciones, accesibilidad y límites de Android
Una ventana flotante y el acceso al contenido son capacidades diferentes. La superposición permite mostrar controles sobre otra aplicación. Leer elementos de una ventana requiere mecanismos adicionales y permisos declarados. Android documenta estas responsabilidades por separado para que el usuario pueda reconocer qué servicio aparece en pantalla y qué acceso se ha concedido.
La referencia oficial de los servicios de accesibilidad de Android establece que recuperar contenido de las ventanas requiere declarar la capacidad correspondiente. La guía de Android para servicios que interactúan con vistas explica además cómo estos servicios pueden recibir información de la interfaz y ofrecer controles mediante superposiciones de accesibilidad.
Esa información puede quedar desactualizada. Una aplicación puede redibujar la pantalla, cambiar de ventana o reutilizar componentes sin que el árbol anterior represente el estado actual. Antes de pulsar, escribir o seleccionar, el agente debe comprobar que el objetivo visible sigue coincidiendo con el dato interpretado.
También existen pantallas protegidas, controles personalizados y aplicaciones que exponen poca estructura accesible. En esos casos, el asistente puede trabajar con el contexto que Android y la aplicación hacen disponible, pedir una nueva captura o entregar el control al usuario. El resultado correcto es mostrar qué falta para continuar.
Los permisos deben poder revisarse desde Android y relacionarse con una función comprensible. Mostrar el panel flotante no implica acceso automático a contactos, archivos, ubicación o notificaciones. Cada tarea utiliza únicamente los permisos y herramientas que necesita. Si falta uno, la solicitud queda en espera mientras el usuario decide si lo concede.
Del contexto visible a una acción revisable
Un recorrido seguro comienza con una invocación explícita. El usuario abre el asistente desde la aplicación donde está trabajando, coloca el panel para no cubrir información importante y adjunta la pantalla actual. A continuación formula una petición delimitada: “Extrae la fecha y prepara un recordatorio, pero enséñamelo antes de crearlo”.
- Invocar: abrir el asistente flotante y reconocer qué tarea o conversación está activa.
- Adjuntar: compartir la pantalla visible y comprobar que corresponde a la aplicación y cuenta correctas.
- Preguntar: indicar el resultado deseado, los datos que debe usar y el punto donde tiene que detenerse.
- Inspeccionar: revisar la interpretación, el objetivo y la acción propuesta.
- Aprobar o editar: confirmar únicamente cuando fecha, cuenta, destinatario o ajuste coincidan con la intención.
- Comprobar: verificar el resultado en la aplicación correspondiente.
Supongamos que la pantalla muestra un correo con una reunión el martes a las 10:00. El agente puede extraer la fecha y proponer un evento. La vista previa debe incluir calendario, zona horaria, duración, título y participantes. Si el correo dice “el martes” sin una fecha inequívoca, la tarea solicita una aclaración en vez de completar el dato.
Durante la ejecución, el usuario necesita controles para detener o volver al modo táctil. Si Android abre Ajustes para conceder acceso al calendario, el asistente conserva el estado y explica qué paso espera. Al regresar, comprueba el permiso antes de reanudar.
La aprobación debe permanecer vinculada a esa propuesta, no a cualquier acción futura. UX de aprobación de agentes de IA: decisiones claras en el teléfono profundiza en cómo mostrar motivo, objetivo y consecuencia sin sobrecargar el panel.
Buscar en pantalla no es actuar en el teléfono
Las funciones de búsqueda visual responden preguntas sobre contenido seleccionado. Google describe Circle to Search en dispositivos Android compatibles como una función iniciada por el usuario para seleccionar texto, imágenes o vídeo y consultar resultados sobre la pantalla actual. Su disponibilidad depende del dispositivo y sus ajustes.
Este patrón es útil para reconocer un producto, traducir una frase, identificar un lugar o ampliar información sin salir de la aplicación. La selección indica qué parte de la pantalla interesa y los resultados aparecen encima del contenido. Los ajustes del asistente digital también controlan el uso de capturas para esta experiencia.
Un agente de teléfono añade otra etapa: puede razonar sobre el contexto y conectar la intención con una acción Android soportada. Identificar una dirección es búsqueda; preparar una ruta con esa dirección es planificación; abrir la navegación es una acción. Traducir un mensaje es análisis; redactar una respuesta es preparación; enviarla produce un efecto externo.
La interfaz debe conservar esas diferencias. Tras una búsqueda, el usuario recibe información. Antes de una acción, necesita ver la aplicación de destino, el dato que se usará y el resultado previsto. Las herramientas gobernadas aplican los permisos y controles correspondientes a cada operación.
En FoneClaw, un modelo configurado interpreta la pantalla adjuntada y las herramientas Android compatibles realizan los pasos admitidos. El panel no presenta una respuesta textual como si fuera una acción terminada. Muestra si la tarea está analizando, esperando, ejecutando o completada, y permite detenerla cuando el contexto deja de coincidir.
Cómo funciona el asistente flotante de FoneClaw
La base actual de FoneClaw incorpora un asistente flotante móvil y un panel compacto. El usuario puede colocarlo junto al contenido relevante, abrirlo cuando necesita ayuda y minimizarlo para continuar utilizando la aplicación. Las acciones rápidas iniciales permiten comenzar tareas frecuentes con menos pasos.
La opción de adjuntar la pantalla actual con un toque aporta contexto bajo demanda. FoneClaw excluye sus propias superposiciones, por lo que el panel y sus controles no aparecen dentro de la imagen entregada al modelo. Las herramientas de lectura de pantalla obtienen el contexto visible necesario para las acciones compatibles.
La continuidad funciona dentro del mismo teléfono. Al cambiar entre una aplicación, Home y el asistente flotante, FoneClaw conserva la ejecución, las solicitudes de aprobación, la detención y la recuperación de permisos. El modelo configurado sigue interpretando la tarea y las herramientas gobernadas realizan las operaciones Android admitidas.
Imagina que estás leyendo una dirección en un chat. Abres el panel, adjuntas la pantalla y pides preparar una ruta. FoneClaw identifica el texto visible y muestra el destino propuesto. Si existen varias coincidencias, solicita una selección. Tras confirmarla, abre la navegación compatible. Si falta ubicación, conduce al permiso correspondiente y mantiene la tarea en espera.
La misma continuidad sirve para corregir. Si el destino no coincide, el usuario detiene la operación, vuelve al chat y adjunta la pantalla actualizada. No necesita reconstruir toda la conversación, pero controla qué nuevo contexto incorpora. La versión puede consultarse en la página de descarga de FoneClaw.
La voz también puede iniciar este recorrido. Control por voz en Android: configuración segura, usos reales y FoneClaw explica cómo formular objetivos, fijar un punto de parada y conservar una alternativa táctil.
Cómo evaluar utilidad, privacidad y recuperación
La mejor prueba combina una consulta visual y una acción reversible. Abre una nota de prueba que contenga una fecha, una dirección y una tarea sencilla. Invoca el asistente, adjunta la pantalla y pide un resumen. Después solicita preparar un recordatorio sin crearlo todavía.
- Tamaño: el panel deja visible el contenido y puede moverse o minimizarse sin interrumpir la aplicación.
- Invocación: la captura se realiza después de una acción reconocible del usuario.
- Contexto mínimo: el asistente recibe la pantalla necesaria, no otras aplicaciones o conversaciones.
- Exclusión: los controles flotantes no aparecen dentro del contexto que analiza el modelo.
- Vigencia: al cambiar la pantalla, el asistente indica que debe actualizar el contexto.
- Propuesta: el siguiente paso muestra objetivo, aplicación, datos y consecuencia antes de actuar.
- Permisos: Android presenta el acceso requerido y la tarea espera la decisión del usuario.
- Detención: el botón de parada indica qué pasos terminaron y cuáles quedaron pendientes.
- Recuperación: tras volver desde Home o Ajustes, la tarea comprueba el estado antes de continuar.
- Privacidad: el usuario puede cerrar el panel, retirar permisos y reconocer qué contexto quedó asociado a la tarea.
Prueba además un fallo controlado: cambia la fecha de la nota después de generar la vista previa. El asistente debe actualizar el contexto y evitar crear el recordatorio con la información anterior. Después deniega el permiso de calendario y comprueba que la tarea ofrece una salida comprensible.
La utilidad no se mide por mantener una burbuja siempre visible. Se mide por reducir cambios de aplicación, aportar el contexto justo y devolver un resultado verificable. Un asistente flotante funciona bien cuando el usuario sabe qué pantalla compartió, qué acción está pendiente y cómo recuperar el control.