Google DeepMind presentó una propuesta experimental que reimagina el puntero del ratón como un elemento activo dentro de la interacción con sistemas de inteligencia artificial. La iniciativa, descrita por los investigadores Adrien Baranes y Rob Marchant, parte de una observación sencilla: aunque la informática personal ha evolucionado de forma significativa, el puntero ha permanecido prácticamente inalterado durante más de medio siglo. El equipo plantea que, en un entorno donde la IA se integra en múltiples flujos de trabajo, este elemento podría convertirse en un intermediario capaz de comprender el contexto visual y semántico de lo que el usuario señala en pantalla .
El proyecto, impulsado por el modelo Gemini, busca resolver una limitación habitual en el uso de herramientas de IA: la necesidad de abandonar la aplicación en la que se está trabajando para trasladar información a una ventana separada, formular un prompt detallado y luego reintegrar el resultado. DeepMind sostiene que esta fricción deriva de un vacío técnico: los modelos actuales carecen de conciencia del estado visual de la pantalla y dependen exclusivamente de entradas textuales. El puntero habilitado por IA intenta cerrar esa brecha capturando en tiempo real el contexto que rodea al cursor, de modo que el sistema pueda interpretar qué objeto, texto, imagen o fragmento de código requiere atención sin que el usuario deba describirlo manualmente .
La propuesta se articula en torno a cuatro principios de interacción. El primero, “mantener el flujo”, plantea que la IA debe operar en cualquier aplicación sin obligar al usuario a realizar “desvíos” hacia interfaces específicas. El segundo, “mostrar y contar”, combina la acción de señalar con lenguaje natural para reducir la necesidad de instrucciones extensas. El tercero, “esto y aquello”, se inspira en la comunicación humana cotidiana, donde los gestos y referencias breves son suficientes para transmitir intención. El cuarto, “convertir píxeles en entidades accionables”, apunta a que el sistema pueda interpretar elementos visibles —como fechas, ubicaciones, productos o tablas— como objetos estructurados sobre los que actuar directamente .
DeepMind ha publicado demostraciones iniciales en Google AI Studio, donde el usuario puede editar imágenes o buscar ubicaciones en un mapa simplemente apuntando y hablando. Estas pruebas muestran cómo el puntero puede servir como interfaz para tareas que tradicionalmente requerían copiar contenido entre ventanas o redactar prompts detallados. Además, Google ha comenzado a integrar esta tecnología en Chrome mediante la función Magic Pointer, y prevé incorporarla en Googlebook, una nueva línea de portátiles diseñados para trabajar de forma nativa con Gemini. En estas implementaciones, el sistema puede sugerir acciones basadas en lo que aparece en pantalla, como crear un evento al señalar una fecha o visualizar cómo encajaría un mueble en una fotografía del hogar .
El concepto se enmarca en una tendencia más amplia hacia interfaces multimodales que combinan visión, lenguaje y acción. Aunque el proyecto se encuentra en fase experimental, su enfoque apunta a un futuro en el que la interacción con la IA se integre de forma natural en el flujo de trabajo, sin depender de ventanas separadas ni de instrucciones extensas. Para DeepMind, el puntero podría convertirse en un puente entre la intención del usuario y la capacidad de los modelos, permitiendo que la IA actúe con mayor precisión y menor interrupción.
Fuente: Blog de Google | Editado por CDOL
