Google presenta Lumiere, la IA que crea videos realistas a partir de fotos

A diferencia de otras, la IA utiliza un nuevo modelo generativo.

0
20

Google, junto con el Instituto Weizmann de Ciencias y la Universidad de Tel Aviv, ha desarrollado un nuevo modelo de inteligencia artificial para crear videos a partir de fotos e instrucciones textuales.

Se llama Lumiere, un claro homenaje a los hermanos franceses que inventaron la cámara de cine y el proyector. La novedad de Lumiere IA, desde el punto de vista tecnológico, está en la calidad con la que el software es capaz de recrear el movimiento de los sujetos dentro de la película.

Programas como Stable Diffusion suelen mostrar imperfecciones debido a la dificultad de mantener cierta coherencia en la renderización de imágenes estáticas animadas. En este sentido, Google ha desarrollado una arquitectura llamada «Space-Time U-Net», una red espacio-temporal, que genera todo el vídeo en un solo paso, es decir, sin crear secuencias intermedias, que presentarían posibles incoherencias con acciones anteriores y posteriores.

El grueso del trabajo lo realiza la inteligencia artificial generativa, que elige el mejor movimiento tras analizar varios, basándose en la amplia base de datos a la que tienen acceso los modelos de Big G, para devolver un vídeo verosímil. Un ejemplo es cuando introducimos en Lumiere la imagen de un muñeco de peluche y pedimos al programa que lo haga caminar del punto A al punto B. Al crear una única secuencia espacio-temporal, la IA genera un video en el que cada actividad está estrechamente relacionada entre sí, con una mayor sintonía. El modelo de video de Lumiere se entrenó con un conjunto de datos de 30 millones de videos, junto con sus subtítulos de texto.

Actualmente no está abierto al público, sino que es sólo un proyecto de investigación experimental.

Fuente: Google

Custom Text
Artículo anteriorLa FTC inicia una investigación sobre las inversiones en IA de las grandes tecnológicas
Artículo siguiente4 mil pacientes diarios se beneficiarán de la conectividad dotada por Digitel al Hospital Domingo Luciani