Meta ha anunciado su nuevo modelo de inteligencia artificial, Movie Gen, para generar vídeo y audio a partir de mensajes de texto. Compitiendo con Sora, de OpenAI, el modelo de IA Movie Gen de Meta puede crear vídeos a partir de descripciones del usuario y generar el audio que los acompaña. La empresa afirma que también puede producir vídeos personalizados utilizando fotos reales de personas para representarlas en distintos escenarios. Los vídeos generados pueden mejorarse o editarse con texto. Sin embargo, a diferencia de la serie de modelos de inteligencia artificial Llama, es poco probable que Meta ponga Movie Gen a disposición de los desarrolladores, según Reuters.
Meta Movie Gen: Qué es y cómo funciona
En un artículo de investigación sobre el nuevo modelo de IA, Meta explica que el modelo Movie Gen ha sido entrenado tanto para tareas de texto a imagen como de texto a vídeo. Cuando se le pide, genera varias imágenes coloreadas, cada una de las cuales sirve de fotograma para el vídeo.
Según Meta, Movie Gen puede producir vídeos de alta definición (1080p) de hasta 16 segundos a 16 fotogramas por segundo (FPS). Dentro de sus parámetros, el modelo puede generar vídeos de resoluciones y duraciones variables en distintas relaciones de aspecto. La empresa señaló que el modelo ha aprendido visuales del mundo real «viendo» vídeos y puede razonar sobre el movimiento del objeto, el movimiento de la cámara, la interacción sujeto-objeto, etc.
En cuanto a la generación de audio, Meta afirma que el modelo Movie Gen puede producir el audio correspondiente mediante técnicas de conversión de vídeo a audio y de texto a audio. La empresa afirma que puede generar audio a 48 kHz con efectos de sonido cinematográficos y música sincronizada con la entrada de vídeo. Aunque la capacidad de generación de vídeo del modelo se limita a unos pocos segundos, puede crear «audio coherente de larga duración para vídeos de hasta varios minutos».
Meta Movie Gen: Características destacadas
Meta declaró que el modelo Movie Gen ha sido entrenado para condicionar tanto texto como imágenes, lo que le permite generar vídeos con una persona seleccionada a partir de una imagen real. La empresa asegura que el vídeo mantendrá la identidad de la persona, mientras que las acciones se basarán en las indicaciones del usuario.
Además, el modelo posee capacidades de edición de vídeo tanto para contenidos generados como para vídeos reales. La empresa afirma que Movie Gen puede realizar «ediciones precisas e imaginativas» en un vídeo proporcionado basándose en la descripción del usuario. En un avance mostrado por la empresa, el modelo editó con éxito el fondo de un vídeo y añadió elementos adicionales al tema principal.
Fuente WEB | Editado por CambioDigital Online
