Investigadores de Google presentaron VideoPoet, un método simple pero efectivo que transforma modelos de lenguaje en generadores de video de alta calidad. Esta tecnología abre nuevas posibilidades en la creación de contenido multimedia, permitiendo a los usuarios producir videos con una fidelidad y variedad sin precedentes.
Componentes clave de VideoPoet:
- Tokenizadores: MAGVIT V2 para video y SoundStream para audio convierten imágenes, videos y clips de audio en una secuencia de códigos unificados, compatibles con modelos de lenguaje basados en texto.
- Modelo de lenguaje autorregresivo: aprende a predecir el siguiente token de video o audio de la secuencia, utilizando información de video, imagen, audio y texto.
- Objetivos de aprendizaje multimodal: se combinan para entrenar el modelo, incluyendo texto a video, texto a imagen, imagen a video, continuación de video, pintura y estilización de video, y video a audio.
Capacidades y beneficios de VideoPoet:
- Síntesis y edición de video: VideoPoet permite crear y modificar videos con un alto grado de coherencia temporal.
- Generación de movimientos realistas: El modelo puede producir una amplia gama de movimientos grandes, interesantes y de alta fidelidad.
- Formato flexible: VideoPoet admite la generación de videos en orientación cuadrada o vertical, ideal para contenido de formato corto.
- Audio a partir de video: La tecnología también permite generar audio a partir de una entrada de video.
VideoPoet: Un avance en la generación de video
VideoPoet representa un avance significativo en la generación de video, simplificando el proceso y permitiendo a los usuarios crear contenido multimedia de alta calidad sin necesidad de conocimientos especializados. Esta tecnología abre nuevas posibilidades para la creación de contenido en diversos campos, desde la educación hasta el entretenimiento.
Para conocer más sobre Inteligencia Artificial, visita la SECCIÓN.
Información curada con herramientas de inteligencia artificial, revisada por un humano.