Microsoft desarrolló VASA-1, una nueva inteligencia artificial

Microsoft desarrolló VASA-1, una nueva inteligencia artificial capaz de animar imágenes estáticas para crear vídeos tan realistas que permiten a los personajes hablar con una sincronización casi perfecta de labios y replicar gestos humanos naturales.

Incluso fue capaz de transformar a la Mona Lisa de Leonardo Da Vinci, en una rapera que ha sido viral en red.

Este avance fue entrenado utilizando una extensa librería de vídeos de personas hablando, para darle a esta IA la capacidad de capturar y reproducir movimientos faciales y gestos sutiles como el parpadeo y la dirección de la mirada.

Lo que le permite transformar una simple imagen estática y un fragmento de voz en videos de alta definición donde los avatares aparecen hablando y gesticulando de manera natural, creando incluso la ilusión de una conversación real.

La base técnica detrás de VASA-1 involucra el uso combinado de herramientas de IA avanzada, específicamente StyleGAN2 y DALL·E-3. A diferencia de seres humanos reales, los rostros generados por esta tecnología no corresponden a ninguna identidad existente, lo que Microsoft subraya como una medida ética importante.

Para funcionar, solo necesita una imagen y un clip de audio con voz. Luego puede generar videos de 512 x 512 píxeles a 45 fotogramas por segundo en su modo offline, mientras que en línea, logra 40 fps con una latencia de 170 ms.

Además, este sistema permite una animación facial detallada que refleja un amplio rango de emociones y movimientos de cabeza, lo cual se traduce en una representación más dinámica y creíble de personalidades virtuales.