Inteligencia Artificial que ajusta la mirada y traduce voz en tiempo real

Nvidia ha desarrollado una tecnología de Inteligencia Artificial (IA), Maxine, que es capaz de ajustar la mirada de los hablantes para que dirijan sus ojos a la cámara, emular la posición de los ojos y los parpadeos, así como traducir la voz en tiempo real durante una videoconferencia.

Nvidia Maxine es un conjunto de kits de desarrollo de ‘software’ (SDK), que pertenece a Nvidia AI Enterprise, una biblioteca de programas que incluye flujos de trabajo, soluciones de IA y modelos de aprendizaje preeentrenados. Según Nvidia, este trabajo permite a los desarrolladores implementar «características premium de realidad aumentada, tanto en el audio como en la calidad del vídeo», tal y como detalla en su página web.

En la página, también sostiene que Maxine incluye funciones de IA «aceleradas y optimizadas para la inferencia en tiempo real en las GPU», lo que resulta en efectos de audio, vídeo y realidad aumentada (RA) de baja latencia con una gran resistencia de red. También ofrece una serie de efectos basados en IA en el apartado de Audio Effects Microservice.

De este modo, esta solución elimina el ruido y el eco de la habitación y logra un sonido con una resolución de alta calidad. A nivel de vídeo, Video Effects Microservice ofrece efectos como el fondo virtual durante las videollamadas y permite mantener el contacto visual.

Audio y video

La herramienta que permite mantener los ojos mirando a cámara es una de las características más destacadas de la IA de Nvidia. Maxine, simula el contacto visual del interlocutor con la lente, ya que estima y alinea su mirada con la cámara. Además, emula la forma de los ojos, su posición y el parpadeo.

Esta característica, integrada en el SDK de RA, ofrece un seguimiento de rostros en 3D en tiempo real y también estima la postura del cuerpo para medir sus interacciones reales y duplicarlas en la pantalla en tiempo real.

En cuanto al SDK de efectos de vídeo, desde la compañía subrayan que Nvidia Maxine es capaz de conseguir «una superresolución», ya que preserva la textura de las imágenes con una calidad que multiplica hasta por cuatro y conserva sus detalles en condiciones de baja iluminación.

Otra característica que la compañía ha destacado de esta IA es su capacidad para traducir voz en tiempo real. Así, esta tecnología promete «superar las barreras del lenguaje» y puede pasar de un idioma a otro tan pronto como termine una frase.

Tal y como sugiere el vídeo promocional de Maxine, por el momento soporta inglés, español, francés y alemán, aunque no ha matizado si puede traducir en tiempo real más idiomas.