Denis Shiryaev, experto en inteligencia artificial (IA), creó una compilación de grabaciones a color y con sonido, lo que permite a los espectadores viajar al pasado y ver en alta resolución la vida en los años 1895 y 1902.

Tras varios meses de trabajo, Shiryaev retocó imágenes de los hermanos Lumière con color, sonido y un aumento de la velocidad a 60 cuadros por segundo.

“Fue difícil resistirse a no hacer un poco de magia de aprendizaje automático con ellos, y aquí está el resultado de unos meses de procesamiento y edición de sonido”, escribió.

En su canal de YouTube explicó parte del proceso creativo que le llevó un arduo trabajo y a partir del minuto 4:35 muestra el resultado de ello, lo que ha dejado impresionados a más de cien mil personas que ya disfrutaron esta experiencia.

¿Cómo hizo la restauración?

El montaje fue hecho con un metraje filmado por los hermanos Lumière, pioneros del cine francés, en el que Shiryaev pasó meses coloreando y mejorando.

El experto comenzó utilizando un algoritmo desarrollado por su empresa, Neural Love, para restaurar la velocidad de fotogramas original de la película y eliminar fotogramas duplicados.

Asimismo, aplicó estabilización al metraje, eliminando el ruido cuando fuese necesario y corrigiendo algunos de los daños a las películas.

Luego, Shiryaev usó redes neuronales para escalar cada cuadro a una resolución de 4K. Esto permite generar más cuadros hasta que alcanza los 60 fps, y así restaurar una velocidad de reproducción realista en el video.

También coloreó el metraje y agregó detalles a las caras con un algoritmo basado en la red generativa adversaria (GAN por sus siglas en inglés).

Respecto a los sonidos, el experto se los agregó y lo explicó:

“Los sonidos no son reales y, a veces, hice un trabajo terrible. Pero me gusta mucho este efecto ambiental cuando, por ejemplo, puedes ver y escuchar a un perro que empieza a ladrar en la pantalla y experimentar el momento como si estuvieras allí”, dijo Shiryaev.