Transformando vídeos em Slow-Motion

nVidia-IA
nVidia-IA

Pesquisadores da NVIDIA desenvolveram um sistema baseado em Deep Learning que pode produzir vídeos em câmera lenta de alta qualidade a partir de um vídeo de 30 quadros por segundo, superando vários métodos de última geração que visam fazer o mesmo.

“Há muitos momentos memoráveis ​​em sua vida que você pode querer gravar com uma câmera em câmera lenta, porque eles são difíceis de ver claramente com seus olhos: a primeira vez que um bebê anda, um truque de skate difícil, um cachorro pegando uma bola. Embora seja possível gravar vídeos de 240 quadros por segundo com um smartphone, registrar tudo em altas taxas de quadros é impraticável, já que requer grandes memórias e consome muita energia”, explicou a equipe.

Usando as GPUs NVIDIA Tesla V100 e a estrutura de Deep Learning PyTorch acelerada pela cuDNN, a equipe treinou seu sistema com mais de 11.000 vídeos de atividades diárias e esportivas gravadas a 240 quadros por segundo. Uma vez treinada, a rede neural convolucional previu os quadros extras.

A equipe usou um conjunto de dados separado para validar a precisão de seu sistema. O resultado pode fazer com que os vídeos gravados com uma taxa de quadros mais baixa pareçam mais fluidos e menos borrados.

O método pode gerar quadros múltiplos intermediários que são coerentes com a cena, com essa abordagem se torna melhores que os métodos atuais para slow-motion. Para ter um panorama de como funciona a máquina pega um vídeo de 30 QPS (Quadros por segundo)  e cria quadros duplicados e intermediários (de acordo com a NVidia, são criados 7 quadros a mais) adicionando mais quadros para ter uma perspectiva mais fluída e assim gerando um vídeo final de 240 QPS (ou seja, a cada 1 quadro tem mais 7 entre eles)

Para ajudar a demonstrar a pesquisa, a equipe fez uma série de clipes do The Slow Mo Guys , uma popular série de entretenimento baseado em câmera lenta e tecnologia tornando seus vídeos ainda mais lentos. O método pode capturar vídeos do cotidiano dos momentos mais preciosos da vida e torná-los mais lentos, parecendo cenas cinematográficas favoritas em câmera lenta, adicionando suspense, ênfase e antecipação.

Ainda não se sabe como essa tecnologia pode chegar poderia chegar aos usuários comuns, visando que a tecnologia usada pela nVidia é muio específica e utiliza hardware de ponta para aprender e gerar esses resultados