Stable Virtual Camera gera vídeos a partir de imagens, e tem controle de câmera 3D

A Stability AI lançou essa semana o Stable Virtual Camera, um modelo de IA para gerar vídeo com controle 3D de câmeras a partir de imagens. Em primeiro lugar, o mais importante, esse modelo foi lançado em research preview, e está disponível para você testar agora mesmo no Hugging Face ou no GitHub.

O primeiro frame é a imaegm original, os dois outros foram gerados pelo vídeo 3D do Stable Virtual Camera — *O primeiro frame é a imagem original, os dois outros foram gerados pelo vídeo 3D do Stable Virtual Camera*

Antes de continuarmos, vale clicar abaixo para ver o vídeo de demonstração do Stable Virtual Camera, pois ele é realmente impressionante.

Segundo seus criadores, ele é um modelo de difusão generalista de 1.3 bilhão de parâmetros para Novel View Synthesis (NVS). Como o nome diz, ele gera outras visões de câmeras virtuais (com 3D consistente) a partir de qualquer número de imagens ou câmeras. No já citado site no GitHub eles mostram vários exemplos.

Quais as capacidades e limitações do Stable Virtual Camera

Entre as capacidades do modelo Stable Virtual Camera estão o controle dinâmico de câmera, incluindo vários movimentos pré-definidos. Os vídeos podem ser gerados a partir de uma até 32 imagens, com diferentes resultados. Eles podem ter vários formatos, como quadrado (1:1), retrato (9:16) e paisagem (16:9), além de formatos personalizados, e assim, podem ser usados para diferentes fins.

Segundo a Stability AI, o novo modelo mantém a consistência 3D das cenas em vídeos de até 1000 frames. Assim, é possível gerar vídeos de até 33 segundos (com 30 frames por segundo). Nem tudo são flores, e a empresa conta que ele pode ter problemas com imagens de seres humanos ou animais, ou então com imagens ângulos diferentes dos que forem pedidos pelo usuário.

A Stability AI é mais conhecida por ser a criadora do popular Stable Diffusion, e é bom ver que eles estão criando ferramentas inovadoras e úteis como o Stable Virtual Camera, lançado em licença de uso não-comercial livre para pessoas e empresas.

O que vem por aí no futuro da Stability AI

A história é longa, mas para resumir, após turbulências com seu fundador e ex-CEO Emad Mostaque, a empresa vem sendo liderada desde o ano passado pelo CEO Prem Akkaraju, ex-Weta FX, e nesse ano, apontou James Cameron, um diretor, roteirista e produtor vencedor do Oscar, como parte do seu conselho. Além disso, também vale citar a empresa conta com a ferramenta Stable Video, feita com o Stable Video Diffusion.

Via TechCrunch