Google lança o Lumiere, modelo de IA para criar vídeos realistas

por | |
Google lança o Lumiere, modelo de IA para criar vídeos realistasAndré Lourenti Magalhães

O Lumiere é uma nova tecnologia que usa IA para criar vídeos realistas desenvolvido em conjunto por pesquisadores do Google, do Weizmann Institute of Science e da Universidade de Tel Aviv — os dois últimos de Israel. O diferencial deste modelo está na capacidade de gerar vídeos com movimentos mais coesos e precisos, tentando romper um obstáculo encontrado por outros concorrentes do segmento.

Os pesquisadores definem o Lumiere como um “modelo de difusão de texto para vídeo para sintetizar vídeos que retratam movimentos realistas, diversos e coerentes”. Para isso, usa uma estrutura chamada Space-Time U-Net, voltada para gerar toda a duração do vídeo de uma só vez — outros modelos de difusão adotam uma abordagem que sintetizam os frames de forma distinta.

Como resultado, o novo modelo é capaz de criar vídeos com uma taxa de quadros estável e completa, mesmo que em baixa resolução.

– Podcast Porta 101: a equipe do Canaltech discute quinzenalmente assuntos relevantes, curiosos, e muitas vezes polêmicos, relacionados ao mundo da tecnologia, internet e inovação. Não deixe de acompanhar. –

O que o Lumiere é capaz de fazer

Assim como outros concorrentes, o Lumiere cria vídeos a partir de comandos de texto ou da animação de imagens estáticas, mas a ferramenta possui alguns diferenciais:

Geração estilizada

O Lumiere consegue entender o padrão de uma imagem e criar vídeos com o mesmo estilo visual. Ao enviar uma imagem de referência em 3D com o fundo azul claro, a IA compreende que todas as criações subsequentes seguem o mesmo estilo visual.

Isso pode ser útil para quem só possui uma foto de inspiração e não consegue descrever o apelo visual num prompt de texto, por exemplo.

Cinemagrafia

A cinemagrafia é uma prática que permite animar apenas um fragmento da imagem, enquanto o resto permanece estático. O novo modelo faz uso dessa técnica para criar movimento e ou até substituir uma parte de um vídeo existente por outra.

Um dos exemplos mostrados pelos pesquisadores é o trecho de uma mulher andando por um campo: é possível selecionar apenas a pessoa e trocar a roupa que ela usa no vídeo a partir dos prompts de texto. O recurso também pode ser usado para aplicar novos estilos de vídeo sem perder o plano de fundo original.

Ainda sem demonstrações

Por enquanto, o Lumiere não foi disponibilizado para testes ou demonstrações ao público, e ainda não há uma previsão para que isso aconteça. Vale lembrar que esse não é o primeiro modelo de IA para vídeos com envolvimento do Google: a Gigante de Mountain View lançou o VideoPoet no final do ano passado, com o objetivo de criar conteúdos mais longos do que as ferramentas convencionais.

Leia a matéria no Canaltech.

Trending no Canaltech:

Adicionar aos favoritos o Link permanente.