Gerador De Vídeo Cinematográfico

O site funciona como uma vitrine acadêmica e técnica para o modelo HoloCine, mostrando exemplos de narrativas geradas, comparações com outros sistemas e links para o artigo científico e o código no GitHub.

O site HoloCine apresenta um projeto de pesquisa em inteligência artificial voltado para geração de vídeos narrativos longos e cinematográficos a partir de texto.

O que é o HoloCine

• É um framework de text-to-video que busca superar limitações dos modelos atuais, que geralmente produzem apenas clipes curtos e isolados.

• O diferencial está em criar narrativas multi-shot (com várias tomadas) de forma coerente, mantendo consistência de personagens, cenários e estilo ao longo de minutos de vídeo.

• Utiliza técnicas como:

  • Window Cross-Attention: para controlar como o texto influencia cada tomada.

  • Sparse Inter-Shot Self-Attention: para equilibrar eficiência e consistência entre diferentes cenas.

Principais capacidades

• Memória persistente: personagens e objetos reaparecem de forma consistente ao longo da narrativa.

• Controle cinematográfico: compreensão de técnicas de direção, enquadramento e estilo visual.

• Escala temporal: geração de vídeos que podem durar minutos, não apenas segundos.

• Recriação de clássicos: o modelo consegue reproduzir cenas icônicas de filmes como Titanic, Blade Runner 2049 e E.T..

Quem desenvolveu

O projeto é fruto de colaboração entre pesquisadores de:

• HKUST (Hong Kong University of Science and Technology)

• Ant Group

• Zhejiang University (ZJU)

• Chinese University of Hong Kong (CUHK)

• Nanyang Technological University (NTU)