Você já reparou que vídeo de IA quase nunca derrama nada direito? Líquido atravessa objeto e fruta muda de formato no meio do clipe. Os geradores de vídeo ficaram impressionantes na aparência, mas continuam sem noção de como um fluido empurra um objeto. O Fluid-Gen-Zero, publicado em 7 de outubro no arXiv por pesquisadores da Simon Fraser University, no Canadá, da Stony Brook University, do Lawrence Berkeley National Laboratory e da Meta Reality Labs, tenta resolver isso sem retreinar modelo nenhum.
A ideia é separar duas tarefas que os geradores costumam misturar. A física fica com um simulador de verdade, e a aparência fica com o gerador de vídeo. A partir de uma imagem e de um pedido em texto, o sistema reconstrói a cena em 3D, define viscosidade, densidade e força, e roda a simulação do fluido e do objeto. Um agente com um modelo de linguagem e visão lê o resultado, acha os momentos importantes, como um respingo ou um redemoinho, e divide o vídeo em trechos sem cortar esses eventos. Depois, sinais da simulação, como máscaras e fluxo de movimento, são injetados no processo de geração de um modelo congelado, que segue a física sem perder o visual.
Os autores testaram a técnica sobre três geradores diferentes, Tora, VACE e WanMove. O erro de trajetória dos objetos caiu entre 26,7% e 81,5%, e o erro do fluxo do fluido entre 67,9% e 84%. Num teste às cegas, voluntários preferiram os vídeos do Fluid-Gen-Zero em 55,1% a 74,4% dos casos contra o mesmo gerador sem a técnica, e em mais de 90% contra métodos baseados só em simulação. A comparação mais divertida está no artigo, onde uma pera vermelha girando num mar de óleo se deforma até parecer um nariz em um dos métodos rivais. Os vídeos estão na página oficial do projeto, e o código, segundo os autores, sai quando o trabalho for aceito numa conferência.
Gosto da humildade da proposta. Em vez de esperar que um modelo maior aprenda física sozinho, o que a NVIDIA tenta com o Cosmos 3, o grupo devolve o trabalho a quem sempre soube fazer isso, o solver de fluido que artista de FX usa há décadas. Os autores admitem que clipes longos ainda escorregam na aparência. Mesmo assim, o caminho lembra muito um pipeline de VFX, com simulação primeiro e render depois, só que agora o render é uma IA que ainda precisa de alguém dizendo para onde a água vai.