IA no 3D

Paper usa Unreal Engine pra treinar modelos de mundo em IA

Um paper aceito na SIGGRAPH Asia 2026 propõe algo que parece óbvio depois de lido, mas que ninguém tinha formalizado direito antes, usar a Unreal Engine como fábrica de dados sintéticos pra treinar modelos de mundo em IA. O trabalho, de Haoyu Wang e colegas, descreve um pipeline que gera vídeo condicionado por ação dentro do motor de jogo e usa esse material como pré-treino pra sistemas do tipo Genie ou SIMA.

Por MaxRender · 16 de setembro de 2026

Sala de laboratório de pesquisa moderna e vazia, com equipamentos e superfícies claras.

Modelos de mundo precisam de volume enorme de vídeo pareado com a ação que gerou cada mudança de cena, dado que é caro e lento de capturar filmando o mundo real com atores e câmeras. Dentro de um motor como a Unreal Engine, esse mesmo dado sai de graça e em escala, porque o sistema já sabe exatamente qual ação o personagem executou e qual foi a consequência visual dela, sem precisar rotular nada manualmente depois.

O pipeline descrito no paper varia cenário, iluminação e tipo de ação de forma sistemática, criando um dataset sintético que cobre situações raras de encontrar filmando localização real, como quedas, colisões ou mudanças bruscas de câmera. Isso ataca diretamente um dos gargalos que projetos como o Genie 3 e o SIMA enfrentam, a diversidade do dado de treino importa tanto quanto o volume.

Fico pensando se essa virada não inverte uma lógica que parecia fixa há poucos anos, quando outro paper da SIGGRAPH Asia uniu simulação 2D e 3D pra resolver água em produção real, o motor de jogo era ferramenta de entretenimento e a pesquisa científica vinha de fora pra dentro dele. Agora o motor virou instrumento de laboratório, gerando o próprio dado que alimenta a próxima geração de IA.

Não sei se a indústria de games já percebeu o tamanho dessa inversão, mas o dia em que a Unreal Engine for citada mais como ferramenta de pesquisa em IA do que como motor de jogo talvez esteja mais perto do que parece.