IA no 3D

IA da Brown faz personagem 3D reagir ao som em tempo real

Pesquisadores da Brown University, com colegas do MIT, de Yale e da Universidade de Hong Kong, apresentaram o Sonic-AMG, um modelo de IA que gera o movimento de um personagem 3D a partir de áudio espacial enquanto o som ainda está chegando. O artigo saiu no arXiv em 9 de outubro.

Por MaxRender · 15 de outubro de 2026

Diagrama do Sonic-AMG com uma sequência de bonecos 3D andando sobre uma grade azul, coloridos em roxo, azul e amarelo conforme reagem a música, explosão e canto de pássaro mostrados numa forma de onda no topo.

Tem uma coisa curiosa em como personagens de jogo escutam. Na maioria dos casos quem escuta é o código, que dispara uma animação pronta quando um som acontece por perto. Uma explosão toca, o NPC se abaixa, sempre do mesmo jeito. O Sonic-AMG, apresentado na página oficial do projeto e no artigo publicado no arXiv, tenta inverter essa lógica e gerar o corpo reagindo ao próprio som, levando em conta a direção de onde ele vem.

O modelo separa duas informações que costumamos tratar como uma só, o que está soando e onde a fonte está em relação ao corpo. Um transformer causal, que só olha para o passado, prevê o movimento em pedaços curtos, e um decodificador transforma isso em animação contínua. Os autores, liderados por Jingcheng Ni e pelo professor Srinath Sridhar, da Brown, mostram exemplos com sirene, alarme de incêndio, tosse e chuva. No teste de referência, o tempo até o primeiro quadro caiu para 184 milissegundos, contra quase 11 segundos do método anterior, o MOSPA.

Esse número pesa mais do que a métrica de qualidade. O MOSPA precisava ouvir o trecho inteiro antes de mexer o personagem e entregava oito segundos fixos de movimento, enquanto o Sonic-AMG acompanha o áudio pelo tempo que ele durar. Para um jogo, a diferença lembra a de um ator que decorou o roteiro e um que está ouvindo a cena acontecer.

Fico pensando no que isso faz com o trabalho de quem anima reação. Hoje um estúdio grava ou anima dezenas de variações de susto, de virar a cabeça, de se proteger, e um sistema escolhe qual tocar. Um modelo assim troca a biblioteca por um comportamento, e comportamento é bem mais difícil de dirigir do que um clipe. A pesquisa do KAIST sobre a duração das transições já mexia nesse mesmo ponto sensível, o de entregar à máquina uma decisão que antes cabia ao animador.

O código ainda não foi liberado, os autores prometem publicar depois da aceitação do artigo. Os movimentos também foram testados num robô humanoide Unitree G1 em simulação, o que diz bastante sobre quem mais tem interesse num corpo que reage ao ambiente. Pode ser que o primeiro personagem que de fato escuta uma sirene apareça num robô doméstico antes de chegar a qualquer NPC.