Quem já tentou transformar a foto de um objeto em material PBR sabe que a parte difícil quase nunca é a cor, porque a cor a câmera entrega. O que some no caminho é a rugosidade, o metal, a altura, tudo aquilo que faz o objeto reagir direito quando a luz muda. É esse pedaço que um trabalho novo do laboratório de gráficos em tempo real da NVIDIA Research tenta resolver, e o jeito que eles escolheram me deixou pensando mais do que o resultado em si.

O projeto se chama Texture Space Material Diffusion, assinado por Jacob Munkberg, Peter Kocsis e Jon Hasselgren, e saiu no fim de setembro no arXiv, com uma página oficial do projeto cheia de comparações. A equipe pegou um modelo de difusão de vídeo, o Wan 2.1 de 1,3 bilhão de parâmetros, e o ajustou para trabalhar direto no espaço de textura, o próprio mapa UV do objeto, em vez de gerar imagens de cada ângulo da câmera.

Parece detalhe de engenharia, mas muda o problema inteiro. Gerar material olhando imagens tende a borrar, porque cada vista sai um pouco diferente da outra. Trabalhar no espaço 3D completo resolve a consistência, porém come memória demais. O espaço de textura fica no meio, e o truque está numa codificação de posição que usa as coordenadas do ponto no mundo em vez da coordenada UV. Na prática, o modelo entende que duas ilhas distantes no atlas podem ser vizinhas na superfície do objeto.

Os números ajudam a dimensionar. A partir de várias fotos, o método superou o DiffPT em mais de 5 dB de PSNR na reiluminação, e com uma imagem só ficou com CLIP-FID de 1,52, contra 2,23 do Trellis.2. A saída traz base color, altura, rugosidade e metalicidade em até 8K, usando mais de cem fotos de entrada nos casos maiores.

O custo aparece na seção de limitações, que os autores escreveram sem rodeio. A versão de 17 vistas leva cerca de 130 segundos a 2K numa GPU GB300, longe da placa de quem trabalha em casa, e o brilho especular ainda escapa. Acho curioso que uma ferramenta pensada para poupar horas do texturizador dependa, por enquanto, de hardware de data center.

Quando o V-Ray ganhou geração de materiais por IA no Houdini, a proposta vinha embalada como produto pronto. Aqui é pesquisa, e talvez por isso o texto seja mais franco sobre o que não funciona. Fico pensando no artista de lookdev que passou anos aprendendo a ler, numa foto, o que é cor e o que é reflexo, e no fato de que é justamente essa leitura que o modelo ainda erra.