Pano sempre foi um dos materiais mais teimosos da computação gráfica. Uma camiseta de algodão, um veludo e um tecido sintético brilhante podem ter a mesma cor e mesmo assim refletir a luz de formas completamente diferentes, porque a trama, o fio e a fibra espalham a luz cada um do seu jeito. Ainda não sei se a solução para isso passa mesmo por IA, mas o RoboCloth é a tentativa mais braçal que já vi de dar a ela matéria-prima de verdade.

O projeto é de Zhen Li e Andrea Tagliasacchi, da Simon Fraser University, com Haoran Qin, da Westlake University, Francesco Di Sario, da Universidade de Turim, e Daniel Rebain, da University of British Columbia. Tagliasacchi também tem vínculo com a Universidade de Toronto, e ele e Rebain com a Wayve, empresa britânica de direção autônoma. Segundo a página oficial do projeto, a equipe fotografou 500 tecidos reais com câmeras e luzes controladas por robô, chegando a cerca de 580 imagens em alto alcance dinâmico por amostra, cada uma com uma combinação diferente de direção de luz e de visão. No total, são uns 80 bilhões de observações de como o pano reflete luz.

Com esse volume, o método funciona em duas etapas. Primeiro, uma rede neural compartilhada aprende o que existe de comum entre todos os tecidos. Depois, essa rede fica congelada, e cada material novo ganha só uma textura latente de 2048 por 2048 pixels ajustada a ele. Nos testes com tecidos que ficaram fora do treino e no benchmark independente UBO2014, o decodificador treinado no RoboCloth superou os treinados em bases de reflectância já existentes e o ajuste por material PBR analítico, e funcionou em sistemas de captura diferentes sem nenhuma modificação.

Para quem não é pesquisador, a licença pesa tanto quanto o método. Os dados, as calibrações e as divisões de treino e teste saíram em CC BY 4.0 no Hugging Face, livres até para uso comercial com crédito. A NVIDIA já tinha mostrado uma IA que gera material PBR em 8K direto no mapa UV, e o gargalo dessas ferramentas sempre foi a qualidade do que elas viram durante o treino.

Fico pensando no figurinista de um estúdio de animação daqui a alguns anos, escolhendo um tecido numa biblioteca neural do mesmo jeito que hoje escolhe uma amostra física num catálogo, e talvez sem saber que aquele veludo foi fotografado 580 vezes por um braço mecânico no Canadá.