Captura facial sempre foi uma questão de olhar, com câmera apontada para o rosto, luz controlada e, às vezes, um capacete com hastes segurando lentes a poucos centímetros do nariz do ator. Um paper publicado no arXiv em 7 de outubro propõe um caminho em que nada precisa olhar para ninguém. O emg2face, desenvolvido na University of British Columbia, no Canadá, com pesquisadores do Google e do Imperial College London, anima um rosto 3D a partir da atividade elétrica dos músculos da face.

A equipe, liderada por Dinesh K. Pai, da UBC, colocou duas malhas de eletrodos de tecido no rosto dos voluntários, uma na testa e outra na lateral da face, somando 64 canais de eletromiografia de superfície lidos 2.048 vezes por segundo. Ao mesmo tempo, câmeras registravam as expressões, e esse vídeo virou o gabarito do treino, ajustado a um modelo de cabeça de alta resolução com 383 formas de expressão. Depois de treinada com gravações de 25 pessoas, a rede prevê a expressão só pelos sinais musculares, 100 vezes por segundo, num formato que qualquer motor de animação em tempo real já sabe tocar. Os detalhes estão no artigo publicado no arXiv.

O erro mediano ficou em 0,43 milímetro por vértice nas expressões que a rede não tinha visto, cerca de metade do erro de um rosto parado na expressão média. A região dos olhos, que um headset de realidade virtual cobre por completo, saiu tão precisa quanto o resto da face, e um teste só com a malha da testa mostrou que ela sozinha já carrega boa parte da informação. A expressão prevista também pode ser transferida para outros rostos humanos e para personagens que nem são humanos.

Gosto de pensar no que isso inverte. A IA da Disney Research que passa captura de humano para bicho e robô ainda depende de alguém filmar o ator, enquanto aqui o problema de oclusão desaparece porque o sensor está embaixo do que tapa o rosto. Ao mesmo tempo, os autores lembram que a captura óptica levanta questões de privacidade, já que exige câmera apontada para a cara de alguém o tempo todo.

Eletrodos de tecido colados no rosto ainda soam mais laboratório do que sala de estar. Só que a espuma que encosta na testa de quem usa um Quest ou um Vision Pro ocupa exatamente o lugar onde a malha principal desse experimento foi colocada.