O Hugging Face publicou um guia com scripts e contêineres Docker para fazer fine-tuning do TRELLIS.2, modelo de geração 3D, usando adaptadores LoRA. No experimento com 188 calçados do dataset GSO, os adaptadores foram aplicados apenas aos dois componentes que controlam a geometria, enquanto a etapa de textura ficou congelada. Segundo a publicação, o F-score médio subiu de 0,276 para 0,803 em nove objetos de teste.
O Hugging Face publicou um guia prático para ajustar o TRELLIS.2, modelo de geração 3D, a uma categoria específica de objetos usando adaptadores LoRA. O material inclui scripts, contêineres Docker e instruções para rodar o treinamento localmente ou no Hugging Face Jobs, serviço de cargas de trabalho em contêiner na nuvem.
Segundo a publicação, o objetivo do experimento foi melhorar o desempenho do TRELLIS.2 em um tipo de objeto do dataset Google Scanned Objects (GSO). A equipe usou um subconjunto com 188 calçados e observou que o modelo pré-treinado costumava gerar sapatos visualmente corretos, mas com solas incorretas.
Como o TRELLIS.2 gera um objeto 3D
O texto descreve cinco etapas principais no pipeline: remoção do fundo da imagem, codificação da imagem, previsão da estrutura grossa, geração da geometria detalhada e geração de materiais. Ao final, o resultado é exportado como uma malha texturizada em GLB.
Na primeira etapa, o BiRefNet remove o fundo da imagem de entrada. Em seguida, o DINOv3-L codifica a imagem em tokens de características que orientam a geração. O DiT de fluxo de estrutura esparsa prevê a forma grossa do objeto, e um decodificador VAE transforma esse latente em uma grade de ocupação de 64 x 64 x 64.
A publicação explica que o formato interno O-Voxel é uma grade de voxels esparsa que mantém apenas os voxels na superfície do objeto, com geometria local e atributos de material. Segundo o texto, o modelo usa aproximadamente 10% dos voxels da grade, o que evita gastar computação em regiões vazias.
Onde os adaptadores LoRA foram aplicados
A equipe adicionou adaptadores LoRA apenas ao DiT de fluxo de estrutura esparsa e ao DiT de fluxo de forma, que controlam a estrutura e a geometria do objeto. O DiT de fluxo de textura foi congelado.
A justificativa apresentada é que o dataset contém mapas de cor difusa com efeitos de iluminação embutidos, mas não os mapas de material separados necessários para treinar essa etapa. Segundo o texto, treinar o fluxo de textura nesses mapas poderia ensinar o modelo a tratar iluminação como propriedade de superfície e causar esquecimento catastrófico.
O guia usa a biblioteca PEFT, do Hugging Face, para inserir os adaptadores. Como o TRELLIS.2 tem um passo de propagação personalizado, o texto informa que o wrapper padrão PeftModel não funciona e que a função inject_adapter_in_model foi usada para adicionar os adaptadores diretamente ao modelo.
A configuração treina aproximadamente 9,3 milhões de parâmetros de adaptador no total para os dois DiTs. São adaptadores de rank 8 nas camadas de atenção e MLP do DiT de estrutura esparsa e de rank 16 nas camadas de atenção do DiT de forma.
Preparação dos dados e resultados
O pré-processamento usa o Blender para renderizar 16 vistas de cada objeto, que servem como imagens de condicionamento no treinamento. Segundo a publicação, a execução completa para os 188 objetos levou aproximadamente 1 hora em um job a100-large. Nove objetos foram mantidos para avaliação, e o treino usou os outros 179.
Cada execução de treino usou uma A100 de 80 GB no Hugging Face Jobs. O treino do adaptador de estrutura esparsa levou 7,2 horas, e o de forma, 3,6 horas. O texto ressalta que as curvas de perda mostram como o objetivo de treino muda, mas não medem diretamente a qualidade da geometria gerada.
Na comparação com nove objetos de teste, o modelo base teve F-score médio de 0,276, contra 0,803 com os adaptadores de calçados. A distância de Chamfer caiu de 0,174 para 0,033, e a consistência de normais subiu de 0,530 para 0,804. Segundo o texto, com os dois adaptadores o F-score foi melhor nos nove objetos mantidos para avaliação.
A publicação afirma que, nos exemplos comparados, as solas geradas pelo modelo ajustado ficaram mais próximas das digitalizações de referência. Os adaptadores treinados estão disponíveis em um repositório no Hugging Face.
A principal lição destacada pelos autores é escolher um alvo de treinamento que combine com o problema e com os dados disponíveis. Para o experimento, as etapas de estrutura e forma foram ajustadas, e a etapa de textura foi congelada.
Como próximos passos, o texto menciona verificar se as mesmas escolhas ajudam outros modelos de geração 3D, como Pixal3D e UniLat3D, além de modelos de Gaussian splatting e geração de mundos, como HunyuanWorld 2.0 e NVIDIA Lyra 2.0. A publicação não apresenta resultados desses testes futuros, e os números citados se referem apenas ao experimento com calçados do GSO.
Fonte original: Hugging Face: The Definitive Fine-Tuning Guide for 3D Generation Models.
Receba o Jornal da IA todos os dias
As notícias de inteligência artificial que importam no Brasil, com o nosso prisma e sempre com as fontes. Grátis.



