Em resumo
Um relatório da AI Forensics concluiu que sete dos nove principais modelos de edição de imagens hospedados no Hugging Face aceitaram comandos simples para remover roupas de mulheres. O caso expõe lacunas de segurança em modelos abertos e amplia o risco de deepfakes sexuais não consensuais envolvendo adultos e crianças.
Modelos de edição de imagens disponíveis no Hugging Face estão sendo usados para facilitar a criação de deepfakes sexuais sem consentimento, segundo um relatório da organização europeia sem fins lucrativos AI Forensics. A investigação concluiu que sete dos nove modelos mais populares avaliados aceitaram comandos simples para remover roupas de mulheres.
O resultado coloca o Hugging Face no centro de uma discussão crescente sobre os limites da distribuição de modelos de inteligência artificial de código aberto. Enquanto serviços comerciais como ChatGPT e Gemini normalmente bloqueiam instruções para despir ou sexualizar pessoas, os modelos examinados pela AI Forensics apresentaram barreiras significativamente mais frágeis.
A plataforma funciona como um repositório no qual desenvolvedores podem publicar, baixar e adaptar modelos. Essa estrutura acelera a pesquisa e permite que usuários executem ferramentas localmente, mas também dificulta a aplicação uniforme de filtros. Uma vez baixado, um modelo pode ser modificado, combinado com outros sistemas ou operado fora do ambiente original.
O que foi testado
De acordo com a pesquisa citada pelo The Verge, os investigadores analisaram nove modelos de edição de imagens hospedados no Hugging Face e fizeram solicitações relacionadas à remoção de roupas. Sete deles responderam de forma permissiva a instruções consideradas simples, indicando que não era necessário conhecimento técnico avançado para tentar produzir esse tipo de conteúdo.
O estudo também diferencia esses modelos de sistemas generativos mais controlados, que costumam incluir políticas contra nudez sexualizada e imagens íntimas não consensuais. Essas proteções não eliminam o abuso, mas aumentam o atrito para quem tenta explorar a ferramenta e podem impedir parte dos pedidos mais explícitos.
A divulgação não significa que todos os modelos disponíveis no Hugging Face tenham o mesmo comportamento. O desempenho pode variar conforme a versão, os parâmetros, a interface usada e eventuais filtros adicionados por terceiros. Ainda assim, a proporção observada pela organização sugere um problema sistêmico de governança, e não apenas uma falha isolada.
Risco para vítimas e para a plataforma
Deepfakes sexuais podem causar danos mesmo quando o material é falso. A circulação de uma imagem manipulada pode provocar assédio, chantagem, perda de emprego, violência e impactos psicológicos duradouros. Quando crianças ou adolescentes são retratados, a situação pode envolver crimes ainda mais graves, embora o material fornecido não detalhe casos específicos nem confirme a presença de vítimas identificadas.
O acesso a modelos executáveis localmente amplia o desafio. Plataformas podem remover páginas, limitar contas ou bloquear determinados termos, mas não controlam necessariamente cópias já baixadas. Isso desloca parte da responsabilidade para quem publica modelos, mantém interfaces, oferece conjuntos de dados e cria mecanismos de distribuição.
Há também um problema de transparência. Usuários podem não saber quais dados foram usados no treinamento, que filtros existem ou como denunciar resultados abusivos. Pesquisadores e autoridades, por sua vez, precisam de informações suficientes para reproduzir testes, avaliar riscos e distinguir falhas do modelo de usos deliberadamente maliciosos.
O que pode acontecer agora
O Hugging Face pode ser pressionado a revisar seus critérios de publicação, exigir avaliações de segurança, restringir modelos com recursos explícitos de despir pessoas e melhorar canais de denúncia. Essas medidas, porém, terão alcance limitado se não forem acompanhadas de controles sobre as interfaces e ferramentas que empacotam os modelos para o público.
Desenvolvedores podem adotar filtros de entrada e saída, marcas d’água, registros de abuso e testes independentes antes de disponibilizar modelos. Também é necessário verificar se salvaguardas resistem a variações de linguagem, ajustes finos e tentativas de contornar instruções de segurança.
O relatório não estabelece, com as informações disponíveis, quantas imagens foram produzidas, quantas pessoas foram afetadas ou se houve distribuição criminosa vinculada diretamente aos modelos analisados. Também não está confirmado quais providências concretas o Hugging Face adotará. Esses pontos serão essenciais para medir a extensão do problema e a efetividade de qualquer resposta.
O caso reforça que a abertura de um modelo não elimina a necessidade de responsabilidade. A mesma capacidade que permite pesquisa, personalização e inovação pode reduzir o custo de ataques contra pessoas reais. Para o setor, a questão deixa de ser apenas se um modelo consegue editar uma imagem e passa a incluir quem antecipa o abuso, quem reage às denúncias e quais mecanismos permanecem funcionando depois que o código deixa a plataforma.
O nosso prisma
O principal alerta não é apenas a existência de modelos capazes de gerar nudez falsa, mas a facilidade de acesso e a ausência de barreiras consistentes entre diferentes ferramentas. Repositórios abertos precisam tratar segurança como parte do ciclo de distribuição, e não como uma responsabilidade exclusiva do usuário final. Na prática, filtros aplicados somente na interface são insuficientes quando os modelos podem ser baixados e executados localmente. A resposta mais efetiva tende a combinar avaliação independente, rastreabilidade, remoção rápida e responsabilização de quem cria produtos voltados ao abuso.
Fonte: The Verge (IA)
Perguntas frequentes
O que o relatório da AI Forensics encontrou?
Sete dos nove principais modelos de edição de imagens avaliados aceitaram pedidos para gerar imagens de mulheres sem roupas.
O Hugging Face criou esses modelos?
Não necessariamente. A plataforma hospeda e distribui modelos de terceiros, mas o relatório questiona a eficácia de seus mecanismos de prevenção.
As imagens analisadas eram de pessoas reais?
O material fornecido não confirma todos os casos, nem identifica as vítimas ou a origem das imagens usadas nos testes.
Receba o Jornal da IA todos os dias
As notícias de inteligência artificial que importam no Brasil — com o nosso prisma e sempre com as fontes. Grátis.
