A xAI de Elon Musk impôs restrições às capacidades de geração de imagens de seu chatbot Grok, limitando-as apenas a assinantes pagantes, após uma condenação generalizada pelo uso da tecnologia para criar imagens sexualizadas não consensuais de mulheres e crianças reais.
“A geração e edição de imagens estão atualmente limitadas a assinantes pagantes”, anunciou Grok por meio do X na sexta-feira. Essa restrição significa que a maioria dos usuários não pode mais acessar o recurso. Assinantes pagos e verificados com dados de cartão de crédito cadastrados ainda têm acesso, mas teoricamente podem ser identificados mais facilmente caso a função seja mal utilizada.
No entanto, especialistas, reguladores e vítimas afirmam que as novas restrições não resolvem o problema que já se tornou generalizado.
“O argumento de que fornecer dados do usuário e métodos de pagamento ajudará a identificar os perpetradores também não é convincente, dado o quão fácil é fornecer informações falsas e usar métodos de pagamento temporários”, disse Henry Ajder, um especialista em deepfakes baseado no Reino Unido, ao Fortune. “A lógica aqui é reativa: deve ajudar a identificar infratores após a geração de conteúdo, mas não representa nenhum alinhamento ou limitações significativas ao modelo em si.”
O governo britânico considerou a medida “insultante” para as vítimas, conforme comentários reportados pela BBC. O porta-voz do primeiro-ministro do Reino Unido disse a repórteres na sexta-feira que a mudança “simplesmente transforma um recurso de IA que permite a criação de imagens ilegais em um serviço premium.”
“É hora de X enfrentar essa questão; se outra empresa de mídia tivesse outdoors em centros urbanos exibindo imagens ilegais, agiria imediatamente para removê-las ou enfrentaria a repercussão pública”, acrescentaram.
Um representante da X afirmou que estavam “analisando” as novas restrições. A xAI respondeu com a mensagem automatizada: “Mentiras da Mídia Tradicional.”
Na última semana, mulheres reais foram alvo em larga escala, com usuários manipulando fotos para remover roupas, posicionar os sujeitos em biquínis ou os colocar em cenários sexualmente explícitos sem seu consentimento. Algumas vítimas relataram se sentir violadas e perturbadas pela tendência, com muitas afirmando que seus relatos à X não foram respondidos e que as imagens permaneceram ativas na plataforma.
Pesquisadores indicaram que a escala em que Grok estava produzindo e compartilhando imagens era sem precedentes, já que, ao contrário de outros bots de IA, Grok possui essencialmente um sistema de distribuição integrado na plataforma X.
Uma pesquisadora, cuja análise foi publicada pelo Bloomberg, estimou que a X se tornou o site mais prolífico para deepfakes na última semana. Genevieve Oh, uma pesquisadora de mídia social e deepfake que conduziu uma análise de 24 horas sobre as imagens postadas pela conta @Grok no X, constatou que o chatbot estava produzindo cerca de 6.700 imagens sugestivas sexualmente ou nuas por hora. Em comparação, os cinco outros principais sites de deepfakes sexualizados apresentaram uma média de 79 novas imagens de IA despindo a cada hora durante o mesmo período. A pesquisa de Oh também revelou que o conteúdo sexualizado dominava a produção do Grok, representando 85% de todas as imagens geradas pelo chatbot.
Ashley St. Clair, comentarista conservadora e mãe de um dos filhos de Musk, foi uma das afetadas pelas imagens. St. Clair disse ao Fortune que usuários estavam transformando imagens em seu perfil na X em fotos explícitas geradas por IA de sua pessoa, incluindo algumas que ela afirmou retratar serem dela quando menor de idade. Após falar contra as imagens e levantar preocupações sobre deepfakes envolvendo menores, St. Clair também disse que a X removeu seu status de assinatura verificada, pagando $8 por mês, sem notificá-la ou reembolsá-la.
“Restringir isso a usuários pagantes apenas mostra que estão decididos a continuar com isso, colocando um ônus indevido sobre as vítimas para relatar às autoridades e sobre as autoridades usarem seus recursos para rastrear essas pessoas”, disse Ashley St. Clair sobre as restrições recentes. “É também uma forma de lucrar.”
St. Clair informou ao Fortune que muitas das contas que a visavam já eram usuários verificados: “Não é de forma alguma eficaz”, apontou. “Isso é apenas uma antecipação a mais questionamentos das autoridades relacionadas à geração de imagens do Grok.”
Pressão regulatória
A mudança para limitar as capacidades do Grok ocorre em meio a uma crescente pressão de reguladores em todo o mundo. No Reino Unido, o primeiro-ministro Keir Starmer sinalizou que está aberto a proibir a plataforma completamente, descrevendo o conteúdo como “vergonhoso” e “repugnante.” Reguladores em Índia, Malásia e França também iniciaram investigações ou inquéritos.
A Comissão Europeia ordenou na quinta-feira que a X preservasse todos os documentos internos e dados relacionados ao Grok, intensificando sua investigação sobre as práticas de moderação de conteúdo da plataforma após descrever a disseminação de deepfakes sexualmente explícitos não consensuais como “ilícitas,” “repulsivas,” e “vergonhosas.”
Especialistas afirmam que as novas restrições podem não satisfazer as preocupações dos reguladores: “Essa abordagem é um instrumento grosseiro que não aborda a raiz do problema com o alinhamento do Grok e provavelmente não será suficiente para convencer os reguladores”, disse Ajder. “Limitar as funcionalidades a usuários pagantes não vai impedir a geração deste conteúdo; uma assinatura mensal não é uma solução robusta.”
Nos EUA, a situação também deve testar as leis existentes, como a Seção 230 da Lei de Decência nas Comunicações, que protege os provedores de conteúdo online de responsabilidade por conteúdo criado por usuários. Os senadores americanos Ron Wyden, Edward J. Markey e Ben Ray Luján emitiram uma declaração instando Apple e Google a “remover imediatamente os aplicativos X e Grok de suas lojas de aplicativos” após o alegado uso do Grok para gerar “imagens sexualizadas não consensuais de mulheres e crianças em larga escala.” Os legisladores chamaram as imagens de “perturbadoras e possivelmente ilegais”, e afirmaram que os aplicativos deveriam permanecer indisponíveis até que Musk abordasse as preocupações.
A Conselho de Relações Americano-Islâmicas (CAIR) também pediu que o Grok fosse bloqueado de gerar “imagens sexualmente explícitas de crianças e mulheres, incluindo mulheres muçulmanas proeminentes.”
Riana Pfefferkorn do Instituto de Inteligência Artificial Centrada no Humano da Stanford anteriormente disse ao Fortune que a responsabilidade em torno de imagens geradas por IA é nebulosa. “Nós temos essa situação onde, pela primeira vez, é a própria plataforma que está em escala gerando pornografia não consensual de adultos e menores,” afirmou. “Do ponto de vista da responsabilidade, bem como do PR, as leis sobre CSAM representam o maior risco potencial de responsabilidade aqui.”
Musk afirmou anteriormente que “qualquer um que usar o Grok para fazer conteúdo ilegal sofrerá as mesmas consequências que se eles carregassem conteúdo ilegal.” No entanto, ainda não está claro como as contas serão responsabilizadas.
