Na primavera de 2022, o Twitter considerou fazer uma mudança radical na plataforma. Depois de anos permitindo silenciosamente conteúdo adulto no serviço, a empresa o monetizaria. A proposta: dar aos criadores de conteúdo adulto a capacidade de começar a vender assinaturas pagas no estilo OnlyFans, com o Twitter mantendo uma parte da receita.
Se o projeto tivesse sido aprovado, o Twitter teria arriscado uma enorme reação dos anunciantes, que geram a grande maioria das receitas da empresa. Mas o serviço poderia ter gerado mais do que o suficiente para compensar as perdas. OnlyFans, o mais popular dos sites de criadores de conteúdo adulto, está projetando US$ 2,5 bilhões em receita este ano – cerca de metade da receita do Twitter em 2021 – e já é uma empresa lucrativa.
Alguns executivos pensaram que o Twitter poderia facilmente começar a capturar uma parte desse dinheiro, já que o serviço já é o principal canal de marketing para a maioria dos criadores do OnlyFans. E assim os recursos foram enviados para um novo projeto chamado ACM: Adult Content Monetization.
Antes do sinal verde final para o lançamento, porém, o Twitter convocou 84 funcionários para formar o que chamou de “Equipe Vermelha”. O objetivo era “testar sob pressão a decisão de permitir que criadores adultos monetizem na plataforma, concentrando-se especificamente em como seria o Twitter fazer isso com segurança e responsabilidade”, de acordo com documentos obtidos pelo The Verge e entrevistas com os atuais e ex-funcionários do Twitter.OS EXECUTIVOS APARENTEMENTE ESTÃO BEM INFORMADOS SOBRE O PROBLEMA, E A EMPRESA ESTÁ FAZENDO POUCO PARA CORRIGI-LO
O que a Red Team descobriu inviabilizou o projeto: o Twitter não podia permitir que criadores adultos vendessem assinaturas com segurança porque a empresa não estava – e ainda não está – efetivamente policiando conteúdo sexual prejudicial na plataforma.
“O Twitter não pode detectar com precisão a exploração sexual infantil e nudez não consensual em escala”, concluiu a Red Team em abril de 2022. A empresa também não tinha ferramentas para verificar se os criadores e consumidores de conteúdo adulto eram maiores de idade, descobriu a equipe. Como resultado, em maio – semanas depois que Elon Musk concordou em comprar a empresa por US$ 44 bilhões – a empresa atrasou o projeto indefinidamente. Se o Twitter não pudesse remover consistentemente conteúdo de exploração sexual infantil na plataforma hoje, como começaria a monetizar pornografia?
O lançamento do ACM pioraria o problema, descobriu a equipe. Permitir que os criadores comecem a colocar seu conteúdo atrás de um paywall significaria que ainda mais material ilegal chegaria ao Twitter – e mais dele sairia de vista. O Twitter tinha poucas ferramentas eficazes disponíveis para encontrá-lo.
Levando o relatório da Red Team a sério, a liderança decidiu que não lançaria a monetização de conteúdo adulto até que o Twitter implementasse mais medidas de saúde e segurança.
O TWITTER NÃO COMPROMETEU RECURSOS SUFICIENTES PARA DETECTAR, REMOVER E IMPEDIR CONTEÚDO PREJUDICIAL DA PLATAFORMA
O relatório da Red Team “fez parte de uma discussão, que acabou nos levando a pausar o fluxo de trabalho pelos motivos certos”, disse a porta-voz do Twitter Katie Rosborough.
Mas isso pouco fez para mudar o problema em questão – um que os funcionários de toda a empresa vêm alertando há mais de um ano. De acordo com entrevistas com funcionários atuais e ex-funcionários, além de 58 páginas de documentos internos obtidos pelo The Verge, o Twitter ainda tem um problema com conteúdo que explora sexualmente crianças. Os executivos aparentemente estão bem informados sobre o problema, e a empresa está fazendo pouco para corrigi-lo.
“O Twitter tem tolerância zero para exploração sexual infantil”, disse Rosborough, do Twitter. “Lutamos agressivamente contra o abuso sexual infantil online e investimos significativamente em tecnologia e ferramentas para fazer cumprir nossa política. Nossas equipes dedicadas trabalham para ficar à frente dos atores de má-fé e ajudar a garantir que estamos protegendo os menores de danos – tanto online quanto offline.”
CenquantoEnquantoo trabalho da Red Team conseguiu atrasar o projeto de monetização de conteúdo adulto, nada que a equipe descobriu deveria ter sido uma surpresa para os executivos do Twitter. Quinze meses antes, pesquisadores que trabalhavam na equipe encarregada de tornar o Twitter mais civilizado e seguro soaram o alarme sobre o estado fraco das ferramentas do Twitter para detectar exploração sexual infantil (CSE) e imploraram aos executivos que adicionassem mais recursos para corrigi-lo.
O SISTEMA EM QUE O TWITTER SE BASEOU FORTEMENTE PARA DESCOBRIR O CSE COMEÇOU A QUEBRAR
“Embora a quantidade de CSE online tenha crescido exponencialmente, o investimento do Twitter em tecnologias para detectar e gerenciar o crescimento não”, começa um relatório de fevereiro de 2021 da equipe de saúde da empresa. “As equipes estão gerenciando a carga de trabalho usando ferramentas legadas com janelas quebradas conhecidas. Em resumo (e descrito detalhadamente abaixo), [moderadores de conteúdo] estão mantendo o navio à tona com suporte limitado ou nenhum da Health.”
Os funcionários com quem conversamos reiteraram que, apesar dos executivos saberem sobre os problemas de CSE da empresa, o Twitter não comprometeu recursos suficientes para detectar, remover e impedir conteúdo prejudicial da plataforma.
Parte do problema é a escala. Todas as plataformas lutam para gerenciar os materiais ilegais que os usuários carregam no site e, nesse sentido, o Twitter não é diferente. A plataforma, um meio crítico para comunicação global com 229 milhões de usuários diários, tem os desafios de moderação de conteúdo que surgem com a operação de qualquer grande espaço na internet e a luta adicional de escrutínio desproporcional de políticos e da mídia.
Mas, ao contrário de seus pares maiores, incluindo Google e Facebook, o Twitter sofreu com um histórico de má administração e um negócio geralmente fraco que não conseguiu gerar lucro em oito dos últimos 10 anos. Como resultado, a empresa investiu muito menos em moderação de conteúdo e segurança do usuário do que seus rivais. Em 2019, Mark Zuckerberg se gabou de que o valor que o Facebook gasta em recursos de segurança excede toda a receita anual do Twitter .
Enquanto isso, o sistema em que o Twitter se baseou fortemente para descobrir o CSE começou a quebrar.
Durante anos, as plataformas de tecnologia colaboraram para encontrar material CSE conhecido, combinando imagens com um banco de dados amplamente implantado chamado PhotoDNA. A Microsoft criou o serviço em 2009 e, embora seja preciso na identificação do CSE, o PhotoDNA só pode sinalizar imagens conhecidas. Por lei, as plataformas que buscam CSE são obrigadas a relatar o que encontram ao Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC), uma organização sem fins lucrativos financiada pelo governo que rastreia o problema e compartilha informações com as autoridades. Uma análise do NCMEC citada pelo grupo de trabalho do Twitter descobriu que dos 1 milhão de relatórios enviados a cada mês, 84% contêm CSE recém-descoberto – nenhum dos quais seria sinalizado pelo PhotoDNA. Na prática, isso significa que o Twitter provavelmente não consegue detectar uma quantidade significativa de conteúdo ilegal na plataforma.
O TWITTER NÃO CONSEGUIU REMOVER OS VÍDEOS, “PERMITINDO QUE FOSSEM VISTOS POR CENTENAS DE MILHARES DE USUÁRIOS DA PLATAFORMA”
O relatório de 2021 descobriu que os processos que o Twitter usa para identificar e remover o CSE são lamentavelmente inadequados – em grande parte manuais em um momento em que empresas maiores se voltam cada vez mais para sistemas automatizados que podem capturar material que não é sinalizado pelo PhotoDNA. O principal software de fiscalização do Twitter é “uma ferramenta herdada e sem suporte” chamada RedPanda, de acordo com o relatório. “O RedPanda é de longe uma das ferramentas mais frágeis, ineficientes e com menos suporte que temos para oferecer”, disse um engenheiro citado no relatório.
O Twitter desenvolveu um sistema manual para enviar relatórios ao NCMEC. Mas o relatório de fevereiro descobriu que, por ser tão trabalhoso, isso criou um acúmulo de casos para revisão, atrasando muitos casos de CSE de serem relatados às autoridades.
As ferramentas de aprendizado de máquina que o Twitter possui são incapazes de identificar novas instâncias de CSE em tweets ou vídeos ao vivo, segundo o relatório. Até fevereiro de 2022, não havia como os usuários sinalizarem conteúdo como algo mais específico do que “mídia sensível” – uma categoria ampla que significava que alguns dos piores materiais da plataforma geralmente não eram priorizados para moderação. Em um caso, um vídeo ilegal ficou visível na plataforma por mais de 23 horas, mesmo depois de ter sido amplamente denunciado como abusivo.
“Essas lacunas também colocam o Twitter em risco legal e de reputação”, escreveu o grupo de trabalho do Twitter em seu relatório.
Rosborough disse que, desde fevereiro de 2021, a empresa aumentou significativamente seu investimento na detecção de CSE. Ela observou que atualmente tem quatro vagas abertas para funções de segurança infantil em um momento em que o Twitter diminuiu seu ritmo de contratação.
No início deste ano, o NCMEC acusou o Twitter de deixar vídeos contendo material de abuso sexual infantil “óbvio” e “gráfico” em um amicus brief submetido ao nono circuito em John Doe #1 et al. v. Twitter . “As crianças informaram à empresa que eram menores de idade, que foram ‘seduzidas, assediadas e ameaçadas’ para fazer os vídeos, que foram vítimas de ‘abuso sexual’ sob investigação da polícia”, dizia o documento. No entanto, o Twitter não conseguiu remover os vídeos, “permitindo que fossem vistos por centenas de milhares de usuários da plataforma”.
Isso ecoou uma preocupação dos próprios funcionários do Twitter, que escreveram em um relatório de fevereiro que a empresa, juntamente com outras plataformas de tecnologia, “acelerou o ritmo de criação e distribuição de conteúdo CSE a um ponto de ruptura em que a detecção, revisão e investigações manuais não mais escala”, permitindo conteúdo adulto e deixando de investir em sistemas que poderiam efetivamente monitorá-lo.
A LUTA DE ANOS PARA LIDAR COM O CSE ENCONTROU UMA PRIORIDADE CONCORRENTE NO TWITTER: AUMENTAR MUITO SEUS NÚMEROS DE USUÁRIOS E RECEITA
Para resolver o problema, o grupo de trabalho convocou executivos do Twitter para trabalhar em uma série de projetos. O grupo recomendou que a empresa finalmente construísse uma ferramenta única para processar relatórios de CSE, coletar e analisar dados relacionados e enviar relatórios ao NCMEC. Ele deve criar impressões digitais exclusivas (chamadas de hashes) do CSE que encontrar e compartilhar essas impressões digitais com outras plataformas de tecnologia. E deve criar recursos para proteger a saúde mental dos moderadores de conteúdo, a maioria dos quais trabalha para fornecedores terceirizados, desfocando os rostos das vítimas de abuso ou dessaturando as imagens.
Mas mesmo em 2021, antes do início da tumultuada aquisição da empresa por Musk, o grupo de trabalho reconheceu que reunir os recursos necessários seria um desafio.
“A tarefa de ‘consertar’ as ferramentas do CSE é assustadora”, escreveram. “A estratégia [da equipe de saúde] deve ser eliminar essas necessidades ao longo do tempo, começando com os recursos de maior prioridade para evitar a armadilha muito grande para priorizar”.
Afinal, o projeto pode ter sido grande demais para ser priorizado. Além de habilitar os relatórios de CSE no aplicativo, parece ter havido pouco progresso nas outras recomendações do grupo. Uma das equipes de pesquisa que mais falou sobre a correção dos sistemas de detecção de CSE do Twitter foi dissolvida. (Rosborough, do Twitter, diz que a equipe foi “reorientada para refletir seu objetivo central de segurança infantil” e teve engenheiros dedicados adicionados a ela.) Os funcionários dizem que os executivos do Twitter sabem sobre o problema, mas a empresa falhou repetidamente em agir.
A luta de anos para lidar com o CSE se deparou com uma prioridade concorrente no Twitter: aumentar muito seus números de usuários e receita. Em 2020, o investidor ativista Elliott Management assumiu uma grande posição no Twitter em um esforço para expulsar o então CEO Jack Dorsey . Ele sobreviveu à tentativa, mas para permanecer como CEO, Dorsey fez três promessas difíceis de cumprir: que o Twitter aumentaria sua base de usuários em 100 milhões de pessoas, aceleraria o crescimento da receita e ganharia participação no mercado de publicidade digital.
Dorsey deixou o cargo de CEO em novembro de 2021, tendo feito pouco progresso para atingir esses marcos. Coube ao seu sucessor escolhido a dedo, o ex-diretor de tecnologia Parag Agrawal, cumprir as exigências de Elliott.
Sob seu ex-chefe de produto, Kayvon Beykpour, o Twitter passou os últimos anos adicionando produtos para criadores. No verão passado, começou a lançar “Espaços com ingressos ”, permitindo que os usuários cobrassem pelo acesso ao seu produto de áudio ao vivo semelhante ao Clubhouse. A empresa adicionou “Super Follows”, uma maneira de os usuários oferecerem assinaturas para conteúdo não sexualmente explícito, em setembro passado . Em ambos os casos, a empresa recebe uma porcentagem da receita do usuário, permitindo que a empresa ganhe dinheiro fora de seu negócio principal de anúncios.“CONTEÚDO ADULTO FOI UM GRANDE DIFERENCIAL PARA O TWITTER E, PARA QUEM [TRABALHAVA] EM RECEITA, ERA UM RECURSO INEXPLORADO.”
Enquanto tudo isso acontecia, o Twitter se tornou um importante destino para outro tipo de conteúdo: pornografia. Nos quase quatro anos desde que o Tumblr baniu o conteúdo adulto , o Twitter se tornou um dos únicos sites populares que permite aos usuários fazer upload de fotos e vídeos sexualmente explícitos. Também atraiu um número significativo de artistas que usam o Twitter para comercializar e expandir seus negócios, usando fotos e videoclipes curtos como anúncios de serviços pagos como OnlyFans.
“Conteúdo adulto era um grande diferencial para o Twitter e, para aqueles que trabalhavam com receita, era um recurso inexplorado”, diz um ex-funcionário.
O Twitter é tão importante para o mundo pornô que os temores de que a empresa acabe cedendo às pressões externas e o encerre tem regularmente perturbado o mundo dos criadores adultos . Na verdade, porém, nesta primavera, a empresa estava considerando um movimento que tornaria a pornografia ainda mais importante para a plataforma – colocando-a no centro de um novo plano de receita.
O Twitter já tinha Super Follows para conteúdo não explícito, o pensamento foi. Por que não adicionar o recurso para criadores de conteúdo adulto também? O momento parecia certo, especialmente depois que o OnlyFans alienou os usuários ao dizer no ano passado que baniria conteúdo adulto, apenas para reverter sua posição alguns dias depois .
Os executivos raramente discutem sua popularidade como destino de conteúdo adulto. (Um documento obtido pelo The Verge sugere que a empresa tem uma estratégia “para minimizar o foco e a imprensa” relacionada ao assunto.) Mas nos últimos dois anos, a empresa levou muito a sério o conteúdo adulto e começou a explorar ativamente um serviço do tipo OnlyFans. para seus usuários.
Nesta primavera, a empresa estava se aproximando de uma decisão final. Nos dias 21 e 22 de abril, o Twitter convocou outro Red Team, desta vez para um projeto chamado Adult Creator Monetization, ou ACM.
O Twitter teria vários pontos fortes se decidisse competir com o OnlyFans, descobriu o Red Team. Os criadores adultos geralmente têm uma atitude favorável em relação à empresa, graças à facilidade com que o Twitter facilita a distribuição de seu conteúdo. O projeto também foi “consistente com os princípios do Twitter em liberdade de expressão e de expressão”, disseram eles. Finalmente, a empresa estava planejando obter uma licença de transmissor de dinheiro para poder lidar legalmente com os pagamentos.
Dado o tamanho da oportunidade, a Red Team escreveu: “A ACM pode ajudar a financiar melhorias de engenharia de infraestrutura para o restante da plataforma”.
Mas a equipe também encontrou vários riscos importantes. “Perderemos uma receita significativa de nossos principais anunciantes”, escreveu a equipe. Ele especulou que também poderia alienar os clientes e atrair um escrutínio significativo do Congresso.
As maiores preocupações, no entanto, tinham que lidar com os sistemas da empresa para detectar CSE e nudez não consensual: “Hoje não podemos identificar proativamente conteúdo violador e ter conteúdo adulto inconsistente [políticas] e aplicação”, escreveu a equipe. “Temos recursos de segurança fracos para manter os produtos seguros.”
O TWITTER TEVE VÁRIAS VIOLAÇÕES DE DADOS DE ALTO PERFIL. EVENTUALMENTE, O TWITTER ABANDONOU O PROJETO.
Corrigir isso seria caro, e a empresa provavelmente cometeria erros de execução. Nus não consensuais, eles escreveram, “podem arruinar vidas quando postados e monetizados”.
Além disso, o relatório disse: “Existem vários desafios para manter isso como uma prioridade. … Estamos pensando na saúde como um paralelo à monetização, em vez de um pré-requisito”.
Beykpour, ex-chefe de produto do Twitter, pressionou o Twitter a lançar o Real ID – um recurso que exigiria que os usuários enviassem documentos governamentais para provar sua identidade. Se o Twitter quisesse monetizar conteúdo adulto, precisaria verificar as idades das pessoas que criam esse conteúdo, bem como das pessoas que o assistem. Mas os funcionários já haviam determinado que o Real ID apresentava sérios problemas. A correspondência de IDs com bancos de dados governamentais era cara e exigia uma rede segura. O Twitter teve várias violações de dados de alto perfil. Eventualmente, o Twitter abandonou o projeto.
Em breve, as prioridades do grupo mudariam completamente. Em 23 de agosto, o Twitter anunciou que a equipe de saúde seria reorganizada e combinada com uma equipe encarregada de identificar contas de spam. A mudança ocorreu em meio à crescente pressão de Elon Musk, que alegou que a empresa estava mentindo sobre o número de bots na plataforma.
“Foi um soco no estômago”, diz um ex-pesquisador da equipe. “Para Elon Musk declarar que o spam era a pergunta mais importante que precisava ser respondida para que ele comprasse a empresa é ridículo.”
Mas os problemas do Twitter com Musk – e o caos interno que eles causariam – estavam apenas começando.
