"Eu nem sei como eles vão fazer isso. [Facebook’s] revisores humanos não acertam a maior parte do tempo. Eles são incrivelmente ruins ainda ”, diz Klonick. Mas os sistemas de remoção automática são ainda piores. “Haverá muito conteúdo que será lançado incorretamente. É realmente meio louco. "

Isso pode ter um efeito assustador na liberdade de expressão e no fluxo de informações durante um período crítico. Em uma postagem no blog que anuncia a alteração, o YouTube observou que "usuários e criadores podem ver um aumento na remoção de vídeos, incluindo alguns vídeos que podem não violar as políticas". Os sistemas automatizados do site são tão imprecisos que o YouTube disse que não emitiria advertências por fazer upload de vídeos que violam suas regras, "exceto nos casos em que tenhamos muita confiança de que seja violador".

Como parte de sua pesquisa no planejado Oversight Board do Facebook, um painel independente que analisará as decisões de moderação de conteúdo contencioso, Klonick analisou os relatórios de aplicação da empresa, que detalham o quão bem ele monitora o conteúdo no Facebook e no Instagram. Klonick diz que o que a impressionou com o relatório mais recente, de novembro, foi que a maioria das decisões de retirada que o Facebook reverteu veio de suas ferramentas e tecnologias de sinalização automatizadas. “Há apenas altas margens de erro, elas são tão propensas a censurar demais e [potentially] perigoso ”, ela diz.

O Facebook, pelo menos naquele relatório de novembro, não parecia exatamente discordar:

Enquanto instrumental em nossos esforços, a tecnologia tem limitações. Ainda estamos muito longe de ser eficaz para todos os tipos de violações. Nosso software é desenvolvido com aprendizado de máquina para reconhecer padrões, com base no tipo de violação e no idioma local. Em alguns casos, nosso software não foi treinado o suficiente para detectar automaticamente violações em grande escala. Alguns tipos de violação, como bullying e assédio, exigem que compreendamos mais contexto do que outros e, portanto, exigem a revisão por nossas equipes treinadas.

Zuckerberg disse na quarta-feira que muitos dos contratados que compõem essas equipes seriam incapazes de fazer seu trabalho em casa. Embora alguns moderadores de conteúdo em todo o mundo trabalhem remotamente, muitos são obrigados a trabalhar em um escritório devido à natureza de suas funções. Os moderadores têm a tarefa de revisar postagens extremamente sensíveis e gráficas sobre exploração infantil, terrorismo, auto-mutilação e muito mais. Para impedir que algo vaze para o público, "essas instalações são tratadas com altos graus de segurança", diz Roberts. Por exemplo, os trabalhadores geralmente precisam manter seus celulares em armários e não podem trazê-los para suas mesas.

Zuckerberg também disse a repórteres que os escritórios onde trabalham os moderadores de conteúdo têm serviços de saúde mental que não podem ser acessados ​​em casa. Eles costumam ter terapeutas e conselheiros na equipe, treinamento de resiliência e salvaguardas que forçam as pessoas a fazer pausas. (O Facebook adicionou alguns desses programas no ano passado, depois que o The Cibersistemas relatou as condições sombrias de trabalho em alguns escritórios das empresas contratadas.) Como muitos americanos estão descobrindo esta semana, o isolamento de trabalhar em casa pode trazer seu próprio estresse. "Existe um nível de apoio mútuo que permanece no espaço de trabalho compartilhado", diz Roberts. "Quando isso se rompe, estou preocupado com a extensão em que os trabalhadores terão uma saída para apoiar-se um ao outro ou apoiar-se na equipe".

Não há escolhas fáceis de fazer. Enviar moderadores de volta ao trabalho seria um risco imperdoável à saúde pública, mas fazê-los trabalhar em casa aumenta a privacidade e as preocupações legais. Deixar a tarefa de moderação em grande parte das máquinas significa aceitar mais erros e reduzir a capacidade de corrigi-los em um momento em que há pouco espaço para erros.

As empresas de tecnologia ficam entre uma pedra e um lugar duro, diz Klonick. Durante uma pandemia, a moderação precisa e confiável é mais importante do que nunca, mas os recursos para isso são limitados. “Anote as informações erradas ou bana a conta errada, e isso acaba repercutindo em como as pessoas podem falar - ponto final - porque não podem ir a uma praça pública literal”, diz ela. "Eles têm que ir a algum lugar na internet."

A WIRED fornece acesso gratuito e ilimitado a histórias sobre a pandemia de coronavírus. Inscreva-se na atualização do Coronavirus para receber as últimas novidades em sua caixa de entrada.

Mais do WIRED sobre Covid-19