Principais conclusões
- Uma nova ferramenta de software permite que a IA monitore os comentários da Internet em busca de discurso de ódio.
- A IA é necessária para moderar o conteúdo da Internet devido ao enorme volume de material que supera as capacidades humanas.
- Mas alguns especialistas dizem que o monitoramento de fala por IA levanta questões de privacidade.
À medida que o discurso de ódio online aumenta, uma empresa diz que pode ter uma solução que não dependa de moderadores humanos. Uma startup chamada Spectrum Labs fornece tecnologia de inteligência artificial para provedores de plataforma para detectar e encerrar trocas tóxicas em tempo real. Mas especialistas dizem que o monitoramento de IA também levanta questões de privacidade. “O monitoramento de IA geralmente requer a observação de padrões ao longo do tempo, o que exige a retenção dos dados”, disse David Moody, associado sênior da Schellman, uma empresa de avaliação de conformidade de segurança e privacidade, à Lifewire em uma entrevista por e-mail. “Esses dados podem incluir dados que as leis sinalizaram como dados de privacidade (informações de identificação pessoal ou PII).”
Mais discurso de ódio
A Spectrum Labs promete uma solução de alta tecnologia para o antigo problema do discurso de ódio. “Em média, ajudamos as plataformas a reduzir os esforços de moderação de conteúdo em 50% e aumentar a detecção de comportamentos tóxicos em 10x”, afirma a empresa em seu site. A Spectrum diz que trabalhou com institutos de pesquisa especializados em comportamentos nocivos específicos para construir mais de 40 modelos de identificação de comportamento. A plataforma de moderação de conteúdo Guardian da empresa foi construída por uma equipe de cientistas de dados e moderadores para “apoiar a proteção das comunidades contra toxicidade”. Há uma necessidade crescente de formas de combater o discurso de ódio, já que é impossível para um ser humano monitorar cada parte do tráfego online, disse Dylan Fox, CEO da AssemblyAI, uma startup que fornece reconhecimento de fala e tem clientes envolvidos no monitoramento do discurso de ódio, disse à Lifewire em uma entrevista por e-mail. “Existem cerca de 500 milhões de tweets por dia apenas no Twitter”, acrescentou. “Mesmo que uma pessoa pudesse verificar um tweet a cada 10 segundos, o Twitter precisaria empregar 60 mil pessoas para fazer isso. Em vez disso, usamos ferramentas inteligentes como IA para automatizar o processo.” Ao contrário de um ser humano, a IA pode operar 24 horas por dia, 7 dias por semana e potencialmente ser mais equitativa porque é projetada para aplicar uniformemente suas regras a todos os usuários sem que nenhuma crença pessoal interfira, disse Fox. Há também um custo para as pessoas que precisam monitorar e moderar o conteúdo. “Eles podem ser expostos à violência, ódio e atos sórdidos, que podem prejudicar a saúde mental de uma pessoa”, disse ele. A Spectrum não é a única empresa que busca detectar automaticamente o discurso de ódio online. Por exemplo, o Center Malaysia lançou recentemente um rastreador online projetado para encontrar discurso de ódio entre os internautas da Malásia. O software que eles desenvolveram – chamado Tracker Benci – usa aprendizado de máquina para detectar discurso de ódio online, principalmente no Twitter. O desafio é como criar espaços nos quais as pessoas possam realmente se envolver umas com as outras de forma construtiva.
Preocupações com a privacidade
Embora soluções tecnológicas como o Spectrum possam combater o discurso de ódio online, elas também levantam questões sobre o quanto os computadores de policiamento deveriam fazer. Há implicações de liberdade de expressão, mas não apenas para os palestrantes cujas postagens seriam removidas como discurso de ódio, disse Irina Raicu, diretora de ética na Internet do Centro Markkula de Ética Aplicada da Universidade de Santa Clara, à Lifewire em uma entrevista por e-mail. “Permitir o assédio em nome da ‘liberdade de expressão’ levou os alvos de tal discurso (especialmente quando direcionado a indivíduos específicos) a parar de falar – a abandonar completamente várias conversas e plataformas”, disse Raicu. “O desafio é como criar espaços nos quais as pessoas possam realmente se envolver umas com as outras de forma construtiva.” O monitoramento de fala por IA não deve levantar questões de privacidade se as empresas usarem informações publicamente disponíveis durante o monitoramento, disse Fox. No entanto, se a empresa comprar detalhes sobre como os usuários interagem em outras plataformas para pré-identificar usuários problemáticos, isso pode aumentar as preocupações com a privacidade. “Definitivamente, pode ser uma área cinzenta, dependendo da aplicação”, acrescentou.
Justin Davis, CEO da Spectrum Labs, disse à Lifewire em um e-mail que a tecnologia da empresa pode revisar de 2 a 5 mil linhas de dados em frações de segundo. “Mais importante, a tecnologia pode reduzir a quantidade de conteúdo tóxico ao qual os moderadores humanos estão expostos”, disse ele. Podemos estar à beira de uma revolução na IA que monitora a fala humana e o texto online. Avanços futuros incluem melhores recursos de monitoramento independente e autônomo para identificar formas anteriormente desconhecidas de discurso de ódio ou quaisquer outros padrões censuráveis que irão evoluir, disse Moody. A IA também poderá em breve reconhecer padrões nos padrões de fala específicos e relacionar fontes e suas outras atividades por meio de análise de notícias, arquivamentos públicos, análise de padrões de tráfego, monitoramento físico e muitas outras opções, acrescentou. Mas alguns especialistas dizem que os humanos sempre precisarão trabalhar com computadores para monitorar o discurso de ódio. “A IA sozinha não vai funcionar”, disse Raicu. “Tem que ser reconhecido como uma ferramenta imperfeita que deve ser usada em conjunto com outras respostas.”
Correção 25/01/2022: Citação adicionada de Justin Davis no 5º parágrafo a partir do final para refletir um e-mail pós-publicação.
