Introdução

O trabalho em questão trata-se da obtenção de um conjunto de dados rotulado para a tarefa de detecção automática de comentários tóxicos na web em língua portuguesa, bem como experimentos de classificação com o conjunto de dados obtido.

Objetivo

Objetiva-se obter um conjunto de dados relativamente grande, com múltiplos anotadores de diferentes demográficos. Deseja-se também obter um modelo treinado com o conjunto de dados com desempenho substancial. Deve-se fazer também análises no conjunto de dados, procurando possíveis falhas ou viéses ou outras características relevantes.

Metodologia

Primeiramente foram definidas as categorias que estariam presentes no conjunto de dados final. Decidiu-se por usar as categorias Preconceito LGBTQ+, Xenofobia, Misoginia, Rascimo, Insulto e Obsceno. Usou-se da ferramenta Gate Cloud’s Twitter Collector para obter mais de 10 milhões de tweets em uma janela de 15 dias. Os tweets foram coletados usando duas abordagens: busca por keywords potencialmente tóxicas e menções a usuários relevantes. O dataset é composto de 60% da primeira e 40% da segunda abordagem, respectivamente. Por fim, foram selecionados 21.000 exemplos aleatórios para compor o conjunto de dados a ser rotulado. A fase de rotulação iniciou-se através da busca por voluntários na Universidade Federal de São Carlos. Ao fim do processo, 42 voluntários foram selecionados de um total de 129 inscritos e deu-se início à rotulação, com auxílio de um guia preparado pelos pesquisadores.

Resultados

Após a coleta e a rotulação dos dados, obteve-se o conjunto de dados final, chamado ToLD-Br (Toxic Language Dataset for Brazilian Portuguese). O conjunto de dados é multilabel, com 6 categorias, possui 3 anotadores por exemplo, anotadores com diversidade demográfica e é 3 vezes maior do que ambos os conjuntos de dados disponíveis até então para a língua portuguesa. Com isso, foi possível treinar um modelo de classificação automática para a tarefa, que obteve 75% de f1-score.

Conclusão

A tarefa de detecção automática de comentários tóxicos na língua portuguesa, até então, possuia uma falta de dados que impossibilitava experimentos relevantes e obtenção de bons modelos de classificação. Com a adição deste novo conjunto de dados robusto, pode-se dar avanço a pesquisa na área e inclusive utilizar o modelo obtido como auxiliar para outras tarefas semelhantes.