Investigating Methods to Detect Off-Topic Essays
Loading...
Date
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Instituto Federal de Educação, Ciência e Tecnologia do Piauí
Resumo
A Avaliação Automatizada de Redações (Automated Essay Scoring) é uma das aplicações educacionais mais importantes do processamento de linguagem natural. Ela auxilia os professores na avaliação automática, oferecendo uma abordagem mais barata, rápida e determinística do que a avaliação humana na atribuição de notas às redações. No entanto, redações que fogem do tema proposto representam desafios nessa área, fazendo com que um avaliador automatizado superestime a nota de uma redação que não está de acordo com o tema proposto. Assim, detectar redações fora do tema é importante para lidar com respostas textuais não relacionadas ao tema apresentado. Este artigo explorou abordagens baseadas em características elaboradas manualmente para alimentar algoritmos de aprendizado de máquina supervisionado, o ajuste fino de um modelo BERT e a engenharia de prompts com um modelo de linguagem de grande escala. Avaliamos essas estratégias em um corpus público de redações em português, obtendo o melhor resultado com um modelo BERT ajustado, que alcançou 75% de acurácia balanceada. Além disso, essa estratégia foi capaz de identificar redações de baixa qualidade.
Description
Keywords
Automated Essay Scoring, Off-Topic Essays, BERT.