Avaliação Automática do Nível de Complexidade de Textos em Português Europeu
Open Access
- 24 November 2024
- journal article
- Published by University of Minho in Linguamática
- Vol. 16 (2) , 115-139
Abstract
A avaliação da inteligibilidade de textos e a sua classificação por níveis de complexidade é essencial para o ensino de língua e para indústrias relacionadas com a linguagem que dependem de uma comunicação eficaz. O Quadro Europeu Comum de Referência para as Línguas (CEFR) é uma referência amplamente reconhecida para a classificação dos níveis de proficiência linguística. Este quadro pode ser utilizado não apenas para avaliar a proficiência de aprendentes de uma língua, mas também, de uma perspetiva de inteligibilidade, como um meio de identificar a proficiência necessária para compreender um texto. O objetivo deste estudo é desenvolver e avaliar modelos automáticos capazes de classificar textos em português europeu de acordo com os níveis de complexidade definidos pelo CEFR. Para tal, exploramos o ajuste de vários modelos de base pré-treinados em dados textuais utilizados para fins de avaliação de proficiência e exploramos abordagens que tiram partido da natureza ordinal dos níveis. Realizamos ainda uma análise preliminar da capacidade de base que modelos baseados em instruções têm para desempenhar esta tarefa. Nas experiências, os melhores modelos conseguem atingir mais de 80% de taxa de acerto e 75% de medida F1 mas têm dificuldade em generalizar para diferentes tipos de texto, o que revela a necessidade de dados de treino adicionais e mais diversificados.Keywords
This publication has 29 references indexed in Scilit:
- Advancing Neural Encoding of Portuguese with Transformer Albertina PT-*2023
- NILC-Metrix: assessing the complexity of written and spoken language in Brazilian PortugueseLanguage Resources and Evaluation, 2023
- Prompt Engineering with ChatGPT: A Guide for Academic WritersAnnals of Biomedical Engineering, 2023
- Neural Complexity Assessment: A Deep Learning Approach to Readability Classification for European Portuguese Corpora2021
- Neural Text Categorization with Transformers for Learning Portuguese as a Second Language2021
- BERTimbau: Pretrained BERT Models for Brazilian Portuguese2020
- Automatic Text Difficulty Estimation Using Embeddings and Neural Networks2019
- Predicting Text Comprehension, Processing, and Familiarity in Adult Readers: New Approaches to Readability FormulasDiscourse Processes, 2017
- Single-Sentence Readability Prediction in Russian2014
- Rolling out Text Categorization for Language Learning Assessment Supported by Language Technology2014