Elvis de Souza
Current Organizations / Institutes
The organizations/institutes from the scholar's latest article
Elvis de Souza has a total of 18 co-authors. Here are the top co-authors by number of shared publications:
- Cláudia Freitas
Universidade de São Paulo
7 shared publications - Marco Aurélio Cavalcanti Pacheco
Department of Electrical Engineering, Pontifical Catholic University of Rio de Janeiro, Rio de Janeiro, Brazil
2 shared publications - Aline Paes
Institute of Computing, Universidade Federal Fluminense, Niterói, Brazil
1 shared publication - André Alisson Rodrigues da Silva
Academic Unit of Agronomy, Universidade Federal do Oeste do Pará, Juruti 68170-000, Brazil
1 shared publication Arthur Mariano Rocha De Azevedo Scalercio
Institute of Computing Universidade Federal Fluminense RJ Brazil
1 shared publication- Diogo da Silva Magalhães Gomes
Petrobras
1 shared publication
Latest Publications
- Open Access
- 1 January 2025
- Published by Association for Computational Linguistics (ACL)
- p. 24452-24477
Evaluating LLMs for Portuguese Sentence Simplification with Linguistic Insights
Arthur Mariano Rocha De Azevedo Scalercio, Elvis A. De Souza, Maria José Bocorny Finatto, Aline Paes. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2025.
- 1 January 2025
- Published by Association for Computational Linguistics (ACL)
- p. 24452-24477
Open AccessEvaluating LLMs for Portuguese Sentence Simplification with Linguistic Insights
Arthur Mariano Rocha De Azevedo Scalercio, Elvis A. De Souza, Maria José Bocorny Finatto, Aline Paes. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2025.
- Open Access
- 28 November 2024
- Published by Sociedade Brasileira de Computação
- p. 524-529
Text extraction from Knowledge Graphs in the Oil and Gas Industry
This paper presents a detailed methodology for extracting and analyzing data from a knowledge graph designed to store complex geological information. Our pipeline was designed after a deep understanding of the KG, focuses on browsing, querying and transforming data using curated text templates. The extraction methodology is based on graph triples, key classes, properties and relationships, which ensures the relevance and truthfulness of the data obtained. With the recent advancements in neural large language models, which perform exceptionally well on open-domain tasks, our work addresses the challenge of presenting LLMs with accurate closed-domain data—originating from graph-based sources—in a readable and accessible textual format.
- 28 November 2024
- Published by Sociedade Brasileira de Computação
- p. 524-529
Open AccessText extraction from Knowledge Graphs in the Oil and Gas Industry
This paper presents a detailed methodology for extracting and analyzing data from a knowledge graph designed to store complex geological information. Our pipeline was designed after a deep understanding of the KG, focuses on browsing, querying and transforming data using curated text templates. The extraction methodology is based on graph triples, key classes, properties and relationships, which ensures the relevance and truthfulness of the data obtained. With the recent advancements in neural large language models, which perform exceptionally well on open-domain tasks, our work addresses the challenge of presenting LLMs with accurate closed-domain data—originating from graph-based sources—in a readable and accessible textual format.
- Open Access
- 17 November 2024
- Published by Sociedade Brasileira de Computação
- p. 217-226
Automatic Annotation of Enhanced Universal Dependencies for Brazilian Portuguese
This paper presents the first attempt to automatically annotate Enhanced Universal Dependencies for Brazilian Portuguese. We use a symbolic annotation system, based on graph rewriting rules, and modify its original rules to better suit the linguistic characteristics of Portuguese using a manually annotated sample from the journalistic portion of Porttinari treebank as ground truth. Our objective is to assess the performance of the automatic annotation for a novel language and to determine the extent of possible improvements through rule modifications. Results demonstrate significant performance enhancements, where linguistic-driven rule adjustments improved the annotation accuracy 11.38 points, achieving 96.05% F1-score.
- 17 November 2024
- Published by Sociedade Brasileira de Computação
- p. 217-226
Open AccessAutomatic Annotation of Enhanced Universal Dependencies for Brazilian Portuguese
This paper presents the first attempt to automatically annotate Enhanced Universal Dependencies for Brazilian Portuguese. We use a symbolic annotation system, based on graph rewriting rules, and modify its original rules to better suit the linguistic characteristics of Portuguese using a manually annotated sample from the journalistic portion of Porttinari treebank as ground truth. Our objective is to assess the performance of the automatic annotation for a novel language and to determine the extent of possible improvements through rule modifications. Results demonstrate significant performance enhancements, where linguistic-driven rule adjustments improved the annotation accuracy 11.38 points, achieving 96.05% F1-score.
- Open Access
- 17 November 2024
- Published by Sociedade Brasileira de Computação
- p. 182-191
TableRAG: A Novel Approach for Augmenting LLMs with Information from Retrieved Tables
We present TableRAG, a novel pipeline designed to integrate tabular data into traditional Retrieval-Augmented Generation (RAG) systems. Our approach is composed of three main parts: (i) generating textual representations of tables; (ii) indexing table representations in vector databases for retrieval, and (iii) employing large language models to generate SQL or Python code for data manipulation over a given table. We assessed the effectiveness of TableRAG by comparing retrieval and re-ranking accuracies over the OTT-QA benchmark and by utilizing both open and closed-source LLMs to generate code for answering questions from the WikiTableQuestions benchmark. Our best results show 86.7% HITS@5 for retrieval and 74% accuracy for Q&A, demonstrating the feasibility of integrating tabular data into RAG systems with high accuracy.
- 17 November 2024
- Published by Sociedade Brasileira de Computação
- p. 182-191
Open AccessTableRAG: A Novel Approach for Augmenting LLMs with Information from Retrieved Tables
We present TableRAG, a novel pipeline designed to integrate tabular data into traditional Retrieval-Augmented Generation (RAG) systems. Our approach is composed of three main parts: (i) generating textual representations of tables; (ii) indexing table representations in vector databases for retrieval, and (iii) employing large language models to generate SQL or Python code for data manipulation over a given table. We assessed the effectiveness of TableRAG by comparing retrieval and re-ranking accuracies over the OTT-QA benchmark and by utilizing both open and closed-source LLMs to generate code for answering questions from the WikiTableQuestions benchmark. Our best results show 86.7% HITS@5 for retrieval and 74% accuracy for Q&A, demonstrating the feasibility of integrating tabular data into RAG systems with high accuracy.
- Open Access
- 31 December 2023
- Published by Associacao Brasileira de Linguistica in Revista da ABRALIN
- p. 308-331
Avaliação da anotação automática de dependências sintáticas
Considerando a importância que dependências sintáticas vêm assumindo em tarefas de Processamento de Linguagem Natural (PLN) e, consequentemente, nos estudos linguísticos voltados para o processamento automático das línguas, apresentamos aqui uma avaliação qualitativa de um treebank padrão ouro recém lançado para a língua portuguesa, com o objetivo de identificar (a) os padrões linguísticos que apresentam maior dificuldade para anotadores automáticos, (b) os motivos que podem levá-los a errar essas análises, e (c) ampliar as possibilidades de diálogo entre os estudos linguísticos e a linguística computacional. A anotação sintática foi realizada conforme as diretrizes do projeto Universal Dependencies (UD), e a avaliação da anotação foi realizada utilizando ferramentas de código aberto, em três etapas: em primeiro lugar, fizemos uma avaliação intrínseca de um modelo de dependências sintáticas, assumindo que este tipo de avaliação reflete indiretamente a consistência da anotação do corpus com o qual o modelo foi treinado; em seguida, detalhamos os resultados desta avaliação, apresentando o índice de acertos de cada classe linguística individualmente, o que nos deu um panorama das dificuldades linguísticas para o aprendizado automático e, também, informação quanto à confiança na análise automática de cada classificação linguística. Por fim, selecionamos as classes com maior número de erros e analisamos todos os casos errados. Os resultados sugerem que, do lado linguístico, já podemos contar com análises consistentes e em quantidade, ao menos aparentemente, suficiente. No que se refere à qualidade dos parsers automáticos, o espaço para melhorias linguísticas é cada vez menor.
- 31 December 2023
- Published by Associacao Brasileira de Linguistica in Revista da ABRALIN
- p. 308-331
Open AccessAvaliação da anotação automática de dependências sintáticas
Considerando a importância que dependências sintáticas vêm assumindo em tarefas de Processamento de Linguagem Natural (PLN) e, consequentemente, nos estudos linguísticos voltados para o processamento automático das línguas, apresentamos aqui uma avaliação qualitativa de um treebank padrão ouro recém lançado para a língua portuguesa, com o objetivo de identificar (a) os padrões linguísticos que apresentam maior dificuldade para anotadores automáticos, (b) os motivos que podem levá-los a errar essas análises, e (c) ampliar as possibilidades de diálogo entre os estudos linguísticos e a linguística computacional. A anotação sintática foi realizada conforme as diretrizes do projeto Universal Dependencies (UD), e a avaliação da anotação foi realizada utilizando ferramentas de código aberto, em três etapas: em primeiro lugar, fizemos uma avaliação intrínseca de um modelo de dependências sintáticas, assumindo que este tipo de avaliação reflete indiretamente a consistência da anotação do corpus com o qual o modelo foi treinado; em seguida, detalhamos os resultados desta avaliação, apresentando o índice de acertos de cada classe linguística individualmente, o que nos deu um panorama das dificuldades linguísticas para o aprendizado automático e, também, informação quanto à confiança na análise automática de cada classificação linguística. Por fim, selecionamos as classes com maior número de erros e analisamos todos os casos errados. Os resultados sugerem que, do lado linguístico, já podemos contar com análises consistentes e em quantidade, ao menos aparentemente, suficiente. No que se refere à qualidade dos parsers automáticos, o espaço para melhorias linguísticas é cada vez menor.
- Open Access
- 25 September 2023
- Published by Sociedade Brasileira de Computação
- p. 125-134
Explorando variações no tagset e na anotação Universal Dependencies (UD) para Português: Possibilidades e resultados com base no treebank PetroGold
O artigo analisa variações no PetroGold, um treebank padrão ouro desenvolvido para o processamento de linguagem natural (PLN). Os resultados mostram que considerar a classe gramatical das expressões multipalavras na anotação de todas as palavras que as compõem, assim como simplificar o tagset sintático do treebank, produz modelos com melhor desempenho em algumas métricas, destacando a importância da modelagem linguística durante a anotação para resultados adequados no PLN. Os datasets utilizados no estudo estão disponíveis em um repositório dedicado, podendo ser ainda mais modificados para treinar melhores modelos de linguagem.
- 25 September 2023
- Published by Sociedade Brasileira de Computação
- p. 125-134
Open AccessExplorando variações no tagset e na anotação Universal Dependencies (UD) para Português: Possibilidades e resultados com base no treebank PetroGold
O artigo analisa variações no PetroGold, um treebank padrão ouro desenvolvido para o processamento de linguagem natural (PLN). Os resultados mostram que considerar a classe gramatical das expressões multipalavras na anotação de todas as palavras que as compõem, assim como simplificar o tagset sintático do treebank, produz modelos com melhor desempenho em algumas métricas, destacando a importância da modelagem linguística durante a anotação para resultados adequados no PLN. Os datasets utilizados no estudo estão disponíveis em um repositório dedicado, podendo ser ainda mais modificados para treinar melhores modelos de linguagem.
- Open Access
- 25 September 2023
- Published by Sociedade Brasileira de Computação
- p. 434-442
Annotation of fixed Multiword Expressions (MWEs) in a Portuguese Universal Dependencies (UD) treebank: Gathering candidates from three different sources
Delimiting and correctly annotating multiword expressions (MWEs) is an important task in constructing a gold standard treebank. In this paper, we applied three methods to the PetroGold corpus to identify MWE candidates. The methods include (1) leveraging expressions previously identified by the PALAVRAS annotator, (2) statistical analysis of collocations in Petroles, a larger non-annotated corpus, and (3) a curated list of co-occurring words from the POeTiSA project. Through extensive filtering and alignment with Universal Dependencies (UD) guidelines, we revised the annotations of 2,467 MWEs in the PetroGold corpus, we tested a new annotation for the part-of-speech (POS) of the words that are part of MWEs and we provide two computationally readable resources to assist other annotators.
- 25 September 2023
- Published by Sociedade Brasileira de Computação
- p. 434-442
Open AccessAnnotation of fixed Multiword Expressions (MWEs) in a Portuguese Universal Dependencies (UD) treebank: Gathering candidates from three different sources
Delimiting and correctly annotating multiword expressions (MWEs) is an important task in constructing a gold standard treebank. In this paper, we applied three methods to the PetroGold corpus to identify MWE candidates. The methods include (1) leveraging expressions previously identified by the PALAVRAS annotator, (2) statistical analysis of collocations in Petroles, a larger non-annotated corpus, and (3) a curated list of co-occurring words from the POeTiSA project. Through extensive filtering and alignment with Universal Dependencies (UD) guidelines, we revised the annotations of 2,467 MWEs in the PetroGold corpus, we tested a new annotation for the part-of-speech (POS) of the words that are part of MWEs and we provide two computationally readable resources to assist other annotators.
- Open Access
- 25 September 2023
- Published by Sociedade Brasileira de Computação
- p. 278-287
Um pronome com muitas funções: Descrição e resultados da anotação do pronome -se em um treebank segundo o esquema Universal Dependencies (UD) para Português
Neste trabalho, realizamos uma descrição linguística e relatamos o processo de anotação do pronome -se no treebank PetroGold (v3). A atenção especial ao pronome -se se justifica pela necessidade de anotar corretamente os casos em que o pronome indica indeterminação do sujeito, voz passiva sintética ou verbo pronominal, reconhecendo sua importância para diversas tarefas de PLN. Como resultados, discriminamos as 1.960 ocorrências do "se" no corpus por classe sintática e apresentamos os verbos que se associam a cada um (ou mais de um) dos tipos do pronome -se.
- 25 September 2023
- Published by Sociedade Brasileira de Computação
- p. 278-287
Open AccessUm pronome com muitas funções: Descrição e resultados da anotação do pronome -se em um treebank segundo o esquema Universal Dependencies (UD) para Português
Neste trabalho, realizamos uma descrição linguística e relatamos o processo de anotação do pronome -se no treebank PetroGold (v3). A atenção especial ao pronome -se se justifica pela necessidade de anotar corretamente os casos em que o pronome indica indeterminação do sujeito, voz passiva sintética ou verbo pronominal, reconhecendo sua importância para diversas tarefas de PLN. Como resultados, discriminamos as 1.960 ocorrências do "se" no corpus por classe sintática e apresentamos os verbos que se associam a cada um (ou mais de um) dos tipos do pronome -se.
- 3 May 2023
- Published by Springer Nature in Language Resources and Evaluation
- Vol. 58 (1) , 111-131
A study on methods for revising dependency treebanks: in search of gold
- 3 May 2023
- Published by Springer Nature in Language Resources and Evaluation
- Vol. 58 (1) , 111-131
A study on methods for revising dependency treebanks: in search of gold
- 23 November 2022
- Published by Taylor & Francis
- p. 96-120
Semantic domains across topics, genders and languages
In this chapter, we analyse the semantic domains of words used in texts written by bilingual university-level students in Arabic and English, using a semantic tagger for each language to annotate each word in a text with a semantic domain or sub-domain (e.g. “B2: Health and Disease” or “A6.1 Comparing: similar/different”). First, we review the USAS semantic tagging system, as used in previous research on English and other languages. We then describe the development of the first open source Arabic semantic tagger (AraSAS) and evaluate the tagger’s lexical coverage in relation to that of the English version. Finally, we apply the USAS and AraSAS semantic taggers to the Zayed Arabic-English Bilingual Undergraduate Corpus (ZAEBUC) (Habash and Palfreyman, 2022), in order to compare on a semantic level: (a) texts on different topics, (b) texts written by the same writer in Arabic and in English; and (c) texts written by male and by female students. Variables for comparison include frequency of use of particular semantic sub-domains, as well as the diversity of semantic elements within a text. We draw some tentative conclusions about how topic, gender and bilingualism may interact in written production.
- 23 November 2022
- Published by Taylor & Francis
- p. 96-120
Semantic domains across topics, genders and languages
In this chapter, we analyse the semantic domains of words used in texts written by bilingual university-level students in Arabic and English, using a semantic tagger for each language to annotate each word in a text with a semantic domain or sub-domain (e.g. “B2: Health and Disease” or “A6.1 Comparing: similar/different”). First, we review the USAS semantic tagging system, as used in previous research on English and other languages. We then describe the development of the first open source Arabic semantic tagger (AraSAS) and evaluate the tagger’s lexical coverage in relation to that of the English version. Finally, we apply the USAS and AraSAS semantic taggers to the Zayed Arabic-English Bilingual Undergraduate Corpus (ZAEBUC) (Habash and Palfreyman, 2022), in order to compare on a semantic level: (a) texts on different topics, (b) texts written by the same writer in Arabic and in English; and (c) texts written by male and by female students. Variables for comparison include frequency of use of particular semantic sub-domains, as well as the diversity of semantic elements within a text. We draw some tentative conclusions about how topic, gender and bilingualism may interact in written production.