Avaliação de Modelos Transformers para Recuperação Multimodal de Informações
- 8 September 2026
- conference paper
- Published by Sociedade Brasileira de Computação
- p. 293-299
Abstract
Na recuperação de informação multimodal, a extração de características discriminativas é essencial para os sistemas de busca por similaridade. Esta pesquisa analisa representações latentes obtidas por arquiteturas baseadas em Transformers aplicadas à recuperação de informação médica multimodal. A principal ideia é explorar métricas e abordagens explicáveis para compreender os resultados da recuperação baseada em conteúdo, considerando as representações geradas, as variações nas características dos dados multimodais e os operadores de busca por similaridade. O estágio atual do estudo concentra-se na implementação do pipeline de avaliação, incluindo a curadoria de conjuntos de dados, extratores de características e operadores de similaridade. Resultados preliminares mostram padrões consistentes na comparação dos valores de Entropia de von Neumann entre os embeddings e os resultados de recuperação. Na continuação do estudo, estão sendo avaliados espaços gerados por diferentes conjuntos e buscadas abordagens e métricas que auxiliem no entendimento da qualidade do resultado de recuperação com base nas características representadas no espaço de características.Keywords
This publication has 12 references indexed in Scilit:
- Incomplete Information Retrieval without Imputation: Exploiting the Correlation Among Deep Features2026
- Multi-Domain Feature Incorporation of Lightweight Convolutional Neural Networks and Handcrafted Features for Lung and Colon Cancer DiagnosisTechnologies, 2025
- Self-supervised Vision Transformers for Writer Retrieval2024
- Cross-Modal Retrieval: A Review of Methodologies, Datasets, and Future PerspectivesIEEE Access, 2024
- Knowledge Graph Enhanced Multimodal Transformer for Image-Text Retrieval2024
- Multimodal Learning With Transformers: A SurveyIEEE Transactions on Pattern Analysis and Machine Intelligence, 2023
- Boosting vision transformers for image retrieval2023
- Vision Transformer Hashing for Image Retrieval2022
- ChestX-Ray8: Hospital-Scale Chest X-Ray Database and Benchmarks on Weakly-Supervised Classification and Localization of Common Thorax Diseases2017
- Very deep convolutional neural network based image classification using small training sample size2015