Learning visual language models for video understanding
Author:
- 8 April 2026
- thesis
- Published by Agence Bibliographique de l'Enseignement Supérieur
Abstract
Apprentissage de modèles visuels de langage pour la compréhension des vidéos: L’objectif de cette thèse est de construire et de former des modèles d’apprentissage automatique combinant la puissance du traitement du langage naturel avec la compréhension visuelle, permettant une compréhension complète et détaillée du contenu des vidéos. Premièrement, nous proposons deux nouvelles méthodes pour développer des modèles de réponses aux questions sur des vidéos sans avoir recours à une annotation manuelle coûteuse. Nous générons automatiquement des données de réponses aux questions sur des vidéos à partir de vidéos commentées à l’aide de modèles de génération de questions utilisant uniquement du texte. Nous montrons ensuite qu’un transformateur multi-modal entraîné de manière contrastée sur les données générées peut répondre aux questions visuelles sans entraînement supplémentaire. Afin de contourner la procédure de génération de données, nous présentons une approche alternative, nommée FrozenBiLM, qui exploite directement des modèles de langage masqué bidirectionnels. Deuxièmement, nous développons TubeDETR, un modèle de transformateur capable de localiser spatialement et temporellement une requête en langage naturel dans une vidéo non découpée. Contrairement aux approches spatio-temporelles antérieures, TubeDETR peut être efficacement entraîné de bout en bout sur des vidéos non rognées. Troisièmement, nous présentons un nouveau modèle et un nouvel ensemble de données pour la compréhension de multiples évènements dans les vidéos non découpées. Nous introduisons le modèle Vid2Seq qui génère des descriptions denses en langage naturel et les limites temporelles correspondantes pour tous les événements dans une vidéo non découpée en prédisant une seule séquence de jetons. De plus, Vid2Seq peut être efficacement pré-entraîné sur des vidéos commentées à grande échelle en utilisant les transcriptions de paroles comme pseudo-supervision. Enfin, nous présentons VidChapters-7M, un ensemble de données à grande échelle de vidéos chapitrées par les utilisateurs. Sur la base de cet ensemble de données, nous évaluons des modèles de pointe sur trois tâches, dont la génération de chapitres vidéo. Nous montrons également que les modèles de génération de chapitres vidéo se transfèrent bien au sous-titrage vidéo dense.Keywords
This publication has 367 references indexed in Scilit:
- Improving One-Stage Visual Grounding by Recursive Sub-query Construction2020
- SODA: Story Oriented Dense Video Captioning Evaluation Framework2020
- End-to-End Object Detection with Transformers2020
- Multi-modal Transformer for Video Retrieval2020
- Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks2020
- UNITER: UNiversal Image-TExt Representation Learning2020
- Rethinking Spatiotemporal Feature Learning: Speed-Accuracy Trade-offs in Video Classification2018
- Move Forward and Tell: A Progressive Generator of Video Descriptions2018
- BSN: Boundary Sensitive Network for Temporal Action Proposal Generation2018
- Scaling Egocentric Vision: The "Equation missing" Dataset2018