Dennis Diefenbach

System the Question-Réponse sur des Base de Connaissances: Question Answering (QA) est un domaine de l’informatique qui se préoccupe de la construction d’un système qui peut répondre automatiquement à une question posée par un utilisateur en langage naturel. Les systèmes Question Answering utilisent principalement trois sources pour trouver une réponse: du texte libre (documents de bureau, pages web et livres), des services Web (services météorologiques, prix des actions, horaire, etc.) et bases de connaissances. Une base de connaissances est une collection structurée d’informations qui peuvent être consultées et interprétées facilement par des machines. Le sujet principal de cette thèse est d’étudier les systèmes de QA sur de telles bases de connaissances. Les systèmes de QA sur les bases de connaissances sont importants car ces bases contiennent de très grandes quantités d’informations et en même temps ces informations sont a priori très difficiles d’accès pour les utilisateurs. Les systèmes QA sur bases de connaissances sont utilisés dans différentes applications industrielles telles que Google Search, Siri, Alexa et Bing. Ces applications ont en commun d’interroger des bases de connaissances propriétaires. Cette thèse apporte plusieurs contributions dans le domaine des systèmes QA sur bases de connaissances. D’abord, nous présentons une étude complète des systèmes QA existants. Nous présentons une analyse détaillée et une comparaison de tous les systèmes QA qui ont été évalués sur un benchmark populaire appelé QALD, et nous ciblons les systèmes de QA évalués par rapport à deux autres benchmarks très populaires, à savoir WebQuestions et SimpleQuestions. L’analyse contient également une liste des défis importants dans ce do- maine. Dans un deuxième temps, nous présentons un nouvel algorithme pour construire des systèmes de QA sur des bases de connaissances. Cet algorithme se caractérise par le fait qu’il peut être facilement adapté à de nouvelles langues, qu’il peut être facilement adapté aux nouvelles bases de connaissances, qu’il prend en charge les questions sous forme de mots clés et les questions en langage naturel, et qu’il est robuste aux questions mal formées. Nous prouvons ces revendications en appliquant ce nouvel algorithme à 5 langues différentes (à savoir anglais, allemand, français, espagnol et italien), à 6 bases de connaissances différentes (à savoir Wikidata, DBpedia, Freebase, Scigraph, Dblp et MusicBrainz) et en comparant les performances sur les benchmarks populaires QALD et SimpleQuestions. Dans une troisième partie, nous montrons comment la réponse d’un système QA peut être présentée à un utilisateur. Les bases de connaissances contiennent beaucoup d’informations contextuelles qui peuvent être présentées avec la réponse elle-même. Ces informations sont par exemple des descriptions textuelles, des liens externes, des images et des vidéos. Nous montrons comment ces informations peuvent être présentées à l’utilisateur pour enrichir la réponse. En outre, nous proposons un mécanisme permettant à l’utilisateur d’interagir lorsque la question est ambiguë, un algo- rithme pour présenter à l’utilisateur l’interprétation que le système QA a de la question reçue et un algorithme pour générer des résumés. La dernière partie décrit une architecture pour les systèmes QA qui permet de construire des systèmes QA de manière modulaire et collaborative. Cette approche permet de créer des systèmes QA distribués sur le Web et constitue une proposition pour standardiser le processus d’un système QA. Toutes les contributions de cette thèse sont intégrées dans une démonstration en ligne disponible sous www.wdaqua.eu/qa.

The progress introduced by pre-trained language models and their fine-tuning has resulted in significant improvements in most downstream NLP tasks. The unsupervised training of a language model combined with further target task fine-tuning has become the standard QA fine-tuning procedure. In this work, we demonstrate that this strategy is sub-optimal for fine-tuning QA models, especially under a low QA annotation budget, which is a usual setting in practice due to the extractive QA labeling cost. We draw our conclusions by conducting an exhaustive analysis of the performance of the alternatives of the sequential fine-tuning strategy on different QA datasets. Based on the experiments performed, we observed that the best strategy to fine-tune the QA model in low-budget settings is taking a pre-trained language model (PLM) and then fine-tuning PLM with a dataset composed of the target dataset and SQuAD dataset. With zero extra annotation effort, the best strategy outperforms the standard strategy by 2.28% to 6.48%. Our experiments provide one of the first investigations on how to best fine-tune a QA system under a low budget and are therefore of the utmost practical interest to the QA practitioners.

Wikidata has grown to a knowledge graph with an impressive size. To date, it contains more than 17 billion triples collecting information about people, places, films, stars, publications, proteins, and many more. On the other side, most of the information on the Web is not published in highly structured data repositories like Wikidata, but rather as unstructured and semi-structured content, more concretely in HTML pages containing text and tables. Finding, monitoring, and organizing this data in a knowledge graph is requiring considerable work from human editors. The volume and complexity of the data make this task difficult and time-consuming. In this work, we present a framework that is able to identify and extract new facts that are published under multiple Web domains so that they can be proposed for validation by Wikidata editors. The framework is relying on question-answering technologies. We take inspiration from ideas that are used to extract facts from textual collections and adapt them to extract facts from Web pages. For achieving this, we demonstrate that language models can be adapted to extract facts not only from textual collections but also from Web pages. By exploiting the information already contained in Wikidata the proposed framework can be trained without the need for any additional learning signals and can extract new facts for a wide range of properties and domains. Following this path, Wikidata can be used as a seed to extract facts on the Web. Our experiments show that we can achieve a mean performance of 84.07 at F1-score. Moreover, our estimations show that we can potentially extract millions of facts that can be proposed for human validation. The goal is to help editors in their daily tasks and contribute to the completion of the Wikidata knowledge graph.

In this work, we demonstrate how to setup a Wikidata SPARQL endpoint on commodity hardware resources. We achieve this by using a novel triple store called qEndpoint, which uses a read-only partition based on HDT and a write partition based on RDF4J. We show that qEndpoint can index and query the entire Wikidata dump (currently 17 billion triples) on a machine with 600GB SSD, 10 cores and 10GB of RAM, while keeping the query performance comparable with other SPARQL endpoints indexing Wikidata. In a nutshell, we present the first SPARQL endpoint over Wikidata that can run on commodity hardware while preserving the query run time of existing implementations. Our work goes in the direction of democratizing the access to Wikidata as well as to other large-scale Knowledge Graphs published on the Web. The source code of qEndpoint along with the query workloads are publicly available.

The ability to have the same experience for different user groups (i.e., accessibility) is one of the most important characteristics of Web-based systems. The same is true for Knowledge Graph Question Answering (KGQA) systems that provide the access to Semantic Web data via natural language interface. While following our research agenda on the multilingual aspect of accessibility of KGQA systems, we identified several ongoing challenges. One of them is the lack of multilingual KGQA benchmarks. In this work, we extend one of the most popular KGQA benchmarks - QALD-9 by introducing high-quality questions' translations to 8 languages provided by native speakers, and transferring the SPARQL queries of QALD-9 from DBpedia to Wikidata, s.t., the usability and relevance of the dataset is strongly increased. Five of the languages - Armenian, Ukrainian, Lithuanian, Bashkir and Belarusian - to our best knowledge were never considered in KGQA research community before. The latter two of the languages are considered as "endangered" by UNESCO. We call the extended dataset QALD-9-plus and made it available online https://github.com/Perevalov/qald_9_plus.