NKNataliya Kosmyna

Nataliya Kosmyna

*This is an algorithmically generated author record based on publicly available information.

Nataliya Kosmyna has a total of 52 co-authors. Here are the top co-authors by number of shared publications:


Latest Publications

  • Open Access

    Inclusive AI: Rethinking AI-based Multimodal Interaction for Diverse and Underrepresented Users

    by Giulia Barbareschi, Nataliya Kosmyna, Maristella Matera, Anoop K. Sinha, Shruti Sheth, Micol Spitale, Alessandro Vinciarelli

  • Co-learning in brain-computer interfaces

    by Nataliya Kos'MYna

    CA-ICO : co-apprentissage dans les interfaces cerveau - ordinateur: Les Interfaces Cerveau Ordinateur Actives (ICOs) permettent à une personne d'exercer un contrôle direct et volontaire sur un système informatique par interprétation de son activité cérébrale : certains signaux du cerveau sont capturés afin que le système reconnaisse des actions imaginées spécifiques (mouvements, images, concepts). Les ICOs actives et leurs utilisateurs doivent être entrainés. Cet entraînement rend les signaux plus aisés à reconnaître par le système.Cependant, à l'heure actuelle les ICO servent principalement dans un contexte médical pour aider les personnes en situation de handicap (moteur, ou empêchant complètement la communication avec le monde extérieur) et se trouvent rarement en dehors de laboratoires spécialisés.Les ICO ont de nombreuses limitations :• La variabilité dans les signaux: les signaux sont différents d'une personne à l'autre voire même chez un même individu à des moments différents.• Des sessions d'entraînement longues et répétitives: entre dix minutes et deux mois, sont ennuyantes et désengagent les utilisateurs du processus d'apprentissage.• Un feedback limité: les systèmes actuels proposent un feedback unimodal élémentaire qui est inadapté pour les nombreux utilisateurs. la communication est unidirectionnelle dans le sens où le système donne des instructions que l'utilisateur doit exécuter.L'objectif de cette thèse est de proposer des solutions aux problèmes sus décrits afin d'obtenir une architecture consistante qui rendra les ICO plus compatibles avec les applications d'IHM. L'idée principale est l'implantation du co-apprentissage dans la boucle ICO et l'exploration de la manière dont les utilisateurs et le système peuvent mutuellement se donner du feedback dans le but de l'amélioration de l'utilisabilité des ICO.Cette thèse se structure autour de trois innovations portant sur la boucle ICO :• Une architecture générale basée sur les principes des ICO asynchrones et sur l'entraînement incrémental combinés avec une séparation aveugle des sources et un classifieur à distance minimum. Nous évaluerons l'architecture sur une tache de pilotage de drone au long d'un mois et concluons qu'elle est en adéquation avec les besoins d'une utilisation quotidienne ludique.• Une modalité de visualisation plus intuitive pour les résultats de classification ainsi que pour les caractéristiques de distance sur la base d'une projection en coordonnées de Wachspress pour un nombre arbitraire de classes. Nous combinons la visualisation avec un feedback direct des utilisateurs leur permettant d'interactivement changer la marge de classification, le type de distance où encore de trier et de gérer les signaux d'entraînement en temps réel. Nous évaluons cette contribution sur un jeu de tir simple et découvrons qu'il y a une bonne synergie entre la modalité de visualisation et le feedback direct des utilisateurs et qu'une telle combinaison est bien plus agréable à utiliser qu'un entraînement d'ICO standard.• Enfin, nous développons une ICO fonctionnelle à base d'imagerie conceptuelle à l'aide de notre architecture ainsi que de nos systèmes de visualisation et de feedback, ce qui permet une interaction plus agréable au travers de l'imagination de catégories sémantiques et de concepts. Nous démontrons que ce type d'ICO détecte plus aisément les catégories sémantiques éloignées plutôt que les catégories sémantiques proches. Pour terminer, nous créons un nouveau protocole d'entraînement implicite pour les ICO à base d'Imagerie Conceptuelle basé sur l'amorçage sémantique et conceptuel, ce qui permet d'intégrer l'entraînement dans le scénario et l'environnement d'une jeu vidéo sans que l'utilisateur n'en soit conscient. Notre protocole mène à une meilleure immersion et à meilleur sentiment de flot vis à vis du jeu.

  • Open Access

    NeuroChat: A Neuroadaptive AI Chatbot for Customizing Learning Experiences

    by Dünya Baradari, Nataliya Kosmyna, Oscar Petrov, Rebecah Kaplun, Pattie Maes


  • Open Access

    A Brain-Controlled Quadruped Robot: A Proof-of-Concept Demonstration

    by Nataliya Kosmyna, Eugene Hauptmann, Yasmeen Hmaidan

    Coupling brain–computer interfaces (BCIs) and robotic systems in the future can enable seamless personal assistant systems in everyday life, with the requests that can be performed in a discrete manner, using one’s brain activity only. These types of systems might be of a particular interest for people with locked-in syndrome (LIS) or amyotrophic lateral sclerosis (ALS) because they can benefit from communicating with robotic assistants using brain sensing interfaces. In this proof-of-concept work, we explored how a wireless and wearable BCI device can control a quadruped robot—Boston Dynamics’ Spot. The device measures the user’s electroencephalography (EEG) and electrooculography (EOG) activity of the user from the electrodes embedded in the glasses’ frame. The user responds to a series of questions with YES/NO answers by performing a brain-teaser activity of mental calculus. Each question–answer pair has a pre-configured set of actions for Spot. For instance, Spot was prompted to walk across a room, pick up an object, and retrieve it for the user (i.e., bring a bottle of water) when a sequence resolved to a YES response. Our system achieved at a success rate of 83.4%. To the best of our knowledge, this is the first integration of wireless, non-visual-based BCI systems with Spot in the context of personal assistant use cases. While this BCI quadruped robot system is an early prototype, future iterations may embody friendly and intuitive cues similar to regular service dogs. As such, this project aims to pave a path towards future developments in modern day personal assistant robots powered by wireless and wearable BCI systems in everyday living conditions.


  • Workshops of the eighth international brain–computer interface meeting: BCIs: the next frontier

    by Jane E. Huggins, Dean Krusienski, Mariska J. Vansteensel, Davide Valeriani, Antonia Thelen, Sergey Stavisky, James J.S. Norton, Anton Nijholt, Gernot Müller-Putz, Nataliya Kosmyna, et al.

    The Eighth International Brain–Computer Interface (BCI) Meeting was held June 7–9, 2021 in a virtual format. The conference continued the BCI Meeting series’ interactive nature with 21 workshops covering the breadth of topics in BCI (also called brain–machine interface) research. Some workshops provided detailed examinations of methods, hardware, or processes. Others focused on BCI applications or user groups. Several workshops continued consensus building efforts designed to create BCI standards and improve comparisons between studies and the potential for meta-analysis and large multi-site clinical trials. Ethical and translational considerations were the primary topic for some workshops or an important secondary consideration for others. The range of BCI applications continues to expand, with more workshops focusing on approaches that can extend beyond the needs of those with physical impairments. This paper summarizes each workshop, provides background information and references for further study, summarizes discussions, and describes the resulting conclusion, challenges, or initiatives.


  • Open Access

    "The thinking cap 2.0"

    by Nataliya Kosmyna, Alexandra Gross, Pattie Maes

    Interventions aimed at promoting a growth mindset in children range from teaching about the brain's ability to change to playing computer games. In this work, we explore a novel approach to foster a growth mindset by means of interaction with a "magic hat" system which consists of using objects from sci-fi and pop-cultural references like Avengers or Star Wars. The artifacts are "enhanced" with embedded Electroencephalography (EEG) electrodes. In an initialization phase, the "magic hat" uses established Brain-Computer Interface algorithms to recognize certain mental processes of the child and the child is then able to use their brain signals to control a robot. We report on an experiment that validates the system with children who were asked to solve math problems. We evaluated their mindset before and after use of the system. In comparison with a control group, the children who used the system self-reported having a stronger growth mindset.


  • Open Access

    AttentivU: An EEG-Based Closed-Loop Biofeedback System for Real-Time Monitoring and Improvement of Engagement for Personalized Learning

    by Nataliya Kosmyna, Pattie Maes

    Information about a person’s engagement and attention might be a valuable asset in many settings including work situations, driving, and learning environments. To this end, we propose the first prototype of a device called AttentivU—a system that uses a wearable system which consists of two main components. Component 1 is represented by an EEG headband used to measure the engagement of a person in real-time. Component 2 is a scarf, which provides subtle, haptic feedback (vibrations) in real-time when the drop in engagement is detected. We tested AttentivU in two separate studies with 48 adults. The participants were engaged in a learning scenario of either watching three video lectures on different subjects or participating in a set of three face-to-face lectures with a professor. There were three conditions administrated during both studies: (1) biofeedback, meaning the scarf (component 2 of the system) was vibrating each time the EEG headband detected a drop in engagement; (2) random feedback, where the vibrations did not correlate or depend on the engagement level detected by the system, and (3) no feedback, when no vibrations were administered. The results show that the biofeedback condition redirected the engagement of the participants to the task at hand and improved their performance on comprehension tests.