Nataliya Kosmyna
Research Subjects
Nataliya Kosmyna has a total of 52 co-authors. Here are the top co-authors by number of shared publications:
Franck Tarpin-Bernard
Team EHCI, Université Grenoble Alpes St Martin D'Heres, France
10 shared publicationsBertrand Rivet
Gipsa Lab, Grenoble INP Grenoble, France
8 shared publicationsPattie Maes
MIT Media Lab
7 shared publicationsAnatole Lécuyer
INRIA Rennes, Rennes, France
3 shared publicationsCaitlin Morris
MIT Media Lab, Cambridge, USA
3 shared publications- Pattie Maes
Media Lab, MIT, Cambridge, USA
3 shared publications
Latest Publications
- Open Access
- 15 November 2026
- Published by Association for Computing Machinery (ACM)
- p. 55-63
Socrates went nuclear: Comparing Interaction Strategies for AI systems in a Learning Context using Brain Sensing
- 15 November 2026
- Published by Association for Computing Machinery (ACM)
- p. 55-63
Open AccessSocrates went nuclear: Comparing Interaction Strategies for AI systems in a Learning Context using Brain Sensing
- Open Access
- 4 October 2026
- Published by Association for Computing Machinery (ACM)
- p. 1483-1485
Inclusive AI: Rethinking AI-based Multimodal Interaction for Diverse and Underrepresented Users
- 4 October 2026
- Published by Association for Computing Machinery (ACM)
- p. 1483-1485
Open AccessInclusive AI: Rethinking AI-based Multimodal Interaction for Diverse and Underrepresented Users
- 1 April 2026
- Published by Agence Bibliographique de l'Enseignement Supérieur
Co-learning in brain-computer interfaces
CA-ICO : co-apprentissage dans les interfaces cerveau - ordinateur: Les Interfaces Cerveau Ordinateur Actives (ICOs) permettent à une personne d'exercer un contrôle direct et volontaire sur un système informatique par interprétation de son activité cérébrale : certains signaux du cerveau sont capturés afin que le système reconnaisse des actions imaginées spécifiques (mouvements, images, concepts). Les ICOs actives et leurs utilisateurs doivent être entrainés. Cet entraînement rend les signaux plus aisés à reconnaître par le système.Cependant, à l'heure actuelle les ICO servent principalement dans un contexte médical pour aider les personnes en situation de handicap (moteur, ou empêchant complètement la communication avec le monde extérieur) et se trouvent rarement en dehors de laboratoires spécialisés.Les ICO ont de nombreuses limitations :• La variabilité dans les signaux: les signaux sont différents d'une personne à l'autre voire même chez un même individu à des moments différents.• Des sessions d'entraînement longues et répétitives: entre dix minutes et deux mois, sont ennuyantes et désengagent les utilisateurs du processus d'apprentissage.• Un feedback limité: les systèmes actuels proposent un feedback unimodal élémentaire qui est inadapté pour les nombreux utilisateurs. la communication est unidirectionnelle dans le sens où le système donne des instructions que l'utilisateur doit exécuter.L'objectif de cette thèse est de proposer des solutions aux problèmes sus décrits afin d'obtenir une architecture consistante qui rendra les ICO plus compatibles avec les applications d'IHM. L'idée principale est l'implantation du co-apprentissage dans la boucle ICO et l'exploration de la manière dont les utilisateurs et le système peuvent mutuellement se donner du feedback dans le but de l'amélioration de l'utilisabilité des ICO.Cette thèse se structure autour de trois innovations portant sur la boucle ICO :• Une architecture générale basée sur les principes des ICO asynchrones et sur l'entraînement incrémental combinés avec une séparation aveugle des sources et un classifieur à distance minimum. Nous évaluerons l'architecture sur une tache de pilotage de drone au long d'un mois et concluons qu'elle est en adéquation avec les besoins d'une utilisation quotidienne ludique.• Une modalité de visualisation plus intuitive pour les résultats de classification ainsi que pour les caractéristiques de distance sur la base d'une projection en coordonnées de Wachspress pour un nombre arbitraire de classes. Nous combinons la visualisation avec un feedback direct des utilisateurs leur permettant d'interactivement changer la marge de classification, le type de distance où encore de trier et de gérer les signaux d'entraînement en temps réel. Nous évaluons cette contribution sur un jeu de tir simple et découvrons qu'il y a une bonne synergie entre la modalité de visualisation et le feedback direct des utilisateurs et qu'une telle combinaison est bien plus agréable à utiliser qu'un entraînement d'ICO standard.• Enfin, nous développons une ICO fonctionnelle à base d'imagerie conceptuelle à l'aide de notre architecture ainsi que de nos systèmes de visualisation et de feedback, ce qui permet une interaction plus agréable au travers de l'imagination de catégories sémantiques et de concepts. Nous démontrons que ce type d'ICO détecte plus aisément les catégories sémantiques éloignées plutôt que les catégories sémantiques proches. Pour terminer, nous créons un nouveau protocole d'entraînement implicite pour les ICO à base d'Imagerie Conceptuelle basé sur l'amorçage sémantique et conceptuel, ce qui permet d'intégrer l'entraînement dans le scénario et l'environnement d'une jeu vidéo sans que l'utilisateur n'en soit conscient. Notre protocole mène à une meilleure immersion et à meilleur sentiment de flot vis à vis du jeu.
- 1 April 2026
- Published by Agence Bibliographique de l'Enseignement Supérieur
Co-learning in brain-computer interfaces
CA-ICO : co-apprentissage dans les interfaces cerveau - ordinateur: Les Interfaces Cerveau Ordinateur Actives (ICOs) permettent à une personne d'exercer un contrôle direct et volontaire sur un système informatique par interprétation de son activité cérébrale : certains signaux du cerveau sont capturés afin que le système reconnaisse des actions imaginées spécifiques (mouvements, images, concepts). Les ICOs actives et leurs utilisateurs doivent être entrainés. Cet entraînement rend les signaux plus aisés à reconnaître par le système.Cependant, à l'heure actuelle les ICO servent principalement dans un contexte médical pour aider les personnes en situation de handicap (moteur, ou empêchant complètement la communication avec le monde extérieur) et se trouvent rarement en dehors de laboratoires spécialisés.Les ICO ont de nombreuses limitations :• La variabilité dans les signaux: les signaux sont différents d'une personne à l'autre voire même chez un même individu à des moments différents.• Des sessions d'entraînement longues et répétitives: entre dix minutes et deux mois, sont ennuyantes et désengagent les utilisateurs du processus d'apprentissage.• Un feedback limité: les systèmes actuels proposent un feedback unimodal élémentaire qui est inadapté pour les nombreux utilisateurs. la communication est unidirectionnelle dans le sens où le système donne des instructions que l'utilisateur doit exécuter.L'objectif de cette thèse est de proposer des solutions aux problèmes sus décrits afin d'obtenir une architecture consistante qui rendra les ICO plus compatibles avec les applications d'IHM. L'idée principale est l'implantation du co-apprentissage dans la boucle ICO et l'exploration de la manière dont les utilisateurs et le système peuvent mutuellement se donner du feedback dans le but de l'amélioration de l'utilisabilité des ICO.Cette thèse se structure autour de trois innovations portant sur la boucle ICO :• Une architecture générale basée sur les principes des ICO asynchrones et sur l'entraînement incrémental combinés avec une séparation aveugle des sources et un classifieur à distance minimum. Nous évaluerons l'architecture sur une tache de pilotage de drone au long d'un mois et concluons qu'elle est en adéquation avec les besoins d'une utilisation quotidienne ludique.• Une modalité de visualisation plus intuitive pour les résultats de classification ainsi que pour les caractéristiques de distance sur la base d'une projection en coordonnées de Wachspress pour un nombre arbitraire de classes. Nous combinons la visualisation avec un feedback direct des utilisateurs leur permettant d'interactivement changer la marge de classification, le type de distance où encore de trier et de gérer les signaux d'entraînement en temps réel. Nous évaluons cette contribution sur un jeu de tir simple et découvrons qu'il y a une bonne synergie entre la modalité de visualisation et le feedback direct des utilisateurs et qu'une telle combinaison est bien plus agréable à utiliser qu'un entraînement d'ICO standard.• Enfin, nous développons une ICO fonctionnelle à base d'imagerie conceptuelle à l'aide de notre architecture ainsi que de nos systèmes de visualisation et de feedback, ce qui permet une interaction plus agréable au travers de l'imagination de catégories sémantiques et de concepts. Nous démontrons que ce type d'ICO détecte plus aisément les catégories sémantiques éloignées plutôt que les catégories sémantiques proches. Pour terminer, nous créons un nouveau protocole d'entraînement implicite pour les ICO à base d'Imagerie Conceptuelle basé sur l'amorçage sémantique et conceptuel, ce qui permet d'intégrer l'entraînement dans le scénario et l'environnement d'une jeu vidéo sans que l'utilisateur n'en soit conscient. Notre protocole mène à une meilleure immersion et à meilleur sentiment de flot vis à vis du jeu.
- Open Access
- 7 July 2025
- Published by Association for Computing Machinery (ACM)
- p. 1-21
NeuroChat: A Neuroadaptive AI Chatbot for Customizing Learning Experiences
- 7 July 2025
- Published by Association for Computing Machinery (ACM)
- p. 1-21
Open AccessNeuroChat: A Neuroadaptive AI Chatbot for Customizing Learning Experiences
- Open Access
A Brain-Controlled Quadruped Robot: A Proof-of-Concept Demonstration
Coupling brain–computer interfaces (BCIs) and robotic systems in the future can enable seamless personal assistant systems in everyday life, with the requests that can be performed in a discrete manner, using one’s brain activity only. These types of systems might be of a particular interest for people with locked-in syndrome (LIS) or amyotrophic lateral sclerosis (ALS) because they can benefit from communicating with robotic assistants using brain sensing interfaces. In this proof-of-concept work, we explored how a wireless and wearable BCI device can control a quadruped robot—Boston Dynamics’ Spot. The device measures the user’s electroencephalography (EEG) and electrooculography (EOG) activity of the user from the electrodes embedded in the glasses’ frame. The user responds to a series of questions with YES/NO answers by performing a brain-teaser activity of mental calculus. Each question–answer pair has a pre-configured set of actions for Spot. For instance, Spot was prompted to walk across a room, pick up an object, and retrieve it for the user (i.e., bring a bottle of water) when a sequence resolved to a YES response. Our system achieved at a success rate of 83.4%. To the best of our knowledge, this is the first integration of wireless, non-visual-based BCI systems with Spot in the context of personal assistant use cases. While this BCI quadruped robot system is an early prototype, future iterations may embody friendly and intuitive cues similar to regular service dogs. As such, this project aims to pave a path towards future developments in modern day personal assistant robots powered by wireless and wearable BCI systems in everyday living conditions.
Open AccessA Brain-Controlled Quadruped Robot: A Proof-of-Concept Demonstration
Coupling brain–computer interfaces (BCIs) and robotic systems in the future can enable seamless personal assistant systems in everyday life, with the requests that can be performed in a discrete manner, using one’s brain activity only. These types of systems might be of a particular interest for people with locked-in syndrome (LIS) or amyotrophic lateral sclerosis (ALS) because they can benefit from communicating with robotic assistants using brain sensing interfaces. In this proof-of-concept work, we explored how a wireless and wearable BCI device can control a quadruped robot—Boston Dynamics’ Spot. The device measures the user’s electroencephalography (EEG) and electrooculography (EOG) activity of the user from the electrodes embedded in the glasses’ frame. The user responds to a series of questions with YES/NO answers by performing a brain-teaser activity of mental calculus. Each question–answer pair has a pre-configured set of actions for Spot. For instance, Spot was prompted to walk across a room, pick up an object, and retrieve it for the user (i.e., bring a bottle of water) when a sequence resolved to a YES response. Our system achieved at a success rate of 83.4%. To the best of our knowledge, this is the first integration of wireless, non-visual-based BCI systems with Spot in the context of personal assistant use cases. While this BCI quadruped robot system is an early prototype, future iterations may embody friendly and intuitive cues similar to regular service dogs. As such, this project aims to pave a path towards future developments in modern day personal assistant robots powered by wireless and wearable BCI systems in everyday living conditions.
- 8 February 2022
- Published by Taylor & Francis in Brain-Computer Interfaces
- Vol. 9 (2) , 69-101
Workshops of the eighth international brain–computer interface meeting: BCIs: the next frontier
The Eighth International Brain–Computer Interface (BCI) Meeting was held June 7–9, 2021 in a virtual format. The conference continued the BCI Meeting series’ interactive nature with 21 workshops covering the breadth of topics in BCI (also called brain–machine interface) research. Some workshops provided detailed examinations of methods, hardware, or processes. Others focused on BCI applications or user groups. Several workshops continued consensus building efforts designed to create BCI standards and improve comparisons between studies and the potential for meta-analysis and large multi-site clinical trials. Ethical and translational considerations were the primary topic for some workshops or an important secondary consideration for others. The range of BCI applications continues to expand, with more workshops focusing on approaches that can extend beyond the needs of those with physical impairments. This paper summarizes each workshop, provides background information and references for further study, summarizes discussions, and describes the resulting conclusion, challenges, or initiatives.
- 8 February 2022
- Published by Taylor & Francis in Brain-Computer Interfaces
- Vol. 9 (2) , 69-101
Workshops of the eighth international brain–computer interface meeting: BCIs: the next frontier
The Eighth International Brain–Computer Interface (BCI) Meeting was held June 7–9, 2021 in a virtual format. The conference continued the BCI Meeting series’ interactive nature with 21 workshops covering the breadth of topics in BCI (also called brain–machine interface) research. Some workshops provided detailed examinations of methods, hardware, or processes. Others focused on BCI applications or user groups. Several workshops continued consensus building efforts designed to create BCI standards and improve comparisons between studies and the potential for meta-analysis and large multi-site clinical trials. Ethical and translational considerations were the primary topic for some workshops or an important secondary consideration for others. The range of BCI applications continues to expand, with more workshops focusing on approaches that can extend beyond the needs of those with physical impairments. This paper summarizes each workshop, provides background information and references for further study, summarizes discussions, and describes the resulting conclusion, challenges, or initiatives.
- Open Access
- 21 June 2020
- Published by Association for Computing Machinery (ACM)
- p. 458-469
"The thinking cap 2.0"
Interventions aimed at promoting a growth mindset in children range from teaching about the brain's ability to change to playing computer games. In this work, we explore a novel approach to foster a growth mindset by means of interaction with a "magic hat" system which consists of using objects from sci-fi and pop-cultural references like Avengers or Star Wars. The artifacts are "enhanced" with embedded Electroencephalography (EEG) electrodes. In an initialization phase, the "magic hat" uses established Brain-Computer Interface algorithms to recognize certain mental processes of the child and the child is then able to use their brain signals to control a robot. We report on an experiment that validates the system with children who were asked to solve math problems. We evaluated their mindset before and after use of the system. In comparison with a control group, the children who used the system self-reported having a stronger growth mindset.
- 21 June 2020
- Published by Association for Computing Machinery (ACM)
- p. 458-469
Open Access"The thinking cap 2.0"
Interventions aimed at promoting a growth mindset in children range from teaching about the brain's ability to change to playing computer games. In this work, we explore a novel approach to foster a growth mindset by means of interaction with a "magic hat" system which consists of using objects from sci-fi and pop-cultural references like Avengers or Star Wars. The artifacts are "enhanced" with embedded Electroencephalography (EEG) electrodes. In an initialization phase, the "magic hat" uses established Brain-Computer Interface algorithms to recognize certain mental processes of the child and the child is then able to use their brain signals to control a robot. We report on an experiment that validates the system with children who were asked to solve math problems. We evaluated their mindset before and after use of the system. In comparison with a control group, the children who used the system self-reported having a stronger growth mindset.
- Open Access
AttentivU: An EEG-Based Closed-Loop Biofeedback System for Real-Time Monitoring and Improvement of Engagement for Personalized Learning
Information about a person’s engagement and attention might be a valuable asset in many settings including work situations, driving, and learning environments. To this end, we propose the first prototype of a device called AttentivU—a system that uses a wearable system which consists of two main components. Component 1 is represented by an EEG headband used to measure the engagement of a person in real-time. Component 2 is a scarf, which provides subtle, haptic feedback (vibrations) in real-time when the drop in engagement is detected. We tested AttentivU in two separate studies with 48 adults. The participants were engaged in a learning scenario of either watching three video lectures on different subjects or participating in a set of three face-to-face lectures with a professor. There were three conditions administrated during both studies: (1) biofeedback, meaning the scarf (component 2 of the system) was vibrating each time the EEG headband detected a drop in engagement; (2) random feedback, where the vibrations did not correlate or depend on the engagement level detected by the system, and (3) no feedback, when no vibrations were administered. The results show that the biofeedback condition redirected the engagement of the participants to the task at hand and improved their performance on comprehension tests.
Open AccessAttentivU: An EEG-Based Closed-Loop Biofeedback System for Real-Time Monitoring and Improvement of Engagement for Personalized Learning
Information about a person’s engagement and attention might be a valuable asset in many settings including work situations, driving, and learning environments. To this end, we propose the first prototype of a device called AttentivU—a system that uses a wearable system which consists of two main components. Component 1 is represented by an EEG headband used to measure the engagement of a person in real-time. Component 2 is a scarf, which provides subtle, haptic feedback (vibrations) in real-time when the drop in engagement is detected. We tested AttentivU in two separate studies with 48 adults. The participants were engaged in a learning scenario of either watching three video lectures on different subjects or participating in a set of three face-to-face lectures with a professor. There were three conditions administrated during both studies: (1) biofeedback, meaning the scarf (component 2 of the system) was vibrating each time the EEG headband detected a drop in engagement; (2) random feedback, where the vibrations did not correlate or depend on the engagement level detected by the system, and (3) no feedback, when no vibrations were administered. The results show that the biofeedback condition redirected the engagement of the participants to the task at hand and improved their performance on comprehension tests.
- 1 October 2019
- Published by Institute of Electrical and Electronics Engineers (IEEE)
- p. 4161-4168
Brain-Computer Interfaces in the Wild: Lessons Learned from a Large-Scale Deployment
- 1 October 2019
- Published by Institute of Electrical and Electronics Engineers (IEEE)
- p. 4161-4168
Brain-Computer Interfaces in the Wild: Lessons Learned from a Large-Scale Deployment