Pedro Javier Ortiz Suárez
Pedro Javier Ortiz Suárez has a total of 21 co-authors. Here are the top co-authors by number of shared publications:
Benoît Sagot
3 shared publicationsBenjamin Muller
2 shared publicationsDjamé Seddah
2 shared publications- Kensei Terashima
National Institute for Materials Science (NIMS)
2 shared publications Laurent Romary
2 shared publications- Luca Foppiano
ScienciaLAB
2 shared publications
Latest Publications
- 6 April 2026
- Published by Agence Bibliographique de l'Enseignement Supérieur
A Data-driven Approach to Natural Language Processing for Contemporary and Historical French
Une approche basée sur les données pour le traitement automatique du langage naturel en français contemporain et historique: Depuis plusieurs années, les approches neuronales ont régulièrement amélioré l'état de l'art du traitement automatique des langues (TAL) sur une grande variété de tâches. L'un des principaux facteurs ayant permis ces progrès continus est l'utilisation de techniques d'apprentissage par transfert. Ces méthodes consistent à partir d'un modèle pré-entraîné et à le réutiliser, avec peu ou pas d'entraînement supplémentaire, pour traiter d'autres tâches. Même si ces modèles présentent des avantages évidents, leur principal inconvénient est la quantité de données nécessaire pour les pré-entraîner. Ainsi, le manque de données disponibles à grande échelle a freiné le développement de tels modèles pour le français contemporain et a fortiori pour ses états de langue plus anciens.Cette thèse met l'accent sur le développement de corpus pour le pré-entraînement de telles architectures. Cette approche s'avère extrêmement efficace car nous sommes en mesure d'améliorer l'état de l'art pour un large éventail de tâches de TAL pour le français contemporain et historique, ainsi que pour six autres langues contemporaines. De plus, nous montrons que ces modèles sont extrêmement sensibles à la qualité, à l'hétérogénéité et à l'équilibre des données de pré-entraînement et montrons que ces trois caractéristiques sont de meilleurs prédicteurs de la performance des modèles que la taille des données de pré-entraînement. Nous montrons également que l'importance de la taille des données de pré-entraînement a été surestimée en démontrant à plusieurs reprises que l'on peut pré-entraîner de tels modèles avec des corpus de taille assez modeste.
- 6 April 2026
- Published by Agence Bibliographique de l'Enseignement Supérieur
A Data-driven Approach to Natural Language Processing for Contemporary and Historical French
Une approche basée sur les données pour le traitement automatique du langage naturel en français contemporain et historique: Depuis plusieurs années, les approches neuronales ont régulièrement amélioré l'état de l'art du traitement automatique des langues (TAL) sur une grande variété de tâches. L'un des principaux facteurs ayant permis ces progrès continus est l'utilisation de techniques d'apprentissage par transfert. Ces méthodes consistent à partir d'un modèle pré-entraîné et à le réutiliser, avec peu ou pas d'entraînement supplémentaire, pour traiter d'autres tâches. Même si ces modèles présentent des avantages évidents, leur principal inconvénient est la quantité de données nécessaire pour les pré-entraîner. Ainsi, le manque de données disponibles à grande échelle a freiné le développement de tels modèles pour le français contemporain et a fortiori pour ses états de langue plus anciens.Cette thèse met l'accent sur le développement de corpus pour le pré-entraînement de telles architectures. Cette approche s'avère extrêmement efficace car nous sommes en mesure d'améliorer l'état de l'art pour un large éventail de tâches de TAL pour le français contemporain et historique, ainsi que pour six autres langues contemporaines. De plus, nous montrons que ces modèles sont extrêmement sensibles à la qualité, à l'hétérogénéité et à l'équilibre des données de pré-entraînement et montrons que ces trois caractéristiques sont de meilleurs prédicteurs de la performance des modèles que la taille des données de pré-entraînement. Nous montrons également que l'importance de la taille des données de pré-entraînement a été surestimée en démontrant à plusieurs reprises que l'on peut pré-entraîner de tels modèles avec des corpus de taille assez modeste.
- Open Access
- 14 December 2023
- Published by Taylor & Francis in Science and Technology of Advanced Materials: Methods
- Vol. 3 (1)
Semi-automatic staging area for high-quality structured data extraction from scientific literature
- 14 December 2023
- Published by Taylor & Francis in Science and Technology of Advanced Materials: Methods
- Vol. 3 (1)
Open AccessSemi-automatic staging area for high-quality structured data extraction from scientific literature
- Open Access
- 3 January 2023
- Published by Taylor & Francis in Science and Technology of Advanced Materials: Methods
- Vol. 3 (1)
Automatic extraction of materials and properties from superconductors scientific literature
- 3 January 2023
- Published by Taylor & Francis in Science and Technology of Advanced Materials: Methods
- Vol. 3 (1)
Open AccessAutomatic extraction of materials and properties from superconductors scientific literature
- Open Access
- 1 January 2020
- Published by Association for Computational Linguistics (ACL)
- p. 7203-7219
CamemBERT: a Tasty French Language Model
Louis Martin, Benjamin Muller, Pedro Javier Ortiz Suárez, Yoann Dupont, Laurent Romary, Éric de la Clergerie, Djamé Seddah, Benoît Sagot. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020.
- 1 January 2020
- Published by Association for Computational Linguistics (ACL)
- p. 7203-7219
Open AccessCamemBERT: a Tasty French Language Model
Louis Martin, Benjamin Muller, Pedro Javier Ortiz Suárez, Yoann Dupont, Laurent Romary, Éric de la Clergerie, Djamé Seddah, Benoît Sagot. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020.
- Top Cited PapersOpen Access
- 1 January 2020
- Published by Association for Computational Linguistics (ACL)
- p. 1703-1714
A Monolingual Approach to Contextualized Word Embeddings for Mid-Resource Languages
Pedro Javier Ortiz Suárez, Laurent Romary, Benoît Sagot. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020.
- 1 January 2020
- Published by Association for Computational Linguistics (ACL)
- p. 1703-1714
Top Cited PapersOpen AccessA Monolingual Approach to Contextualized Word Embeddings for Mid-Resource Languages
Pedro Javier Ortiz Suárez, Laurent Romary, Benoît Sagot. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020.
- Open Access
- 1 January 2020
- Published by Association for Computational Linguistics (ACL)
- p. 1139-1150
Building a User-Generated Content North-African Arabizi Treebank: Tackling Hell
Djamé Seddah, Farah Essaidi, Amal Fethi, Matthieu Futeral, Benjamin Muller, Pedro Javier Ortiz Suárez, Benoît Sagot, Abhishek Srivastava. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020.
- 1 January 2020
- Published by Association for Computational Linguistics (ACL)
- p. 1139-1150
Open AccessBuilding a User-Generated Content North-African Arabizi Treebank: Tackling Hell
Djamé Seddah, Farah Essaidi, Amal Fethi, Matthieu Futeral, Benjamin Muller, Pedro Javier Ortiz Suárez, Benoît Sagot, Abhishek Srivastava. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020.