Dataset NMT EN/FR ↔ Swahili
Contribuer aux ressources linguistiques pour la traduction automatique vers et depuis le swahili.

Contexte
RHOpenLabs développe Kitabu, une plateforme qui pourrait bénéficier d'un module de traduction automatique entre l'anglais, le français et le swahili. Or tout système de traduction neuronale dépend de corpus parallèles : des textes alignés phrase à phrase dans les deux langues, sur lesquels le modèle apprend.
Pour les langues africaines comme le swahili, ces corpus sont rares, hétérogènes et de qualité inégale : segments mal alignés, langues mélangées, doublons. Un modèle entraîné sur de telles données reproduit leurs défauts. Avant même de parler de modèle, il fallait donc disposer de données parallèles fiables.
IMG-NMT-01 · CONTEXTE
EN/FR ↔ Swahili NMT Dataset — contexte
Kitabu pourrait intégrer un module de traduction.
Problématique
Comment sélectionner, préparer et structurer des données parallèles suffisamment fiables pour expérimenter la traduction entre l'anglais, le français et le swahili ?
Solution
Réalisation d'un travail de recherche en trois temps : comparaison de modèles pré-entraînés et choix de M2M100-418M, puis étude des corpus disponibles, puis expérimentations de préparation des données et de fine-tuning partiel. Ces expérimentations ont révélé des problèmes de qualité des données incompatibles avec un usage en production. En accord avec l'entreprise, le projet a été réorienté vers la constitution et la publication d'un dataset EN/FR ↔ Swahili sur Hugging Face.
IMG-NMT-02 · SOLUTION
EN/FR ↔ Swahili NMT Dataset — solution
Des corpus rares et inégaux.
Contribution
Stage de recherche chez RHOpenLabs. J'ai mené la comparaison des modèles, construit le pipeline de préparation des données, conduit les expérimentations sur M2M100-418M, puis constitué, documenté et publié le dataset.
Étapes du pipeline
- Les langues et directions de traduction sont définies.
- Les corpus disponibles sont explorés et comparés.
- Les formats sont convertis, notamment de Moses vers JSONL.
- La langue de chaque segment est détectée et les segments inadaptés sont filtrés.
- Les données sont nettoyées et dédupliquées, et leur alignement est contrôlé.
- Le dataset sert de base aux expérimentations sur M2M100-418M.
- Il est documenté puis publié sur Hugging Face.
Architecture
Chaque corpus source est d'abord inspecté et converti dans un format commun. Ses segments traversent ensuite des filtres successifs : détection de langue, nettoyage, déduplication et contrôle de l'alignement. Seules les paires qui passent toutes ces étapes intègrent le dataset final, qui alimente les expérimentations puis est publié.
IMG-NMT-03 · ARCHITECTURE
EN/FR ↔ Swahili NMT Dataset — architecture globale
Les corpus sont inspectés et convertis.
Stack
Python, pandas, PyTorch, Hugging Face Transformers, M2M100-418M, Moses / JSONL, Google Colab.
Avantages
- Une ressource parallèle réutilisable enrichit l'écosystème du swahili.
- Le projet démontre que la qualité des données conditionne celle de la traduction.
- Les limites expérimentales sont documentées honnêtement, sans revendiquer un modèle prêt pour la production.
- Le dataset ouvre la voie à de futurs travaux sur les langues africaines.
Liens
huggingface.co/datasets/Johannna-Bell827/fr-sw-en-sw-translation
Cette étude de cas distingue le périmètre global du projet de ma contribution personnelle. Aucun résultat ou chiffre non documenté n’est présenté.