AI-NLP / PUBLISHED

Dataset NMT EN/FR ↔ Swahili

Contribuer aux ressources linguistiques pour la traduction automatique vers et depuis le swahili.

STACK
PythonpandasPyTorchHugging Face TransformersM2M100-418MGoogle Colab
STATUT

published

Parallel French, English and Swahili language data
01 / CONTEXT

Contexte

RHOpenLabs développe Kitabu, une plateforme qui pourrait bénéficier d'un module de traduction automatique entre l'anglais, le français et le swahili. Or tout système de traduction neuronale dépend de corpus parallèles : des textes alignés phrase à phrase dans les deux langues, sur lesquels le modèle apprend.

Pour les langues africaines comme le swahili, ces corpus sont rares, hétérogènes et de qualité inégale : segments mal alignés, langues mélangées, doublons. Un modèle entraîné sur de telles données reproduit leurs défauts. Avant même de parler de modèle, il fallait donc disposer de données parallèles fiables.

IMG-NMT-01 · CONTEXTE

EN/FR ↔ Swahili NMT Dataset — contexte

Étape 01 / 06 · Pause

Kitabu pourrait intégrer un module de traduction.

01 · SITUATION02 · IMPLICATIONS03 · FRICTIONS04 · BESOINPlateforme KitabuRHOPENLABSTraduction neuronaleEN / FR ↔ SWCorpus parallèlesPHRASES ALIGNÉESModèle défaillant⚠ REPRODUIT LES DÉFAUTSQualité inégale⚠ DÉSALIGNEMENT · DOUBLONSDonnées fiablesAVANT LE MODÈLE
En pause6 nœuds · 8 liens · Survolez un nœud
  • Acteur / entité
  • Composant / donnée
  • Point de friction
  • Besoin
Survolez ou sélectionnez un composant pour lire son rôle et ses connexions.
Du terrain au besoin : la situation qui justifie le projet.
02 / PROBLEM

Problématique

Comment sélectionner, préparer et structurer des données parallèles suffisamment fiables pour expérimenter la traduction entre l'anglais, le français et le swahili ?

03 / SOLUTION

Solution

Réalisation d'un travail de recherche en trois temps : comparaison de modèles pré-entraînés et choix de M2M100-418M, puis étude des corpus disponibles, puis expérimentations de préparation des données et de fine-tuning partiel. Ces expérimentations ont révélé des problèmes de qualité des données incompatibles avec un usage en production. En accord avec l'entreprise, le projet a été réorienté vers la constitution et la publication d'un dataset EN/FR ↔ Swahili sur Hugging Face.

IMG-NMT-02 · SOLUTION

EN/FR ↔ Swahili NMT Dataset — solution

Étape 01 / 06 · Pause

Des corpus rares et inégaux.

01 · PROBLÈME02 · RÉALISATION03 · FONCTIONNEMENT04 · RÉSULTATCorpus inégaux⚠ RARESComparaison de modèlesM2M100-418MPipeline de préparationFILTRESExpérimentationsFINE-TUNING PARTIELDataset EN/FR ↔ SWCONSTITUÉLimites documentées✓ PAS EN PRODUCTIONPublié sur Hugging Face✓ RÉUTILISABLE
En pause7 nœuds · 7 liens · Survolez un nœud
  • Ma contribution
  • Point de friction
  • Résultat
Survolez ou sélectionnez un composant pour lire son rôle et ses connexions.
Projet individuel : tous les composants ont été conçus et développés par moi.
04 / CONTRIBUTION

Contribution

Stage de recherche chez RHOpenLabs. J'ai mené la comparaison des modèles, construit le pipeline de préparation des données, conduit les expérimentations sur M2M100-418M, puis constitué, documenté et publié le dataset.

05 / FEATURES

Étapes du pipeline

  • Les langues et directions de traduction sont définies.
  • Les corpus disponibles sont explorés et comparés.
  • Les formats sont convertis, notamment de Moses vers JSONL.
  • La langue de chaque segment est détectée et les segments inadaptés sont filtrés.
  • Les données sont nettoyées et dédupliquées, et leur alignement est contrôlé.
  • Le dataset sert de base aux expérimentations sur M2M100-418M.
  • Il est documenté puis publié sur Hugging Face.
06 / ARCHITECTURE

Architecture

Chaque corpus source est d'abord inspecté et converti dans un format commun. Ses segments traversent ensuite des filtres successifs : détection de langue, nettoyage, déduplication et contrôle de l'alignement. Seules les paires qui passent toutes ces étapes intègrent le dataset final, qui alimente les expérimentations puis est publié.

IMG-NMT-03 · ARCHITECTURE

EN/FR ↔ Swahili NMT Dataset — architecture globale

Étape 01 / 07 · Pause

Les corpus sont inspectés et convertis.

01 · SOURCES02 · PRÉPARATION03 · FILTRAGE04 · DATASET05 · SUITECorpus sourcesMOSESConversionMOSES → JSONLNormalisation des formatsSTRUCTURE COMMUNEDétection de langueFILTRAGENettoyage · déduplicationDOUBLONSContrôle d'alignementPAIRESDataset EN/FR ↔ SWJSONLM2M100-418MEXPÉRIMENTALHugging Face✓ PUBLICATION
En pause9 nœuds · 8 liens · Survolez un nœud
  • Acteur / entité
  • Ma contribution
  • Résultat
Survolez ou sélectionnez un composant pour lire son rôle et ses connexions.
Projet individuel : tous les composants ont été conçus et développés par moi.
07 / STACK

Stack

Python, pandas, PyTorch, Hugging Face Transformers, M2M100-418M, Moses / JSONL, Google Colab.

08 / BENEFITS

Avantages

  • Une ressource parallèle réutilisable enrichit l'écosystème du swahili.
  • Le projet démontre que la qualité des données conditionne celle de la traduction.
  • Les limites expérimentales sont documentées honnêtement, sans revendiquer un modèle prêt pour la production.
  • Le dataset ouvre la voie à de futurs travaux sur les langues africaines.
NOTE ÉDITORIALE

Cette étude de cas distingue le périmètre global du projet de ma contribution personnelle. Aucun résultat ou chiffre non documenté n’est présenté.