NER Ordres de Mission
Système d'extraction d'entités en français avec fine-tuning CamemBERT
12 000phrases annotées
17×plus léger que CamemBERT
~10 mspar phrase sur CPU (mesuré)
Problème
Le traitement des ordres de mission nécessitait l'extraction manuelle des entités clés (lieu de départ, arrivée, dates, type de transport) à partir de texte français non structuré. C'était fastidieux, sujet aux erreurs et ne passait pas à l'échelle.
Solution
Deux modèles NER entraînés et comparés sur un corpus français annoté avec tagging BIO, puis mise en production de celui qui tenait la route :
- Fine-tuning CamemBERT sur un corpus annoté de 12 000 phrases
- Deux modèles comparés en direct : pipeline spaCy v3 sur mesure (~10 ms par phrase mesurés sur CPU, 26 Mo) face à un CamemBERT fine-tuné (440 Mo), meilleur sur les phrases ambiguës sur le même corpus
- spaCy retenu en production : 5 points de F1 échangés contre une latence 10× moindre et un modèle 29× plus petit, le bon arbitrage pour du CPU seul
- Classification de tokens avec tagging BIO pour 6 types d'entités
- Évaluation rigoureuse: F1 au niveau des entités, pas des tokens
- Pipeline de production: inférence optimisée pour batch et temps réel
- Support bilingue: entrée français, sortie JSON structurée
Résultats & Métriques
12 000
Phrases d’entraînement
6
Types d'entités
spaCy
retenu pour la production
~10 ms
Latence spaCy mesurée (CPU)
70/15/15
Partition Train/Val/Test
Stack Technologique
CamemBERT
Hugging Face
PyTorch
spaCy
Python
seqeval
JSON
Flask
Enseignements clés
- NLP français est important: CamemBERT surpasse les modèles multilingues sur le texte français
- L'évaluation au niveau des entités est cruciale: L'exactitude au niveau des tokens masque les défaillances
- La qualité de l'annotation détermine la performance
- Conception soignée du schéma de tagging BIO
- Optimisation de l'inférence séparant la recherche du déploiement