Catalogue applicatif automatisé, Kabeen
Un catalogue interne d’éditeurs et de technologies logicielles, construit from scratch en tant que seule ingénieure : du scraping jusqu’à l’interface React.
100k+entrées au catalogue
15 → 4 minpar fiche applicative
1ingénieure, de bout en bout
Le problème
Chaque fiche du catalogue (éditeur, produit, site, contact, description, catégorie) était recherchée et rédigée à la main : environ 15 minutes par fiche, impossible à tenir pour un catalogue de plus de 100 000 applications. Un même produit apparaissait aussi sous plusieurs noms (Microsoft, Office, Excel), d’où des doublons et des incohérences.
Ce que j’ai construit
- Scraping et ETL : collecte des données éditeurs et technologies sur le web, puis normalisation dans un schéma unique.
- Classification et enrichissement par LLM avec GPT-4o et GPT-4o mini : catégories, descriptions et champs manquants complétés automatiquement.
- Résolution d’entités : regroupement des produits sous leur éditeur (par exemple Microsoft → Office, Excel) en combinant fuzzy matching, TF-IDF et embeddings stockés dans pgvector.
- Knowledge graph Neo4j reliant chaque éditeur à ses technologies.
- Moteur de qualité et de détection d’anomalies en trois niveaux : règles, puis contrôles statistiques, puis contrôles sémantiques ; les fiches douteuses passent en validation humaine.
- Produit complet : base PostgreSQL, backend FastAPI et interface React.
Résultats
100k+
entrées au catalogue
15 → 4 min
par fiche
3 niveaux
de détection d’anomalies
Stack technique
Python
GPT-4oGPT-4o miniScrapingETLTF-IDFFuzzy matching
pgvector
Neo4jPostgreSQL
FastAPI
React