Maia Bazerji

RAG/ETL Pipeline Kabeen

Production-ready retrieval-augmented generation & ETL system Système de génération augmentée par récupération & ETL prêt pour la production

Problem Problème

Manual catalog processing was slow, expensive, and didn't scale. Needed automated classification and metadata extraction for 100k+ applicative documents while maintaining accuracy. Le traitement manuel du catalogue était lent, coûteux et ne pouvait pas passer à l'échelle. Nécessité d'une classification automatisée et d'une extraction de métadonnées pour 100k+ documents applicatifs tout en maintenant la précision.

Solution Solution

End-to-end RAG/ETL pipeline with vector search, reranking, LLM integration, data validation, and production deployment on GCP Pipeline RAG/ETL de bout en bout avec recherche vectorielle, réclassement, intégration LLM, validation des données et déploiement en production sur GCP

Results Résultats

80%
Latency ReductionRéduction de latence
100k+
DocumentsDocuments
Production
StatusStatut

Technology Stack Stack Technologique

PythonFastAPILangChainQdrantPostgreSQLRedisClaude APIDockerGCP Cloud Run