Banque Nationale
2019 – 2020
Ingénierie de données et développement infonuagique pour l'une des principales institutions financières du Canada.
Aperçu
Mandat double combinant l'ingénierie de données et le développement infonuagique — construction de pipelines ETL, déploiement d'une solution Delta Lake, et co-développement de l'assistant virtuel de la banque déployé auprès de 20 000 employés.
Contributions clés
Ingénierie de données
Nettoyage et traitement de données sur des ensembles de données extensifs utilisant PySpark dans des notebooks Databricks.
Conception et implémentation d'une solution sans serveur pour ingérer le contenu des pages et documents SharePoint de la banque, utilisant Azure Functions, Azure Data Factory et Databricks.
Déploiement de la solution Delta Lake pour améliorer les capacités du Data Lake Gen2.
Implémentation de fonctions Azure sans serveur pour l'ingestion de données dans Azure Data Lake depuis diverses sources telles que SharePoint, Microsoft Graph, Yammer et QnAMaker.
Conception et développement de pipelines ETL utilisant Data Factory et Databricks pour la transformation et le transport efficaces des données.
Opération dans un environnement CI/CD utilisant Jenkins intégré avec des scripts PowerShell.
Développement infonuagique
Contribution au développement et à la conception de l'assistant virtuel de la banque, exploitant le Microsoft Bot Framework, déployé auprès de 20 000 employés dans leur environnement Teams.
Développement et maintenance d'APIs REST .NET Core.
Développement et maintenance de pipelines analytiques avec Databricks pour l'amélioration continue de l'assistant virtuel.
Conception et développement d'applications sans serveur (Azure Functions) pour alimenter le service cognitif QnAMaker de l'assistant virtuel.
Employés utilisant l'assistant virtuel
Sources de données intégrées
Solution déployée sur Data Lake Gen2