Formation Kedro : créer des pipelines Data Science

A l’issue de cette formation Kedro, les participants sont en mesure d’utiliser cet outil pour déployer du code Machine Learning en production. Ils ont compris comment certains principes de développement logiciel peuvent être appliqués aux opérations de Data Science et se sont appropriés les principales fonctionnalités de Kedro afin de mettre en œuvre l’outil dans un workflow de déploiement.

Objectifs pédagogiques

Comprendre les principes de développement utiles aux ingénieurs data et data scientists pour faciliter le déploiement de leur code en production

S’approprier les principales fonctionnalités de Kedro (project template, configuration, data catalog et pipeline)

Mettre en œuvre l’outil dans un workflow pour créer des pipelines de données

A qui s’adresse cette formation ?

Public

Prérequis

Connaissances en Python ainsi que sur les concepts et librairies de Data Science (Panda, Jupyter notebooks…).

Programme de formation

Introduction à la formation Kedro

Présentation générale de la formation Kedro
Objectifs pédagogiques
Qu’est-ce que Kedro ? Vue d’ensemble et intérêt d’utilisation
Prérequis d’installation
Installer Kedro et l’environnement de développement
Concepts fondamentaux : node, pipeline, DataCatalog, runner
Workflow pour la création d’un projet Kedro

Création et configuration d’un projet Kedro

Créer un nouveau projet
Structure du répertoire projet
Les bonnes pratiques pour la sécurité des données
Utiliser les Kedro starters
Configurer le template projet
Installer les dépendances
Ajouter les jeux de données

Pipeline de traitement de données

Générer un template
Ajouter des fonctions
Tester
Visualiser le pipeline

Pipeline Data Science

Configurer les paramètres en entrée
Assembler le pipeline
Enregistrer le dataset
Tester et visualiser

Packaging et déploiement

Les bonnes pratiques
Options de déploiement : Airflow, Argo, Kubeflow…

En apprendre davantage sur Kedro

Kedro est un framework open source permettant de créer du code Data Science reproductible, maintenable et modulaire. Il emprunte des concepts au développement logiciel et les applique aux déploiements de modèles Machine Learning.