Formation Apache NiFi : créer des flux de données

A l’issue de cette formation Apache, les participants seront en mesure d’utiliser Apache NiFi pour créer leurs propres flux de données personnalisés. Ils auront compris l’ensemble des concepts associés à cet outil d’injection de données et pourront travailler efficacement sur les données de leur organisation.

Objectifs pédagogiques

S’approprier les concepts de gestion des flux de données

Savoir installer et configurer NiFi

Créer des flux de données entre différents systèmes

Intégrer Apache NiFi et Apache Kafka

A qui s’adresse cette formation ?

Public

Prérequis

Connaissances de base des systèmes Unix, maîtrise du langage Java et de Kafka.

Programme de formation

Introduction à la formation Apache NiFi : installation et concepts fondamentaux

Généralités sur la gestion des flux de données, les pipelines de données et ETL
Pourquoi utiliser un framework ?
Présentation générale de NiFi : architecture, positionnement et cas d’usages
La programmation basée sur les flux (« flow-based »)
Concepts de base et terminologie : Processors, FlowFile, Connectors…
Composants et fonctionnalités
Installer Apache NiFi
Prise en main de l’interface

Démarrer avec NiFi : création de flux de données

Ajouter et configurer un processor : GetFile
Créer un premier flux avec PutFile et comprendre son fonctionnement
Les différents types de processeurs disponibles
Configurations et connexions
Générer des Flow Files avec GenerateFlowFile et ReplaceText
Utiliser les attributs
Introduction aux variables

Utilisation avancée

Travailler avec des templates NiFi
Expression Langage et conditions de routage
Le format des FlowFiles
Les Controller Services
Les process groups

Debugger NiFi et monitoring

Debugging et gestion des erreurs depuis l’interface
Provenance des données
Surveiller les logs

Intégration avec Apache Kafka

NiFi en producteur de données pour Kafka
NiFi en consommateur de données
Cas d’usages : construire un CDC (Change Data Capture), streaming, récupération de logs…