Toutes les formations

FormationFOR-DEV-M6-A

Data Engineer

Concevoir, construire et exploiter les pipelines et infrastructures de données

  • 35 heures — 5 jours
  • 2 450 € HT
  • Écoles & centres de formation
  • Certification Qualiopi en cours de préparation
Tunnel de particules lumineuses évoquant un flux de données

En bref

Le module alterne séquences théoriques et ateliers pratiques tout au long de chaque journée. Il couvre la modélisation des données, le SQL avancé et les entrepôts, les pipelines ETL/ELT et leur orchestration, le big data et le traitement distribué, les architectures modernes et la gouvernance. Le fil rouge des ateliers est SQL/Python/Airflow/Spark/Kafka, complété par un panorama étendu de l'écosystème.

Objectifs pédagogiques

  • Comprendre le rôle du data engineer et l'architecture d'une plateforme de données
  • Concevoir et modéliser des bases de données (relationnelles et NoSQL) et un entrepôt de données
  • Construire des pipelines de données (ETL/ELT) et les orchestrer
  • Comprendre les enjeux du big data et du traitement distribué (batch/streaming)
  • Connaître les architectures modernes (data warehouse, data lake, lakehouse) et le cloud data
  • Mettre en place qualité, gouvernance, sécurité et supervision des données

Public concerné

  • Étudiants et apprenants des écoles et centres de formation partenaires
  • Développeurs ou data analysts souhaitant s'orienter vers l'ingénierie des données
  • Profils techniques visant des fonctions data engineering

Prérequis

Des bases de programmation (Python recommandé) et de SQL sont requises, ainsi qu'une aisance avec la ligne de commande. Des notions de bases de données et de data science facilitent la progression. Ces éléments sont validés par un formulaire en ligne et / ou un entretien préalable.

  • Maîtriser les bases de la programmation (Python de préférence) et de SQL.
  • Être à l'aise avec la ligne de commande et la manipulation de fichiers.
  • Avoir des notions de bases de données et de data (modules Full-Stack et Data Scientist conseillés).
  • Disposer d'une autonomie technique et d'une rigueur d'organisation.

Programme

Jour 1 — Le métier & modélisation des données
  1. Métier & architecture data

    Data engineer vs data scientist ; architecture d'une plateforme ; panorama de l'écosystème (bases, ETL, distribué, cloud).

    Exposé interactif, schéma d'architecture, panorama d'outils.

    Évaluation : Questions orales ; QCM sur l'écosystème.

    1h15
  2. Analyser une architecture

    Identifier les composants d'une architecture data.

    TP guidé, étude d'architecture, grille d'analyse.

    Évaluation : Analyse d'architecture validée.

    2h00
  3. Modélisation des données

    Relationnel (PostgreSQL, MySQL), NoSQL (MongoDB, Cassandra, Redis), normalisation, modélisation décisionnelle (étoile/flocon).

    Exposé, panorama des bases, exemples de schémas.

    Évaluation : QCM sur la modélisation.

    1h15
  4. Modéliser un schéma

    Concevoir un schéma de données adapté à un cas.

    TP, outil de modélisation, accompagnement.

    Évaluation : Schéma de données validé.

    2h00
Jour 2 — SQL avancé & entrepôts de données
  1. SQL avancé

    Jointures complexes, fonctions de fenêtrage, optimisation, index.

    Exposé, exemples de requêtes, plans d'exécution.

    Évaluation : Questions orales ; QCM.

    1h15
  2. Requêtes SQL avancées

    Écrire des requêtes avancées sur un jeu de données.

    TP guidé, base de données, requêtes progressives.

    Évaluation : Requêtes avancées validées.

    2h15
  3. Entrepôts de données

    Data warehouse, modélisation dimensionnelle, panorama (BigQuery, Snowflake, Redshift).

    Exposé, schémas dimensionnels, panorama cloud.

    Évaluation : QCM sur les entrepôts.

    1h00
  4. Mini-entrepôt

    Construire et alimenter un mini-entrepôt de données.

    TP, modélisation en étoile, chargement, requêtes.

    Évaluation : Mini-entrepôt validé.

    2h30
Jour 3 — Pipelines ETL/ELT & orchestration
  1. Ingestion & ETL/ELT

    Ingestion, ETL vs ELT, transformation, idempotence ; panorama (dbt, Talend, Fivetran, Airbyte, NiFi).

    Exposé, schémas de pipelines, panorama d'outils.

    Évaluation : Questions orales ; QCM.

    1h15
  2. Pipeline ETL

    Construire un pipeline ETL (extraction → transformation → chargement).

    TP guidé Python, sources et cible, accompagnement.

    Évaluation : Pipeline ETL fonctionnel.

    2h15
  3. Orchestration de pipelines

    Airflow (fil rouge), planification, dépendances ; alternatives Dagster, Prefect.

    Exposé, notion de DAG, panorama des orchestrateurs.

    Évaluation : QCM sur l'orchestration.

    1h00
  4. Orchestrer avec un DAG

    Orchestrer un pipeline via un DAG (Airflow).

    TP guidé Airflow, planification, gestion des dépendances.

    Évaluation : DAG orchestré validé.

    2h30
Jour 4 — Big data & traitement distribué
  1. Enjeux du big data

    Volume, vitesse, variété ; traitement distribué (Spark) ; héritage Hadoop/MapReduce, alternatives Flink, Dask.

    Exposé, schémas distribués, panorama des moteurs.

    Évaluation : Questions orales ; QCM.

    1h15
  2. Traitement distribué (Spark)

    Traiter un gros volume en distribué (initiation Spark).

    TP guidé Spark, jeu de données volumineux, accompagnement.

    Évaluation : Traitement distribué validé.

    2h15
  3. Batch vs streaming

    Batch vs temps réel ; Kafka (fil rouge), alternatives Pulsar, Kinesis, RabbitMQ.

    Exposé, schéma streaming, panorama des bus de messages.

    Évaluation : QCM sur batch/streaming.

    1h00
  4. Traitement batch & démo streaming

    Mettre en place un traitement batch ; démonstration streaming.

    TP batch, démonstration Kafka, revue collective.

    Évaluation : Traitement batch validé.

    2h30
Jour 5 — Architectures modernes, gouvernance & projet
  1. Architectures modernes & cloud

    Data warehouse / data lake / lakehouse ; formats ouverts (Delta Lake, Iceberg, Hudi) ; cloud (BigQuery, Snowflake, Redshift, Databricks, Synapse, Dataflow).

    Exposé, schémas d'architectures, panorama cloud.

    Évaluation : QCM sur les architectures.

    1h00
  2. Explorer une architecture cloud

    Explorer une architecture cloud data (initiation).

    TP guidé, environnement cloud d'initiation, accompagnement.

    Évaluation : Exploration cloud validée.

    2h00
  3. Qualité & gouvernance

    Qualité, gouvernance, sécurité, RGPD, supervision des données.

    Exposé, bonnes pratiques, exemples de supervision.

    Évaluation : QCM sur la gouvernance.

    1h00
  4. Pipeline data de bout en bout & restitution

    Concevoir et présenter un pipeline data complet.

    TP projet, présentations, revue collective, QCM final, enquête de satisfaction.

    Évaluation : Évaluation sommative : pipeline data + QCM final.

    2h30

Modalités et moyens pédagogiques

Formation en présentiel dans nos locaux ou dans vos locaux, en groupe restreint. Alternance d’apports théoriques, d’ateliers pratiques et de mises en situation.

Matériel requis :

16 Go de Ram recommandés

  • Les stagiaires doivent disposer d'un PC avec le Wifi et 16 Go de RAM recommandés.
  • Effectif adapté au format école / centre de formation.
  • Parcours dédié aux écoles et centres de formation, établi sur devis.

Modalités d’évaluation

Évaluation des acquis en cours et en fin de formation, attestation de fin de formation remise à chaque stagiaire.

Accessibilité aux personnes en situation de handicap

Formation accessible aux personnes en situation de handicap. Contactez-nous avant l’inscription pour étudier les aménagements nécessaires.

Financement

Devis ou convention de formation sur demande. La certification Qualiopi est en cours de préparation : l’éligibilité aux financements OPCO sera ouverte après son obtention.

Audit de certification prévu au T1 2027. Aucune éligibilité OPCO avant l’obtention.

Partager cet article