Todas as formações

FormaçãoFOR-DEV-M6-A

Data Engineer

Conceber, construir e explorar os pipelines e as infraestruturas de dados

  • 35 horas — 5 dias
  • 2 450 € s/ IVA
  • Escolas e centros de formação
  • Certificação Qualiopi em preparação
Túnel de partículas luminosas que evoca um fluxo de dados

Em resumo

O módulo alterna sequências teóricas e oficinas práticas ao longo de cada dia. Abrange a modelização dos dados, o SQL avançado e os armazéns de dados, os pipelines ETL/ELT e a sua orquestração, o big data e o processamento distribuído, as arquiteturas modernas e a governação. O fio condutor das oficinas é SQL/Python/Airflow/Spark/Kafka, complementado por um panorama alargado do ecossistema.

Objetivos pedagógicos

  • Compreender o papel do data engineer e a arquitetura de uma plataforma de dados
  • Conceber e modelizar bases de dados (relacionais e NoSQL) e um armazém de dados
  • Construir pipelines de dados (ETL/ELT) e orquestrá-los
  • Compreender os desafios do big data e do processamento distribuído (batch/streaming)
  • Conhecer as arquiteturas modernas (data warehouse, data lake, lakehouse) e o cloud de dados
  • Implementar qualidade, governação, segurança e supervisão dos dados

Público-alvo

  • Estudantes e formandos das escolas e centros de formação parceiros
  • Programadores ou data analysts que queiram orientar-se para a engenharia de dados
  • Perfis técnicos que visam funções de data engineering

Pré-requisitos

São exigidas bases de programação (Python recomendado) e de SQL, bem como à-vontade com a linha de comandos. Noções de bases de dados e de ciência de dados facilitam a progressão. Estes elementos são validados por um formulário online e / ou por uma entrevista prévia.

  • Dominar as bases da programação (de preferência Python) e de SQL.
  • Sentir-se à vontade com a linha de comandos e a manipulação de ficheiros.
  • Ter noções de bases de dados e de dados (módulos Full-Stack e Data Scientist aconselhados).
  • Ter autonomia técnica e rigor de organização.

Programa

Dia 1 — A profissão e a modelização dos dados
  1. Profissão e arquitetura de dados

    Data engineer vs data scientist; arquitetura de uma plataforma; panorama do ecossistema (bases de dados, ETL, distribuído, cloud).

    Exposição interativa, esquema de arquitetura, panorama de ferramentas.

    Avaliação : Perguntas orais; questionário de escolha múltipla sobre o ecossistema.

    1h15
  2. Analisar uma arquitetura

    Identificar os componentes de uma arquitetura de dados.

    Trabalho prático guiado, estudo de arquitetura, grelha de análise.

    Avaliação : Análise de arquitetura validada.

    2h00
  3. Modelização dos dados

    Relacional (PostgreSQL, MySQL), NoSQL (MongoDB, Cassandra, Redis), normalização, modelização decisional (estrela/floco de neve).

    Exposição, panorama das bases de dados, exemplos de esquemas.

    Avaliação : Questionário de escolha múltipla sobre a modelização.

    1h15
  4. Modelizar um esquema

    Conceber um esquema de dados adaptado a um caso.

    Trabalho prático, ferramenta de modelização, acompanhamento.

    Avaliação : Esquema de dados validado.

    2h00
Dia 2 — SQL avançado e armazéns de dados
  1. SQL avançado

    Junções complexas, funções de janela, otimização, índices.

    Exposição, exemplos de consultas, planos de execução.

    Avaliação : Perguntas orais; questionário de escolha múltipla.

    1h15
  2. Consultas SQL avançadas

    Escrever consultas avançadas sobre um conjunto de dados.

    Trabalho prático guiado, base de dados, consultas progressivas.

    Avaliação : Consultas avançadas validadas.

    2h15
  3. Armazéns de dados

    Data warehouse, modelização dimensional, panorama (BigQuery, Snowflake, Redshift).

    Exposição, esquemas dimensionais, panorama cloud.

    Avaliação : Questionário de escolha múltipla sobre os armazéns de dados.

    1h00
  4. Mini-armazém

    Construir e alimentar um mini-armazém de dados.

    Trabalho prático, modelização em estrela, carregamento, consultas.

    Avaliação : Mini-armazém validado.

    2h30
Dia 3 — Pipelines ETL/ELT e orquestração
  1. Ingestão e ETL/ELT

    Ingestão, ETL vs ELT, transformação, idempotência; panorama (dbt, Talend, Fivetran, Airbyte, NiFi).

    Exposição, esquemas de pipelines, panorama de ferramentas.

    Avaliação : Perguntas orais; questionário de escolha múltipla.

    1h15
  2. Pipeline ETL

    Construir um pipeline ETL (extração → transformação → carregamento).

    Trabalho prático guiado em Python, fontes e destino, acompanhamento.

    Avaliação : Pipeline ETL funcional.

    2h15
  3. Orquestração de pipelines

    Airflow (fio condutor), planeamento, dependências; alternativas Dagster, Prefect.

    Exposição, noção de DAG, panorama dos orquestradores.

    Avaliação : Questionário de escolha múltipla sobre a orquestração.

    1h00
  4. Orquestrar com um DAG

    Orquestrar um pipeline através de um DAG (Airflow).

    Trabalho prático guiado em Airflow, planeamento, gestão de dependências.

    Avaliação : DAG orquestrado validado.

    2h30
Dia 4 — Big data e processamento distribuído
  1. Desafios do big data

    Volume, velocidade, variedade; processamento distribuído (Spark); legado Hadoop/MapReduce, alternativas Flink, Dask.

    Exposição, esquemas distribuídos, panorama dos motores.

    Avaliação : Perguntas orais; questionário de escolha múltipla.

    1h15
  2. Processamento distribuído (Spark)

    Tratar um grande volume de forma distribuída (iniciação ao Spark).

    Trabalho prático guiado em Spark, conjunto de dados volumoso, acompanhamento.

    Avaliação : Processamento distribuído validado.

    2h15
  3. Batch vs streaming

    Batch vs tempo real; Kafka (fio condutor), alternativas Pulsar, Kinesis, RabbitMQ.

    Exposição, esquema de streaming, panorama dos barramentos de mensagens.

    Avaliação : Questionário de escolha múltipla sobre batch/streaming.

    1h00
  4. Processamento batch e demonstração de streaming

    Implementar um processamento batch; demonstração de streaming.

    Trabalho prático de batch, demonstração Kafka, revisão coletiva.

    Avaliação : Processamento batch validado.

    2h30
Dia 5 — Arquiteturas modernas, governação e projeto
  1. Arquiteturas modernas e cloud

    Data warehouse / data lake / lakehouse; formatos abertos (Delta Lake, Iceberg, Hudi); cloud (BigQuery, Snowflake, Redshift, Databricks, Synapse, Dataflow).

    Exposição, esquemas de arquiteturas, panorama cloud.

    Avaliação : Questionário de escolha múltipla sobre as arquiteturas.

    1h00
  2. Explorar uma arquitetura cloud

    Explorar uma arquitetura cloud de dados (iniciação).

    Trabalho prático guiado, ambiente cloud de iniciação, acompanhamento.

    Avaliação : Exploração cloud validada.

    2h00
  3. Qualidade e governação

    Qualidade, governação, segurança, RGPD, supervisão dos dados.

    Exposição, boas práticas, exemplos de supervisão.

    Avaliação : Questionário de escolha múltipla sobre a governação.

    1h00
  4. Pipeline de dados de ponta a ponta e apresentação de resultados

    Conceber e apresentar um pipeline de dados completo.

    Trabalho prático de projeto, apresentações, revisão coletiva, questionário final de escolha múltipla, inquérito de satisfação.

    Avaliação : Avaliação sumativa: pipeline de dados + questionário final de escolha múltipla.

    2h30

Modalidades e meios pedagógicos

Formação presencial nas nossas instalações ou nas suas, em grupo reduzido. Alternância de contributos teóricos, oficinas práticas e simulações.

Material necessário :

16 GB de RAM recomendados

  • Os formandos devem dispor de um PC com Wi-Fi e 16 GB de RAM recomendados.
  • Efetivo adaptado ao formato escola / centro de formação.
  • Percurso dedicado a escolas e centros de formação, estabelecido por orçamento.

Modalidades de avaliação

Avaliação das aprendizagens durante e no final da formação; certificado de conclusão entregue a cada formando.

Acessibilidade para pessoas com deficiência

Formação acessível a pessoas com deficiência. Contacte-nos antes da inscrição para estudarmos as adaptações necessárias.

Financiamento

Orçamento ou convenção de formação a pedido. A certificação Qualiopi está em preparação: a elegibilidade para financiamentos OPCO será aberta após a sua obtenção.

Auditoria de certificação prevista para T1 2027. Sem elegibilidade OPCO antes da sua obtenção.

Partilhar este artigo