whatsapp_icone
Curso Data Pipe Refatorando

Domine as principais tecnologias Open Source do mundo de dados.

Com esse curso, você será peça-chave em qualquer time de dados do mundo! Capacite-se para atuar em todas as etapas do ciclo de dados, desde a captura, processamento e transformação até a visualização e governança.

O que você vai aprender e orquestrar com esse curso:

O único curso do Brasil que ensina tecnologias líderes usadas pelas maiores empresas do mundo em toda trajetória de seus dados.

Capture

e mova dados com o Debezium de várias fontes de dados

Armazene

com segurança em MinIO e organize no Delta Lake.

Orquestre pipelines

com Apache Airflow e transforme dados com dbt.

Execute consultas rápidas

em grandes volumes com Trino e Apache Spark.

Visualize dados

com Power BI e implemente governança com OpenMetadata.

Essa sequência cobre a trajetória dos dados desde a captura inicial até a análise visual!

AS MAIORES EMPRESAS DO MUNDO UTILIZAM ESSAS TECNOLOGIAS

MLOps

pode ser integrado após a etapa de preparação e transformação de dados (dbt/Spark), caso o ciclo inclua modelos preditivos que serão visualizados no Power BI.

Bônus

Rancher

é usado para gerenciar a infraestrutura Kubernetes que suporta várias dessas tecnologias.

Um Curso, Diversas Carreiras

Engenheiro de Dados

Especialista em pipelines de dados robustos e escaláveis.

Cientista de Dados

Transforma dados em insights com modelagem e análise avançada.

Arquiteto de Dados

Define e otimiza a infraestrutura de dados corporativa.

Analista de BI

Cria dashboards interativos para decisões estratégicas.

AS MAIORES EMPRESAS DO MUNDO UTILIZAM ESSAS TECNOLOGIAS

AS MAIORES EMPRESAS DO MUNDO UTILIZAM ESSAS TECNOLOGIAS

Este curso é para quem quer evoluir na carreira de dados!

  • Está pronto para dominar tecnologias inovadoras e aplicá-las em projetos reais.
  • Deseja transformar sua carreira com um entendimento profundo das melhores práticas e arquiteturas open source.
  • Quer se destacar no mercado com conhecimento em integrações avançadas e soluções para cenários complexos.
  • Busca aprender como utilizar ferramentas modernas para resolver desafios reais no mundo de dados.
  • Almeja construir pipelines, arquiteturas robustas e gerar valor estratégico a partir dos dados.

SQL e mapeamento de dados.

Noções de arquitetura e conceitos gerais da área de dados.

O curso requer conhecimentos básicos de:

Como você vai se preparar para a vaga de emprego na programação

01. Metodologia agil scrum

Domine o Scrum, uma estrutura ágil de colaboração em equipe comumente usada no desenvolvimento de software e em outros setores.

02. Otimização do seu linkedin

Explore as funcionalidades do LinkedIn e aprenda a criar um perfil atraente, a conectar-se com profissionais da sua área e a usar estratégias eficazes para se destacar no mercado de trabalho.

03. Treinamento para entrevistas

Descubra o que está por trás de uma entrevista de emprego, como se portar durante um processo seletivo e quais as melhores formas de se comunicar para que suas qualidades sejam notadas.

01. Comunidade & Networking

Já somos mais de 26 mil alunos e você poderá fazer parte dessa grande comunidade tendo a oportunidade de se conectar com outros profissionais da área e ampliar a sua rede de contatos.

02. Suporte com Especialistas

Esclareça todas as suas dúvidas com o suporte da nossa equipe de especialistas. Estamos prontos para oferecer as melhores soluções de forma ágil e eficiente.

Suporte e Mentorias para o seu Sucesso

O que você vai aprender

Módulo 1: Introdução ao dbt
  • Como o dbt se encaixa no ecossistema de dados moderno;
  • Apresentando dbt core e dbt cloud;
  • Configuração do ambiente de desenvolvimento e instalação do dbt core;
  • Configuração do ambiente de desenvolvimento do dbt cloud;
  • Principais conceitos e terminologia do dbt (modelos e testes);
  • Principais conceitos e terminologia do dbt (pacotes, etc.);
  • Quiz;
Módulo 2: Modelagem de Dados com dbt
  • Criação de modelos SQL no dbt: Incremental;
  • Criação de modelos SQL no dbt: Views / Ephemeral;
  • Criação de modelos SQL no dbt: Dynamic Table (Materialized View);
  • Criação de modelos SQL no dbt: Tabelas;
  • Criação de modelos Python no dbt: Tabelas;
  • Criação de modelos Python no dbt: Incremental;
  • Entendendo a sintaxe do Jinja em modelos SQL;
  • Referenciamento e dependência entre modelos;
Módulo 3: Testes e Documentação
  • Escrevendo testes para garantir a qualidade dos dados: Built-in testes - Unique;
  • Escrevendo testes para garantir a qualidade dos dados: Built-in testes - Not_null, Accepted_values e Relationship;
  • Escrevendo testes para garantir a qualidade dos dados: Utilização de Packages para testes;
  • Escrevendo testes para garantir a qualidade dos dados: Testes Singulares;
  • Escrevendo testes para garantir a qualidade dos dados: Testes Genéricos;
  • Escrevendo testes para garantir a qualidade dos dados: Testes - Source Freshness;
  • Documentando modelos e seu papel no data catalog;
  • Geração de documentação de site interativa com dbt docs;
  • Quiz;
Módulo 4: Workflow do dbt e Orquestração
  • Execução de comandos dbt run, test, e outros;
  • Execução de comandos dbt run, test, e outros - Parte 2;
  • Snapshots no dbt;
  • Entendimento do ciclo de vida de um projeto dbt;
  • Orquestração de fluxos de trabalho do dbt com ferramentas de terceiros;
  • Hands-on Orquestração com Airflow;
  • Quiz;
Módulo 5: Avançando com Macros e Hooks
  • Customização de modelos com macros do dbt: Funcões;
  • Customização de modelos com macros do dbt: Hooks;
  • Customização de modelos com macros do dbt: Operações;
  • Quiz
Módulo 6: Versionamento e Deployment do dbt
  • Estratégias para o versionamento de código dbt com Gitlab;
  • Deployment de projetos dbt em ambientes de produção Jenkins;
  • Melhores práticas para CI/CD com dbt;
  • Quiz
Módulo 7: Performance e Escalabilidade
  • Técnicas para otimização de performance em projetos dbt;
  • Estratégias para escalonar projetos dbt;
  • Resolução de problemas e debugging em dbt;
Módulo 1: Introdução ao Change Data Capture (CDC) e Debezium
  • Arquitetura e ecossistema do Debezium;
  • Visão geral do Debezium e seus componentes principais;
  • Fundamentos de CDC e sua importância em arquiteturas de dados modernas;
Módulo 2: Configuração do Ambiente e Instalação do Debezium
  • Requisitos de sistema e pré-requisitos para o Debezium;
  • Instalação do Debezium com Kafka;
  • Configuração inicial e teste de conexão;
Módulo 3: Conectores do Debezium para Bancos de Dados
  • Segurança e autenticação;
  • Configuração dos conectores do Debezium para diferentes SGBDs (MySQL, PostgreSQL, MongoDB, SQL Server);
  • Tuning dos conectores para alta performance;
Módulo 4: Operações Avançadas e Transformações
  • Requisitos de sistema e pré-requisitos para o Debezium;
  • Instalação do Debezium com Kafka;
  • Configuração inicial e teste de conexão;
Módulo 5: Monitoramento e Manutenção do Debezium
  • Monitoramento do Debezium e do Kafka Connect;
  • Zookeeper
  • Estratégias de manutenção e atualização;
Módulo 6: Integração do Debezium com Sistemas de Destino
  • Configuração de sinks para armazenamento de eventos (Ex: Elasticsearch, MinIO, bancos de dados);
  • Uso de Debezium para alimentar sistemas de processamento de stream (Ex: Apache Flink, Spark Structured Streaming);
Módulo 7: Melhores Práticas e Casos de Uso
  • Melhores práticas para implementação do Debezium em produção
  • Casos de uso reais e estudos de caso;
  • Dicas para escalar e otimizar o Debezium em ambientes de alta disponibilidade;
Módulo 8: Estratégias de Cargas Full e Incremental
  • Cargas Full
  • Estratégias para executar cargas full sem servidores réplica de produção
  • Ferramentas e técnicas para cargas full com Debezium
  • Integração com sistemas de destino durante cargas full
  • Cargas Incrementais
  • Estratégias para cargas incrementais
  • Configuração de Debezium para suportar cargas incrementais
  • Melhores práticas para sincronização de dados incremental
Módulo 1: Introdução ao Delta Lake
  • Overview do curso
  • Histórico e evolução do Delta Lake;
  • Fatores que impulsionaram o uso do Delta Lake
  • Conceitos fundamentais de Data Lakes, Lake House e Delta Lake;
  • Armazenamento com SGBD, NoSQL e outros formatos de arquivos
  • Diferença do armazenamento com Delta Lake
  • Quiz;
Módulo 2: Fundamentos do Delta Lake
  • ACID Transactions e sua importância;
  • Delta Log Transactions;
  • Time Travel & Vaccum
  • Schema Enforcement/Evolution
  • Técnicas de otimização para I/O
  • Quiz
Módulo 3: Instalação e Configuração do Delta Lake
  • Configurando o ambiente de desenvolvimento;
  • Instalação do Delta Lake em clusters Spark;
  • Configurações iniciais para otimização de desempenho;
Módulo 4: Operações Avançadas
  • Data Skipping
  • Partitioning e compaction strategies;
  • Z-ordering e Cache
  • Merge, Update e Delete Operations;
Módulo 5: Gerenciamento de Dados com Delta Lake
  • Vaccum
  • Politica de retenção
  • Time travel e recuperação de dado
Módulo 6: Governança de Dados
  • Integração com OpenMetadata
  • Gerenciamento de metadados e esquemas;
  • Governança e conformidade de dados com Delta Lake;
  • Auditing e linhagem de dados;
Módulo 7: Integração e ETL com Delta Lake
  • Ingestão de dados em Delta Lake
  • Construindo pipelines de ETL/ELT robustos;
  • Transformações de dados e uso de dbt (Data Build Tool);
  • Materialização de dados em Delta Lake
Módulo 8: Delta Lake em Ambientes de Produção
  • Estratégias de deployment em ambientes de produção;
  • Monitoramento, logging e troubleshooting;
  • Manutenção e atualização de clusters Delta Lake;
Módulo 9: Casos de Uso e Melhores Práticas
  • Estudos de caso: Implementação do Delta Lake em diferentes indústrias;
  • Melhores práticas para escala e desempenho;
  • Patterns e anti-patterns;
Módulo 1: Introdução ao Apache Airflow
  • O que é o Apache Airflow e Para Que Serve;
  • Conceitos Chave: DAGs, Operadores, Tarefas e Workflows;
  • Arquitetura do Airflow: Componentes e Como Eles Interagem;
  • Quiz - Apache Airflow;
Módulo 2: Instalação e Configuração do Airflow
  • Configuração do Ambiente de Desenvolvimento;
  • Instalação do Airflow utilizando Containers Docker;
  • Configuração Inicial e Criação de um Ambiente de Testes;
  • Quiz - Instalação e Configuração do Airflow;
Módulo 3: Criação de DAGs Básicos
  • Conceitos de Python para Airflow;
  • Escrevendo sua primeira DAG;
  • Agendamento de Tarefas e Dependências;
  • Quiz - Criação de DAGs Básicos;
Módulo 4: Operadores e Hooks no Airflow
  • Visão geral dos operadores built-in;
  • Uso de Hooks para Integração com Fontes de Dados Externas;
  • Criação de Operadores e Hooks Personalizados;
  • Uso de operadores Spark e Integração com o Apache Spark no Airflow;
  • Uso de operadores DBT e Integração com a Data Build Tool no Airflow;
  • Quiz - Operadores e Hooks no Airflow;
Módulo 5: Gerenciamento Avançado de Tarefas
  • Paralelismo e Concorrência;
  • Uso de SubDAGs e Task Groups para Organizar Tarefas Complexas;
  • Estratégias de Retry e Tratamento de Erros;
  • Quiz - Gerenciamento Avançado de Tarefas;
Módulo 6: Templating e Macros
  • Utilização de Jinja Templating em DAGs;
  • Criação e Uso de Macros Personalizadas;
  • Variáveis e Conexões para Configuração Dinâmica;
  • Quiz - Templating e Macros;
Módulo 7: Monitoramento e Logging
  • Configuração de Logs e Monitoramento de Execução de DAGs;
  • Uso da Interface do Usuário do Airflow para Monitoramento;
  • Configuração de Alertas e Notificações;
  • Quiz - Monitoramento e Logging;
Módulo 8: Testes e Melhores Práticas
  • Testes Unitários e de Integração em DAG;
  • Melhores Práticas para Desenvolvimento e Manutenção de DAGs;
  • Documentação e Colaboração em Projetos de Airflow;
  • Quiz - Testes e Melhores Práticas;
Módulo 9: Airflow em Produção
  • Estratégias para Deploy de Airflow em Produção;
  • Gerenciamento de Segurança e Acesso;
  • Performance Tuning e Escalabilidade;
  • Quiz - Airflow em Produção;
Aula ao vivo para dúvidas sobre Airflow com alunos
Módulo 1: Boas Práticas em Apache Hive
  • Visão geral do Apache Hive e sua aplicação prática em ecossistemas de Big Data;
  • Gerenciando Tables e Functions;
  • Otimização de Consultas - Joins e Views;
  • Multidominios e Indexing;
  • External Tables;
  • Quiz - Boas Práticas em Apache Hive;
Módulo 2 - Trabalhando com Hive Metastore
  • O que é o Hive Metastore?
  • Estrutura do Metastore;
  • Tipos de Metastore;
  • Configurando o Metastore;
  • Integração com Bancos de Dados Externos;
  • Gerenciamento de Tabelas e Partições;
  • Transações e Controle de Concorrências;
  • Controle de Acesso e Segurança;
  • Gerenciamento de Metadata;
  • Backup e Recuperação do Metastore;
  • Integração com Apache HBase e Apache Spark;
  • Integração com Ferramentas de BI (Business Intelligence);
  • Otimização do Metastore;
  • Melhores Práticas de Tuning;
  • Identificação de Problemas Comuns no Metastore;
  • Ferramentas e Técnicas de Depuração;
  • Implementação de um Ambiente Completo do Hive com Metastore;
  • Desenvolvimento de Consultas e Operações Complexas;
  • Quiz - Trabalhando com Hive Metastore;
Módulo 1: Introdução ao Apache Spark
  • O que é Big Data?;
  • Limitações do Hadoop MapReduce;
  • Visão Geral do Apache Spark e Seu Ecossistema;
  • Comparação com Outras Plataformas de Processamento de Dados;
  • Casos de Uso e Aplicações Comuns do Apache Spark;
  • Quiz - Introdução ao Apache Spark;
Módulo 2: Fundamentos do Apache Spark
  • Arquitetura do Spark: Driver, Executors e Cluster Manager;
  • Cluster Manager Standalone;
  • Cluster Manager com Yarn;
  • Cluster Manager com Mesos;
  • Conceitos de RDD (Resilient Distributed Dataset);
  • DataFrames e Datasets no Spark;
  • Quiz - Fundamentos do Apache Spark;
Módulo 3: Instalação e Configuração
  • Instalação do Spark em Ambientes Locais e em Clusters;
  • Configuração do Spark para Melhor Desempenho;
  • Introdução às Spark Sessions e Spark Context;
  • Spark Standalone vs. Gerenciadores de Cluster (YARN, Mesos, Kubernetes);
  • Configuração do Ambiente e Integração com Jupyter Notebooks;
  • Quiz - Instalação e Configuração;
Módulo 4: Processamento de Dados com Spark
  • Operações Básicas: Map, Filter, Reduce, FlatMap;
  • Uso de Bibliotecas e Módulos Spark;
  • Operações de Transformação;
  • Operações com RDD em Diferentes Linguagens;
  • Persistência e Cache de RDDs;
  • Gravação e Leitura de Dados para Sistemas de Arquivos Distribuídos;
  • Particionamento e Paralelismo;
  • Quiz - Processamento de Dados com Spark;
Módulo 5: Data Processing Avançado
  • Consultas SQL com Spark SQL;
  • Utilização de DataFrames para Processamento de Dados;
  • Comparação entre RDDs e DataFrames;
  • Agregação e Join de DataFrames;
  • Técnicas Avançadas de Manipulação de Dados;
  • Tuning de Queries e Persistência de Dados;
  • Integração de SQL com APIs Spark;
  • Quiz - Data Processing Avançado;
Módulo 6: Spark Streaming e Processamento em Tempo Real
  • Conceitos e Arquitetura do Spark Streaming;
  • Diferença entre Processamento em Batch e em Tempo Real;
  • DStreams (Discretized Streams);
  • Transformações em DStreams;
  • Stateful e Stateless Transformations;
  • Tolerância a Falhas em Spark Streaming;
  • Quiz - Spark Streaming e Processamento em Tempo Real;
Módulo 7: Melhores Práticas e Padrões de Desenvolvimento
  • Tuning, Otimização e Performance;
  • Gerenciamento de Dependências e Pacotes;
  • Debugging e Otimização de Aplicativos Spark;
  • Escrita de Código Eficiente e Limpo em Spark;
  • Quiz - Melhores Práticas e Padrões de Desenvolvimento;
Módulo 8: Spark em Produção
  • Processamento de Vários Jobs Simultâneos;
  • Spark com Data Lakes e Data Warehouses;
  • Algoritmos de Machine Learning no Spark;
  • Deployment de Aplicações Spark em Ambientes de Produção;
  • Quiz - Spark em Produção;
Módulo 8: Spark em Produção
  • Processamento de Vários Jobs Simultâneos;
  • Spark com Data Lakes e Data Warehouses;
  • Algoritmos de Machine Learning no Spark;
  • Deployment de Aplicações Spark em Ambientes de Produção;
  • Quiz - Spark em Produção;
Módulo 1: Introdução ao MinIO
  • Visão geral do MinIO e seus recursos;
  • Comparação com outras soluções de armazenamento de objetos;
  • Casos de uso comuns e cenários de aplicação;
Módulo 2: Instalação do MinIO
  • Requisitos de sistema e pré-requisitos;
  • Instalação do MinIO em diferentes ambientes (Linux, Windows, Docker, Kubernetes);
  • Configuração inicial e verificação de saúde do sistema;
Módulo 3: Configuração Básica
  • Configuração de discos e buckets;
  • Gerenciamento de usuários e políticas de acesso;
  • Segurança e certificados SSL/TLS;
Módulo 4: Operações Avançadas de Configuração
  • Configuração de volumes distribuídos e replicação;
  • Backup e recuperação de desastres;
  • Tuning de desempenho e monitoramento;
Módulo 5: Integração com Ferramentas de Dados
  • Integração do MinIO com Apache Spark;
  • Utilização do MinIO com ferramentas ETL, como Apache Airflow e Debezium;
  • Configuração do MinIO como data lake storage e integração com ferramentas de BI;
Módulo 6: Administração e Monitoramento
  • Monitoramento do MinIO usando Prometheus e Grafana;
  • Logging, auditoria e diagnóstico de problemas;
  • Estratégias de escalabilidade e balanceamento de carga;
Módulo 7: Segurança no MinIO
  • Implementação de políticas de segurança;
  • Encryption at rest e in transit;
  • Gerenciamento de chaves e integração com KMS;

Aprenda com especialistas

Conheça práticas reais do mercado, ensinadas por profissionais com experiência de verdade.

Luiz

Engenheiro de Dados

Luis

Engenheiro de Dados

Edilson

Engenheiro de Dados

Marcio

Engenheiro de Dados

AS MAIORES EMPRESAS DO MUNDO UTILIZAM ESSAS TECNOLOGIAS

AS MAIORES EMPRESAS DO MUNDO UTILIZAM ESSAS TECNOLOGIAS

Inscrições Abertas
até 31 de Dezembro

  • Pagamento à vista ou crédito recorrente
  • Plantão de Dúvidas ao Vivo
  • Mentorias em grupo
  • Plano de estudos
  • Suporte especializado
LP Missão Dev 2025

Inscreva-se Agora!

Ainda tem dúvidas?

Veja as perguntas mais frequentes. Se ainda necessitar de um suporte específico, entre em contato conosco.

As aulas são gravadas?

Sim, todas as aulas são gravadas para que você estude de onde estiver.

 

As aulas são liberadas no momento da confirmação do pagamento.

Garantia de sete dias. O artigo 49 do CDC garante o direito ao arrependimento, com o cancelamento da compra virtual sem justificativas e sem ônus em um prazo de sete dias após a aquisição. 

Suporte de conteúdo preferencialmente pela plataforma e pelos grupos oficiais da comunidade Refatorando. Suporte referente a erros na plataforma, compras, pagamentos e cancelamentos preferencialmente pelo WhatsApp.

Com certeza! Nosso curso foi criado especialmente para aqueles que nunca programaram e hoje procuram um novo caminho profissional, mas além disso é importante falarmos que independente do curso ou material que você tenha, será necessário esforço e muita prática.
Conte com conosco nessa caminhada!

O curso tem por volta de 50 horas gravadas de conteúdos teóricos e práticos

O principal Software utilizado é o VS Code, mas não se preocupe, temos aulas específicas para te ensinar a instalação e o funcionamento.

Com certeza! Nos preocupamos com a acessibilidade dos nossos conteúdos, isso inclui o acesso em todo e qualquer dispositivo móvel para que você consiga acessar e estudar de onde estiver.

Pix, boleto, cartão de crédito ou parcelamento inteligente.

Para obter um progresso significativo, muitos especialistas recomendam dedicar pelo menos 10 a 15 horas por semana ao aprendizado de programação. Isso permitirá que você se envolva com o material, pratique e construa uma base sólida.

Não é assinatura, mas temos o parcelamento inteligente que também não compromete o limite do seu cartão.

Copyright© Belago 2024. Todos os direitos reservados.

Youtube Instagram Linkedin Facebook