📄 Tutorial prático de Engenharia de Dados para YouTube. Pipeline ETL completo com Airflow, Python e PostgreSQL que coleta dados meteorológicos de São Paulo, aplica transformações e persiste em banco de dados. Containerizado com Docker para fácil reprodução. @vbluuiza
Courses and projects on Data Camp
Projeto do grupo 3GTeam apresentado no Hackathon de Engenharia de Dados da A3Data no mês de Junho de 2021.
Olá pessoal, esse é um repositório tratando de fim a fim, uma pipeline de dados relacionados a produtos e suas subcategorias, onde simulo que isso seja um pedido do time de negócios, com granularidade diária a ser entregue.
A practical Change Data Capture pipeline that captures PostgreSQL changes with Debezium, streams them through Kafka, and applies them to DuckDB
Pipeline de dados utilizando o dataset da Olist e-commerce
RegEx or Regular Expression is good for your health too
Have the function DifferentCases(str) take the str parameter being passed and return it in upper camel case format where the first letter of each word is capitalized. The string will only contain letters and some combination of delimeter punctuation character separating each word.
Group Project of Database (CSGE602070) course at Fasilkom UI.
Learning Airflow by testing through a course
Crosslend DE Assignment
This project automates a Databricks workflow for closing and blocking user accounts and processing account debits. The main goal is to migrate from a single notebook that handles all to a modular Python project using Terraform for infrastructure management and GitHub for version control.
A scraper service project to collect datasets from several websites or third-party APIs.
To associate your repository with the dataengineer topic, visit your repo's landing page and select "manage topics."