Data Engineer - GCP | SR (Hybrid/SP)
Summary
Senior Data Engineer building and maintaining scalable data pipelines on GCP (BigQuery) using Apache Spark, Airflow, Kafka, and DBT, with responsibility for data modeling, Data Lake/Lakehouse architectures, and migration to BigQuery or Microsoft Fabric.
- Construir e manter pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance;
- Organização e Estrutura das Bases de Dados e Modelagem de Dados;
- Gestão de Tabelas de Equivalência (DE/PARA);
- Conexão Direta com Fontes (APIs);
- Migração Estratégica para BigQuery (BQ) ou Microsoft Fabric;
- Estruturar modelos de IA para geração de insights estratégicos após a centralização dos dados;
- Experiência e conhecimento avançado em GCP (BigQuery);
- Experiência com Apache Spark;
- Experiência com Airflow;
- Conhecimento em Kafka;
- Conhecimento em DBT;
- Experiência com bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra);
- Experiência com plataformas cloud (Databricks, AWS Glue, BigQuery);
- Experiência com implementação de arquiteturas de Data Lake e Data Lakehouse;
- Desejável conhecimento na estruturação de modelos de IA;