Sou engenheiro de dados atuando desde janeiro de 2021 e trabalho com tecnologia desde 2019. Entrei na Ambev Tech como desenvolvedor C# e migrei para a área de dados, onde hoje me concentro em soluções escaláveis usando Azure e PySpark.
Principal: Azure Data Factory (ADF) • Azure Databricks (ADB) • PySpark • Python • SQL
Outros: Git • CI/CD • Docker • DevOps básico • Observabilidade
Trabalho com pipelines de dados, ingestão e transformação em Azure (ADF + Databricks). Foco em performance de jobs Spark, confiabilidade e observabilidade dos processos.
- Patterns de arquitetura para Data Mesh / Lakehouse
- Otimizações de Spark & tuning de clusters
- Infra como código para ambientes de dados (ARM / Bicep / Terraform)
- GitHub: @dramos93
- Experiência prática com pipelines produtivos desde 2021
- Transição de backend (C#) para engenharia de dados, trazendo boas práticas de desenvolvimento e testes
- Familiaridade com integrações entre ADF ↔ Databricks e otimizações de processamento em PySpark