Data Engineer | Data Analyst | AWS | Azure | Databricks | Python | SQL | Spark
Apaixonado por dados, arquitetura de pipelines e soluções em larga escala.
Sou um profissional apaixonado por Engenharia de Dados, construindo pipelines, arquiteturas em cloud e análises que geram impacto real. Minha ultima experiencia foi na IBM Brasil atuando em um time de engenharia de dados com data warehouse.
💡 Atuo com:
- ETL/ELT pipelines (RAW → Bronze → Silver → Gold)
- AWS (S3, Glue, Athena, IAM, Step Functions)
- Azure (Data Factory, Databricks, Data Lake)
- Spark e PySpark para processamento distribuído
- SQL avançado para modelagem e análise
- Power BI e storytelling analítico
- Data Quality e governança de dados
🏃 Corredor de longas distâncias, disciplina e consistência fazem parte de tudo o que faço.
Status: ✔️ Concluído
Descrição:
Desenvolvimento e manutenção de pipelines corporativos com forte foco em qualidade de dados:
- Duplicate Check
- Referential Integrity
- Schema Validation
- Missing Values
- Filter Type 2
- Automação em pipelines EID, Datamart Parquet, Self-Serve e EPMM
🔧 Techs: PySpark, SQL, YAML, IBM COS, Data Quality Validators
Status: ✔️ Concluído
Projeto completo de Engenharia de Dados, envolvendo a construção de um pipeline end-to-end baseado em arquitetura Lakehouse e boas práticas de Data Warehouse / Analytics Engineering.
- Arquitetura RAW → Bronze → Silver → Gold
- AWS Glue (Jobs em PySpark e Crawlers)
- Amazon S3 como Data Lake
- Amazon Athena para queries analíticas
- AWS Step Functions para orquestração
- IAM com permissões granulares
- Modelagem dimensional (Star Schema)
- Fact tables base e agregadas (KPIs)
- Validação de dados e tratamento de edge cases
📌 Projeto finalizado e consolidado como um dos principais cases do meu portfólio em Engenharia de Dados.
Status: 🔄 Em desenvolvimento
Novo projeto focado em análise de dados e visualização, com ênfase em transformar dados analíticos em insights de negócio e dashboards executivos.
- Python (Pandas, análise exploratória)
- SQL
- Power BI
- Modelagem semântica e métricas de negócio
- Storytelling com dados
📌 Projeto voltado à camada de consumo e tomada de decisão, complementando minha atuação em Engenharia de Dados.
Delta Lake, Z-Order, Vacuum, Data Lakehouse
Window functions, CTEs, queries analíticas
📩 Email: pedrojsilva25@gmail.com
💼 LinkedIn: https://www.linkedin.com/in/pedro-jsfilho
✨ Sempre evoluindo — um pipeline por vez!