- Lisboa, Portugal
- On-site
- Full-time · Senior
- 6+ years
Procuramos um Senior Data Platform Engineer com experiência em Databricks, engenharia e arquitetura de dados, capaz de conceber e desenvolver plataformas de dados escaláveis, seguras e governadas, promovendo a reutilização, a qualidade dos dados e boas práticas de engenharia.
Responsibilities
- Desenvolver e manter padrões modulares de ingestão de dados, suportando fontes em batch, através de APIs e orientadas a eventos (por exemplo, JDBC, conectores SaaS/ERP, Kafka e CDC).
- Criar frameworks de ingestão reutilizáveis, preferencialmente orientados por metadados, que permitam a integração rápida e consistente de novas fontes de dados.
- Desenvolver e otimizar pipelines de dados em Databricks (Spark, Delta Live Tables/Lakeflow), ao longo da arquitetura Medallion (Bronze, Silver e Gold).
- Implementar e evoluir mecanismos de governação de dados, incluindo controlos de acesso, linhagem, catalogação, auditoria, classificação de dados e conformidade com os requisitos de privacidade.
- Definir e garantir o cumprimento de padrões de qualidade de dados, contratos de dados, mecanismos de monitorização e alertas nas diferentes camadas de ingestão e transformação.
Requirements
- Nice to have: Delta Live Tables/Lakeflow Declarative Pipelines