Senior Data Platform Engineer

Nome da função: Senior Data Platform Engineer Localização: Lisboa Regime de trabalho: Lisboa Vem fazer parte de um ecossistema dinâmico onde o futuro dos negócios é criado e vivido todos os dias. Faz parte desta transformação! Na LUZA Group, a paixão, a perseverança e a vontade de superar limites definem o nosso caminho para o sucesso. Fundada em 2006, somos uma multinacional portuguesa com mais de 1.200 profissionais talentosos e um volume de negócios que supera os 30M€. Com presença em mercados estratégicos como Portugal, Espanha, Marrocos, Brasil, México, Estados Unidos e China, oferecemos soluções inovadoras em engenharia, TI, design, consultoria, Indústria 4.0, formação e recrutamento. Tudo o que fazemos é movido pelo talento das nossas pessoas. Este é um momento de crescimento e oportunidade. O futuro pertence a mentes visionárias. Vais juntar-te a nós? Resumo / Visão geral: Procuramos um Senior Data Platform Engineer com experiência em Databricks, engenharia e arquitetura de dados, capaz de conceber e desenvolver plataformas de dados escaláveis, seguras e governadas, promovendo a reutilização, a qualidade dos dados e boas práticas de engenharia. Responsabilidades e Tarefas da Função Desenvolver e manter padrões modulares de ingestão de dados, suportando fontes em batch, através de APIs e orientadas a eventos (por exemplo, JDBC, conectores SaaS/ERP, Kafka e CDC). Criar frameworks de ingestão reutilizáveis, preferencialmente orientados por metadados, que permitam a integração rápida e consistente de novas fontes de dados. Desenvolver e otimizar pipelines de dados em Databricks (Spark, Delta Live Tables/Lakeflow), ao longo da arquitetura Medallion (Bronze, Silver e Gold). Implementar e evoluir mecanismos de governação de dados, incluindo controlos de acesso, linhagem, catalogação, auditoria, classificação de dados e conformidade com os requisitos de privacidade. Definir e garantir o cumprimento de padrões de qualidade de dados, contratos de dados, mecanismos de monitorização e alertas nas diferentes camadas de ingestão e transformação. Implementar soluções de proteção de dados e privacidade, incluindo mascaramento, tokenização, pseudonimização e outras técnicas adequadas de anonimização, de forma a cumprir os requisitos regulamentares, nomeadamente o RGPD. Desenvolver, gerir e evoluir produtos de dados alinhados com um modelo de dados canónico, garantindo a definição clara de responsabilidades, SLAs e documentação. Colaborar com as equipas de domínio na integração dos dados de origem no modelo canónico, preservando as especificidades de cada domínio. Promover uma abordagem de Data as a Product, assegurando a facilidade de descoberta dos dados, o acesso em regime de self-service, o controlo de versões e a definição de contratos de dados orientados para os consumidores. Desenvolver e manter camadas de disponibilização e consumo de dados, incluindo conjuntos de dados para BI e análise, APIs (REST/GraphQL) e extensões orientadas a casos de utilização específicos, como outputs de streaming ou representações em grafos de conhecimento (Knowledge Graphs). Definir e promover padrões técnicos e a evolução da plataforma nas áreas de CI/CD, Infraestrutura como Código (Infrastructure as Code), testes, observabilidade e otimização de custos. Acompanhar e orientar outros engenheiros, colaborando com as equipas de governação, segurança, arquitetura e com os diferentes interlocutores do negócio. Requisitos Obrigatórios Cerca de 6 ou mais anos de experiência em Engenharia de Dados, dos quais pelo menos 2 anos na conceção e operação de plataformas Lakehouse baseadas em Databricks, em ambientes de produção e à escala empresarial. Experiência prática sólida com Apache Spark e Delta Lake. A experiência com Delta Live Tables/Lakeflow Declarative Pipelines será uma mais-valia. Experiência prática com Unity Catalog (ou ferramentas equivalentes) na gestão de controlos de acesso, linhagem e catalogação de dados. Experiência comprovada na implementação de técnicas de anonimização e pseudonimização de dados em ambientes sujeitos a regulamentação. Bons conhecimentos de modelação de dados canónica e conformada, nomeadamente Data Vault, modelação dimensional e aplicação dos princípios de Domain-Driven Design (DDD) aos dados. Experiência na disponibilização de dados através de APIs (REST/GraphQL), incluindo desenho de esquemas, contratos de dados e gestão de versões para consumidores internos e externos. Bons conhecimentos de Python e/ou Scala, SQL e Infraestrutura como Código (Infrastructure as Code), preferencialmente Terraform. Sólidos conhecimentos de frameworks de governação de dados, regulamentação de privacidade (RGPD/GDPR e CCPA) e práticas de segurança de dados. Experiência com plataformas cloud (Azure, AWS ou GCP) e respetivos serviços nativos de dados e processamento de eventos. #VisionaryFuture - Build the future, join our living ecosystem! 🚀