Engenheiro de Dados em Nuvem

Descrição

Resumo: Esta função envolve apoiar os objetivos estratégicos projetando, implementando e otimizando soluções e pipelines de dados baseados em nuvem, colaborando com partes interessadas e garantindo a integridade dos dados. Pontos principais: 1. Projetar e implementar soluções e pipelines de dados baseados em nuvem 2. Colaborar com cientistas de dados, analistas e partes interessadas 3. Otimizar processos de transferência de dados e melhorar a eficiência dos pipelines As Funções Centrais apoiam o conselho administrativo bem como o negócio na consecução dos seus objetivos estratégicos. Estas incluem, por exemplo, Tecnologia da Informação, Recursos Humanos, Logística, Conformidade, Finanças e muitas outras. * Trabalhar em estreita colaboração com cientistas de dados, analistas de negócios e outras partes interessadas para compreender os seus requisitos de dados e traduzi-los em especificações técnicas e modelos de dados. * Colaborar com arquitetos de dados para projetar e implementar soluções de dados baseadas em nuvem alinhadas às necessidades do negócio. * Facilitar a partilha interna de conhecimento para garantir que os membros da equipa estejam informados sobre as mais recentes boas práticas. * Implementar pipelines de dados escaláveis e robustos provenientes de diversos sistemas de origem. * Aplicar regras de negócio e transformações utilizando SQL ou Python. * Proteger modelos de dados aplicando segurança a nível de objeto e de linha. * Desenvolver e documentar boas práticas, assegurando a sua implementação eficaz em toda a equipa. * Analisar e resolver questões relacionadas com a integridade dos dados, o design dos dados e os aspetos funcionais e técnicos do Data Warehouse em Nuvem. * Comunicar eficazmente sobre problemas, soluções e boas práticas com as partes interessadas relevantes. * Realizar otimizações baseadas em custos e desempenho dos processos de transferência de dados. * Monitorizar continuamente e melhorar a eficiência e o desempenho dos pipelines de dados. * Licenciatura ou grau superior em Ciência da Computação, Engenharia de Software ou áreas afins. * Mínimo de 5 anos de experiência profissional relevante com tecnologias de data warehouse em nuvem, preferencialmente Snowflake e/ou Databricks. * Experiência prática em modelagem de data warehouse, preferencialmente com Data Vault 2.0 e/ou esquema em estrela. * Conhecimento aprofundado de bases de dados relacionais (SQL) e de frameworks ETL (Extração, Transformação e Carga). * Experiência em staging de dados com SQL e Python, visualização de dados com ferramentas como Power BI, integração de dados com Apache NiFi, Theobald Universal Xtract e Azure Data Factory, bem como orquestração de pipelines de dados com dbt e Apache Airflow. * Bom conhecimento de metodologias ágeis, como SCRUM. * Atitude orientada para a resolução de problemas e excelentes capacidades de comunicação. * Excelentes capacidades organizacionais, com aptidão para comunicar metas e objetivos do projeto, estado atual do projeto e entregáveis aos executivos seniores. Participar com a equipa de gestão no desenvolvimento de uma visão e plano estratégico para orientar a organização. * Domínio fluente do inglês para comunicação com equipas globais e partes interessadas.