Descrição
Resumo:
Esta função envolve apoiar os objetivos estratégicos projetando, implementando e otimizando soluções e pipelines de dados baseados em nuvem, colaborando com partes interessadas e garantindo a integridade dos dados.
Pontos principais:
1. Projetar e implementar soluções e pipelines de dados baseados em nuvem
2. Colaborar com cientistas de dados, analistas e partes interessadas
3. Otimizar processos de transferência de dados e melhorar a eficiência dos pipelines
As Funções Centrais apoiam o conselho administrativo bem como o negócio na consecução dos seus objetivos estratégicos. Estas incluem, por exemplo, Tecnologia da Informação, Recursos Humanos, Logística, Conformidade, Finanças e muitas outras.
* Trabalhar em estreita colaboração com cientistas de dados, analistas de negócios e outras partes interessadas para compreender os seus requisitos de dados e traduzi-los em especificações técnicas e modelos de dados.
* Colaborar com arquitetos de dados para projetar e implementar soluções de dados baseadas em nuvem alinhadas às necessidades do negócio.
* Facilitar a partilha interna de conhecimento para garantir que os membros da equipa estejam informados sobre as mais recentes boas práticas.
* Implementar pipelines de dados escaláveis e robustos provenientes de diversos sistemas de origem.
* Aplicar regras de negócio e transformações utilizando SQL ou Python.
* Proteger modelos de dados aplicando segurança a nível de objeto e de linha.
* Desenvolver e documentar boas práticas, assegurando a sua implementação eficaz em toda a equipa.
* Analisar e resolver questões relacionadas com a integridade dos dados, o design dos dados e os aspetos funcionais e técnicos do Data Warehouse em Nuvem.
* Comunicar eficazmente sobre problemas, soluções e boas práticas com as partes interessadas relevantes.
* Realizar otimizações baseadas em custos e desempenho dos processos de transferência de dados.
* Monitorizar continuamente e melhorar a eficiência e o desempenho dos pipelines de dados.
* Licenciatura ou grau superior em Ciência da Computação, Engenharia de Software ou áreas afins.
* Mínimo de 5 anos de experiência profissional relevante com tecnologias de data warehouse em nuvem, preferencialmente Snowflake e/ou Databricks.
* Experiência prática em modelagem de data warehouse, preferencialmente com Data Vault 2.0 e/ou esquema em estrela.
* Conhecimento aprofundado de bases de dados relacionais (SQL) e de frameworks ETL (Extração, Transformação e Carga).
* Experiência em staging de dados com SQL e Python, visualização de dados com ferramentas como Power BI, integração de dados com Apache NiFi, Theobald Universal Xtract e Azure Data Factory, bem como orquestração de pipelines de dados com dbt e Apache Airflow.
* Bom conhecimento de metodologias ágeis, como SCRUM.
* Atitude orientada para a resolução de problemas e excelentes capacidades de comunicação.
* Excelentes capacidades organizacionais, com aptidão para comunicar metas e objetivos do projeto, estado atual do projeto e entregáveis aos executivos seniores. Participar com a equipa de gestão no desenvolvimento de uma visão e plano estratégico para orientar a organização.
* Domínio fluente do inglês para comunicação com equipas globais e partes interessadas.