Engenheiro de Dados em Nuvem

Descrição

Resumo: Esta função envolve apoiar os objetivos estratégicos projetando, implementando e otimizando soluções de dados baseadas em nuvem, garantindo a integridade dos dados e promovendo o compartilhamento de conhecimento dentro da equipe. Pontos principais: 1. Projetar e implementar soluções de dados baseadas em nuvem 2. Otimizar processos de transferência de dados e a eficiência dos pipelines 3. Colaborar com partes interessadas e garantir a integridade dos dados As Funções Centrais apoiam o conselho administrativo bem como o negócio na consecução dos seus objetivos estratégicos. Estas incluem, por exemplo, Tecnologia da Informação, Recursos Humanos, Logística, Conformidade, Finanças e muitas outras. * Trabalhar em estreita colaboração com cientistas de dados, analistas de negócios e outras partes interessadas para compreender os seus requisitos de dados e traduzi-los em especificações técnicas e modelos de dados. * Colaborar com arquitetos de dados para projetar e implementar soluções de dados baseadas em nuvem alinhadas às necessidades do negócio. * Facilitar o compartilhamento interno de conhecimento para garantir que os membros da equipe estejam informados sobre as melhores práticas mais recentes. * Implementar pipelines de dados escaláveis e robustos provenientes de diversos sistemas-fonte. * Aplicar regras de negócio e transformações utilizando SQL ou Python. * Proteger modelos de dados aplicando segurança a nível de objeto e de linha. * Desenvolver e documentar melhores práticas, assegurando a sua implementação eficaz em toda a equipe. * Analisar e resolver questões relacionadas à integridade dos dados, ao projeto de dados e aos aspectos funcionais e técnicos do Data Warehouse em Nuvem. * Comunicar eficazmente sobre problemas, soluções e melhores práticas com as partes interessadas relevantes. * Realizar otimizações baseadas em custo e desempenho dos processos de transferência de dados. * Monitorar continuamente e melhorar a eficiência e o desempenho dos pipelines de dados. * Licenciatura ou grau superior em Ciência da Computação, Engenharia de Software ou área similar. * Mínimo de 5 anos de experiência profissional relevante com tecnologias de data warehouse em nuvem, preferencialmente Snowflake e/ou Databricks. * Experiência prática em modelagem de data warehouse, preferencialmente com Data Vault 2.0 e/ou esquema em estrela. * Conhecimento aprofundado de bancos de dados relacionais (SQL) e frameworks ETL (Extração, Transformação e Carga). * Experiência em staging de dados com SQL e Python, visualização de dados com ferramentas como Power BI, integração de dados com Apache NiFi, Theobald Universal Xtract e Azure Data Factory, bem como orquestração de pipelines de dados com dbt e Apache Airflow. * Bom entendimento de metodologias ágeis, como SCRUM. * Atitude orientada para a resolução de problemas e excelentes habilidades de comunicação. * Excelentes habilidades organizacionais, com capacidade de comunicar metas e objetivos do projeto, status do projeto e entregáveis para executivos seniores. Participar com a equipe de gestão no desenvolvimento de uma visão e plano estratégico para orientar a organização. * Domínio fluente do inglês para comunicação com equipes globais e partes interessadas.