Engenheiro de Dados

Descrição

Resumo: Junte-se a uma equipe de alto impacto em um líder global em tecnologia marítima para contribuir com sua especialização em engenharia de dados, construindo estruturas de dados escaláveis com foco no Data Vault 2.0. Pontos de destaque: 1. Contribua para o sucesso em uma organização voltada para o futuro 2. Aplique sua especialização em engenharia de dados utilizando ferramentas modernas 3. Faça parte de uma empresa ambiciosa e em expansão **Sobre a Marcura:** A Marcura é uma líder global em tecnologia e operações marítimas, apoiando quase um terço do comércio mundial de commodities por via marítima. Nossas plataformas confiáveis — que abrangem software, inteligência de dados e pagamentos — estão no centro da transformação digital em toda a indústria marítima. Estamos agora buscando um **Engenheiro de Dados** para integrar nossa equipe de alto impacto e contribuir para o sucesso de uma das organizações mais inovadoras do setor. **Sobre a função:** Aplicar sua especialização em engenharia de dados à equipe, incluindo processos ETL com ferramentas e metodologias modernas. Você desempenhará um papel fundamental na construção de estruturas de dados escaláveis, com foco específico na implementação do Data Vault 2\.0, garantindo uma base de dados flexível e auditável. **Funções e responsabilidades:** 1\. Boas práticas em engenharia de dados * Você contribuirá para a capacidade da equipe de dados de aderir às boas práticas em engenharia de dados em todo o ciclo: projeto de pipelines, monitoramento de qualidade de dados, armazenamento, versionamento, segurança, testes, documentação, custos e tratamento de erros. 2\. Transformação de dados no DBT * Garantir que a execução diária do DBT seja bem-sucedida, incluindo cobertura completa de testes nos modelos existentes. * Criar novos modelos de dados em colaboração com analistas de dados, aplicando os princípios do Data Vault 2\.0 sempre que apropriado para lidar com relações complexas entre dados e rastreamento histórico. * Adicionar novos testes para melhorar a qualidade dos dados e manter a integridade do data warehouse. * Incorporar novas fontes de dados à arquitetura do data warehouse. 3\. Extração de dados * Desenvolver e manter nossos pipelines de dados no Stitch, Fivetran, Segment e Apache Airflow (Google Cloud Composer). * Avaliar quando é apropriado utilizar ferramentas gerenciadas versus desenvolver pipelines personalizados no Cloud Composer. * Garantir que os trabalhos de extração de dados sejam executados com sucesso diariamente. * Colaborar com engenheiros da MarTrust para incluir novos conjuntos de dados nos trabalhos de extração de dados. 4\. Armazenamento de dados no BigQuery * Garantir que os dados no nosso data warehouse permaneçam seguros e que os trabalhos diários no BigQuery sejam executados com sucesso. * Apoiar a evolução do nosso esquema no BigQuery para acomodar estruturas do Data Vault 2\.0 (Hubs, Links e Satellites), visando escalabilidade a longo prazo. 5\. Governança e segurança de dados * Qualidade de Dados (DQ): Implementar e monitorar verificações automatizadas de qualidade de dados e observabilidade para assegurar a precisão e confiabilidade dos relatórios downstream. * Controle de Acesso: Gerenciar e aplicar políticas granulares de controle de acesso (IAM) dentro do BigQuery e do GCP, garantindo que os dados só estejam acessíveis a usuários autorizados. * Governança: Assegurar que todos os processos de dados estejam em conformidade com padrões de segurança e regulamentações de privacidade de dados, mantendo documentação clara de linhagem e metadados. **Requisitos*** **Modelagem de Dados**: Compreensão sólida e experiência prática com as metodologias do Data Vault 2\.0. * **Infraestrutura GCP**: Experiência com Google BigQuery e Cloud Composer (Apache Airflow). * **Stack Moderna de Dados**: Domínio do DBT para transformação de dados e testes de qualidade de dados. * **Governança \& Segurança**: Experiência prática na gestão de controles de acesso a dados, boas práticas de segurança e frameworks de DQ. * **Ferramentas de Pipelines**: Experiência com serviços ELT gerenciados como Fivetran, Stitch ou Segment. * **Trabalho Remoto**: Capacidade de trabalhar de forma eficaz em um ambiente totalmente remoto e distribuído. **Benefícios** **Salário Competitivo e Bônus**: Reconhecemos sua especialização e contribuições. **Experiência de Integração Inclusiva**: Nosso programa de integração foi projetado para prepará-lo para o sucesso desde o primeiro dia. **Zona de Bem-Estar Marcura**: Valorizamos seu equilíbrio entre vida profissional e pessoal e seu bem-estar. **Oportunidades Globais**: Faça parte de uma empresa ambiciosa e em expansão, com uma abordagem local. **Cultura de Trabalho Diversa e Solidária**: Comprometemo-nos com a inclusão, a diversidade e o senso de pertencimento para todos os membros da equipe.