Engenheiro de Dados

Descrição

Resumo: Junte-se a uma equipe de alto impacto na Marcura, líder global em tecnologia marítima, como Engenheiro de Dados para aplicar sua especialização em engenharia de dados, construir estruturas de dados escaláveis e implementar o Data Vault 2.0. Pontos de destaque: 1. Contribuir para o sucesso de uma organização inovadora na área da tecnologia marítima 2. Focar na construção de estruturas de dados escaláveis com Data Vault 2.0 3. Cultura de trabalho diversa e solidária **Sobre a Marcura:** A Marcura é uma líder global em tecnologia e operações marítimas, apoiando quase um terço do comércio mundial de commodities por via marítima. Nossas plataformas confiáveis — que abrangem software, inteligência de dados e pagamentos — estão no centro da transformação digital em toda a indústria marítima. Estamos agora à procura de um **Engenheiro de Dados** para integrar nossa equipe de alto impacto e contribuir para o sucesso de uma das organizações mais inovadoras do setor. **Sobre a vaga:** Aplicar sua especialização em engenharia de dados à equipe, incluindo processos ETL utilizando ferramentas e metodologias modernas. Você desempenhará um papel fundamental na construção de estruturas de dados escaláveis, com foco específico na implementação do Data Vault 2\.0, garantindo uma base de dados flexível e auditável. **Funções e responsabilidades:** 1\. Boas práticas em engenharia de dados * Você contribuirá para que a equipe de dados adira às boas práticas em engenharia de dados em todo o ciclo de vida dos pipelines, monitoramento de qualidade de dados, armazenamento, versionamento, segurança, testes, documentação, custos e tratamento de erros. 2\. Transformação de dados no DBT * Garantir que a execução diária do DBT seja bem-sucedida, incluindo cobertura total de testes nos modelos existentes. * Criar novos modelos de dados em colaboração com analistas de dados, aplicando os princípios do Data Vault 2\.0 sempre que adequado para lidar com relações complexas entre dados e rastreamento histórico. * Adicionar novos testes para melhorar a qualidade dos dados e manter a integridade do data warehouse. * Incorporar novas fontes de dados à arquitetura do data warehouse. 3\. Extração de dados * Desenvolver e manter nossos pipelines de dados no Stitch, Fivetran, Segment e Apache Airflow (Google Cloud Composer). * Avaliar quando é apropriado utilizar ferramentas gerenciadas em vez de construir pipelines personalizados no Cloud Composer. * Garantir que os trabalhos de extração de dados sejam executados com sucesso diariamente. * Colaborar com engenheiros da MarTrust para adicionar novos conjuntos de dados aos nossos trabalhos de extração de dados. 4\. Armazenamento de dados no BigQuery * Garantir que os dados no nosso data warehouse permaneçam seguros e que os trabalhos diários no BigQuery sejam executados com sucesso. * Apoiar a evolução do nosso esquema no BigQuery para acomodar estruturas do Data Vault 2\.0 (Hubs, Links e Satellites), assegurando escalabilidade a longo prazo. 5\. Governança e segurança de dados * Qualidade de Dados (DQ): Implementar e monitorar verificações automatizadas de qualidade de dados e observabilidade para garantir a precisão e confiabilidade dos relatórios downstream. * Controle de Acesso: Gerenciar e aplicar políticas granulares de controle de acesso (IAM) dentro do BigQuery e do GCP, assegurando que os dados só sejam acessíveis por usuários autorizados. * Governança: Garantir que todos os processos de dados estejam em conformidade com padrões de segurança e regulamentações de privacidade de dados, mantendo documentação clara de linhagem e metadados. **Requisitos*** **Modelagem de Dados**: Compreensão sólida e experiência prática com as metodologias Data Vault 2\.0. * **Infraestrutura GCP**: Experiência com Google BigQuery e Cloud Composer (Apache Airflow). * **Stack Moderna de Dados**: Proficiência em DBT para transformação de dados e testes de qualidade de dados. * **Governança \& Segurança**: Experiência prática na gestão de controles de acesso a dados, melhores práticas de segurança e frameworks de qualidade de dados (DQ). * **Ferramentas de Pipelines**: Experiência com serviços ELT gerenciados como Fivetran, Stitch ou Segment. * **Trabalho Remoto**: Capacidade de trabalhar de forma eficaz em um ambiente totalmente remoto e distribuído. **Benefícios** **Salário competitivo e bônus**: Reconhecemos sua especialização e contribuições. **Experiência de integração inclusiva**: Nosso programa de onboarding foi desenvolvido para prepará-lo para o sucesso desde o primeiro dia. **Zona de Bem-Estar da Marcura**: Valorizamos seu equilíbrio entre vida profissional e pessoal e seu bem-estar. **Oportunidades globais**: Faça parte de uma empresa ambiciosa e em expansão, com uma abordagem local. **Cultura de trabalho diversa e solidária**: Comprometemo-nos com a inclusão, a diversidade e o senso de pertencimento de todos os membros da equipe.