Engenheiro de Dados

Descrição

Resumo: A Marcura procura um Engenheiro de Dados para trazer experiência especializada em engenharia de dados, construir estruturas de dados escaláveis e implementar o Data Vault 2.0 dentro de uma equipe de alto impacto. Pontos de destaque: 1. Contribua para uma empresa ambiciosa e em expansão com oportunidades globais 2. Faça parte de uma cultura de trabalho diversa e solidária, comprometida com a inclusão 3. Junte-se a uma equipe de alto impacto em um líder na tecnologia marítima **Sobre a Marcura:** A Marcura é líder global em tecnologia e operações marítimas, apoiando quase um terço do comércio mundial de commodities por via marítima. Nossas plataformas confiáveis — que abrangem software, inteligência de dados e pagamentos — estão no centro da transformação digital em todo o setor marítimo. Estamos agora procurando um **Engenheiro de Dados** para integrar nossa equipe de alto impacto e contribuir para o sucesso de uma das organizações mais inovadoras do setor. **Sobre a função:** Traga experiência especializada em engenharia de dados para a equipe, incluindo o processo ETL utilizando ferramentas e metodologias modernas. Você desempenhará um papel fundamental na construção de estruturas de dados escaláveis, com foco específico na implementação do Data Vault 2.0, garantindo uma base de dados flexível e auditável. **Funções e responsabilidades:** 1. Boas práticas em engenharia de dados * Você contribuirá para a capacidade da equipe de dados de aderir às melhores práticas em engenharia de dados, abrangendo o design de pipelines, monitoramento de qualidade de dados, armazenamento, versionamento, segurança, testes, documentação, custos e tratamento de erros. 2. Transformação de dados no DBT * Garanta que a execução diária do DBT seja bem-sucedida, incluindo cobertura total de testes nos modelos existentes. * Crie novos modelos de dados em colaboração com analistas de dados, aplicando os princípios do Data Vault 2.0 sempre que apropriado para lidar com relações complexas entre dados e rastreamento histórico. * Adicione novos testes para melhorar a qualidade dos dados e manter a integridade do data warehouse. * Incorpore novas fontes de dados à arquitetura do data warehouse. 3. Extração de dados * Desenvolva e mantenha nossos pipelines de dados no Stitch, Fivetran, Segment e Apache Airflow (Google Cloud Composer). * Avalie quando é apropriado utilizar ferramentas gerenciadas versus construir pipelines personalizados no Cloud Composer. * Garanta que os trabalhos de extração de dados sejam executados com sucesso diariamente. * Colabore com engenheiros da MarTrust para adicionar novos conjuntos de dados aos nossos trabalhos de extração de dados. 4. Armazenamento de dados no BigQuery * Garanta que os dados no nosso data warehouse sejam mantidos com segurança e que os trabalhos diários no BigQuery sejam executados com sucesso. * Apoie a evolução do nosso esquema no BigQuery para acomodar estruturas do Data Vault 2.0 (Hubs, Links e Satellites), assegurando escalabilidade a longo prazo. 5. Governança e segurança de dados * Qualidade de Dados (DQ): Implemente e monitore verificações automatizadas de qualidade de dados e observabilidade para garantir a precisão e confiabilidade dos relatórios downstream. * Controle de Acesso: Gerencie e aplique políticas granulares de controle de acesso (IAM) no BigQuery e no GCP, assegurando que os dados só estejam acessíveis a usuários autorizados. * Governança: Garanta que todos os processos de dados cumpram os padrões de segurança e regulamentações de privacidade de dados, mantendo documentação clara de linhagem e metadados. **Requisitos** * **Modelagem de Dados**: Compreensão sólida e experiência prática com as metodologias Data Vault 2.0. * **Infraestrutura GCP**: Experiência com Google BigQuery e Cloud Composer (Apache Airflow). * **Stack Moderna de Dados**: Domínio do DBT para transformação de dados e testes de qualidade de dados. * **Governança & Segurança**: Experiência prática na gestão de controles de acesso a dados, boas práticas de segurança e frameworks de qualidade de dados. * **Ferramentas de Pipelines**: Experiência com serviços gerenciados de ELT, como Fivetran, Stitch ou Segment. * **Trabalho Remoto**: Capacidade de trabalhar eficazmente em um ambiente totalmente remoto e distribuído. **Benefícios** * **Salário competitivo e bônus**: Reconhecemos sua expertise e contribuições. * **Experiência de integração inclusiva**: Nosso programa de onboarding foi concebido para prepará-lo para o sucesso desde o primeiro dia. * **Zona de Bem-Estar Marcura**: Valorizamos seu equilíbrio entre vida profissional e pessoal e seu bem-estar. * **Oportunidades globais**: Faça parte de uma empresa ambiciosa e em expansão, com um toque local. * **Cultura de trabalho diversa e solidária**: Comprometemo-nos com a inclusão, a diversidade e o senso de pertencimento de todos os membros da equipe.