Engenheiro de Dados – Big Data

Descrição

Resumo: Procuramos um Engenheiro de Dados experiente – Big Data para projetar, desenvolver, manter e otimizar pipelines escaláveis de Data Lake e soluções Big Data em um ambiente internacional e colaborativo. Pontos principais: 1. Trabalhar com ambientes de Data Lake em larga escala e tecnologias Big Data 2. Contribuir para projetos complexos dentro de uma equipe internacional e colaborativa 3. Oportunidade de aprendizado contínuo e crescimento profissional Quem somos? A Quanteam, entidade fundadora da RAINBOW PARTNERS, é uma empresa de consultoria especializada em Serviços Bancários e Financeiros. Com mais de 1200 consultores em 10 países, combinamos conhecimentos em negócios e TI para apoiar instituições líderes em projetos de transformação. Nossas áreas principais: ➡ Finanças Quantitativas ➡ Risco \& Conformidade ➡ Operações \& Finanças ➡ Transformação \& Organização ➡ Sistemas de Informação **Estamos procurando um Engenheiro de Dados – Big Data** **CONTEXTO** Neste cargo, você integrará uma equipe transversal e internacional composta por Engenheiros de Dados, Desenvolvedores de BI, Analistas de Dados, Analistas de Negócios e Desenvolvedores de Software. Com sede no Porto, a equipe trabalha em estreita colaboração com diversos stakeholders e equipes técnicas tanto no Porto quanto em Paris, desenvolvendo soluções orientadas a dados para Tecnologia e Operações dentro de um ambiente de TI de Funções Corporativas. Você contribuirá durante todo o ciclo de vida das iniciativas de dados, desde a avaliação de requisitos e identificação de casos de uso até a preparação de dados, implementação, industrialização, manutenção e otimização de desempenho. Esta é uma excelente oportunidade para um Engenheiro de Dados experiente que deseja trabalhar com ambientes de Data Lake em larga escala, fortalecer sua especialização em tecnologias Big Data e contribuir para projetos complexos em um ambiente internacional e colaborativo. **MISSÃO PRINCIPAL** Projetar, desenvolver, manter e otimizar pipelines escaláveis de Data Lake e soluções Big Data utilizando Python, PySpark, Hadoop e tecnologias relacionadas, garantindo confiabilidade dos dados, desempenho, automação e alinhamento com os requisitos de negócios e técnicos. **PRINCIPAIS RESPONSABILIDADES** * Projetar, desenvolver e manter pipelines de Data Lake utilizando Python e PySpark. * Analisar requisitos de negócios e técnicos e propor soluções arquitetônicas adequadas dentro do ambiente de Data Lake. * Coletar, documentar, examinar e gerenciar requisitos de aplicações em um ambiente Ágil. * Desenvolver e implementar casos de uso de dados, desde cenários básicos até cenários complexos. * Construir soluções escaláveis, eficientes e automatizadas de processamento de dados. * Trabalhar com grandes volumes de dados estruturados e não estruturados. * Desenvolver e otimizar consultas Hive, Spark SQL e SQL. * Aplicar as melhores práticas de Data Lake, incluindo particionamento, bucketing, seleção de formatos de arquivo e gerenciamento de metadados. * Manter e melhorar pipelines e processos de dados existentes. * Investigar e resolver problemas de desempenho, processamento e qualidade de dados. * Analisar planos de execução e identificar oportunidades de melhoria de desempenho. * Prestar suporte técnico a usuários e outras equipes internas. * Contribuir para atividades de gerenciamento de código-fonte, construção, testes e implantação. * Colaborar estreitamente com Engenheiros de Dados, Analistas de Negócios, Desenvolvedores de BI, Desenvolvedores de Software e stakeholders de negócios. * Comunicar claramente descobertas técnicas, insights de dados e progresso do projeto para stakeholders internos e externos. * Produzir e manter documentação técnica e funcional. * Contribuir para iniciativas de melhoria contínua e sugerir novas abordagens para processos existentes. * Compartilhar conhecimentos técnicos e boas práticas entre as equipes do Porto e de Paris. **PERFIL \& COMPETÊNCIAS** * Licenciatura em Ciência da Computação, Sistemas de Informação, Engenharia de Dados, Engenharia de Software ou área afim. * Pelo menos 3 anos de experiência profissional em Engenharia de Dados, Big Data ou função similar. * Experiência sólida no projeto e desenvolvimento de pipelines de dados ponta a ponta. * Experiência trabalhando com ambientes de Data Lake em larga escala. * Bom entendimento dos princípios de modelagem de dados. * Conhecimento sólido de SQL e conceitos de processamento de dados. * Experiência na análise e otimização de consultas envolvendo grandes volumes de dados. * Familiaridade com as melhores práticas de Data Lake, incluindo particionamento, bucketing, formatos Parquet ou ORC, e gerenciamento de metadados. * Experiência investigando e resolvendo problemas de qualidade de dados e desempenho. * Fortes habilidades analíticas e de resolução de problemas. * Capacidade de identificar padrões, tendências, sazonalidade e outros comportamentos relevantes dos dados. * Capacidade de traduzir requisitos de negócios e aplicações em soluções técnicas. * Experiência trabalhando com metodologias Ágeis e ferramentas, incluindo Scrum ou Kanban. * Capacidade de trabalhar de forma independente e tornar-se rapidamente autônomo. * Postura proativa, organizada e capaz de priorizar eficazmente diferentes tarefas. * Capacidade de trabalhar eficazmente em uma equipe internacional e distribuída. * Boas habilidades de comunicação e interpessoais. * Mentalidade inovadora e disposição para sugerir melhorias. * Disposição para aprender, colaborar e compartilhar conhecimento com outros membros da equipe. * Disponibilidade para viajar ao exterior por curtos períodos, quando necessário. **COMPETÊNCIAS TÉCNICAS** * Python * PySpark * Hadoop * HDFS * Hive * Kerberos * Starburst * SQL * Modelagem de Dados * Arquitetura de Data Lake * Tecnologias Big Data * Tecnologias NoSQL * Visual Studio Code ou ambientes de desenvolvimento semelhantes * Git * Jenkins * XL Deploy * XL Release * CI/CD * Conceitos DevOps * Metodologias Ágeis **O QUE OFERECEMOS** * Salário anual bruto alinhado com sua experiência e senioridade. * Contrato permanente (CTI). * Subsídio de refeição. * Seguro de saúde. * Feriado extra: Véspera de Natal ou Véspera de Ano Novo. * Acesso à Quanteam Academy para aprendizado contínuo e certificações. * Programa Elevate para apoiar o desenvolvimento profissional e o crescimento de carreira. * Plano de progressão de carreira. * Acompanhamento contínuo e suporte técnico fornecidos por um Consultor Especialista. Pagamento: 24 500,00€ \- 42 500,00€ por ano Localização do trabalho: Trabalho remoto híbrido em Porto