Engenheiro de Dados (Bruxelas)

Descrição

Resumo: Procuramos um Engenheiro de Dados experiente com especialização em SQL, Python, Spark e Azure DevOps para otimizar fluxos de dados e gerenciar ambientes Delta Lake. Pontos principais: 1. Oportunidade de trabalhar em uma cultura profissional, dinâmica e colaborativa de equipe 2. Crescimento profissional e conexão com projetos internacionais 3. Suporte a candidatos ao Tech Visa fora da União Europeia CONHECIMENTOS E HABILIDADES As seguintes habilidades e conhecimentos são exigidos para a execução das tarefas listadas acima: * Linguagens principais de engenharia: Domínio avançado de SQL e Python (PySpark); sólido conhecimento prático de Java para processamento de dados no backend ou integrações com SDKs. * Engenharia de Dados genérica: Compreensão sólida dos princípios de Engenharia de Software aplicados a dados (código DRY, modularidade, tratamento de erros e registro de logs). * Estruturas de dados: Competência no manuseio de formatos estruturados, semi\-estruturados (JSON/XML) e não estruturados. * DevOps \& CI/CD: Experiência prática com Git, estratégias de ramificação e automação de implantações por meio do Azure DevOps ou GitHub Actions. * Computação distribuída: Amplo conhecimento dos detalhes internos do Apache Spark, gerenciamento de memória e planos de execução. * Idiomas: Bom domínio escrito e falado do inglês (idioma de trabalho). Conhecimento de francês é um diferencial ESPECIALIZAÇÃO ESPECÍFICA * Gerenciamento do Delta Lake no Fabric: Expertise na otimização e gerenciamento de logs de transações dentro do Lakehouse do Fabric. * Integração multi\-stack: Capacidade comprovada de conectar o Fabric a ferramentas não Microsoft, utilizando drivers JDBC/ODBC genéricos ou APIs REST. * Ajuste de desempenho: Experiência aprofundada na identificação de gargalos em fluxos de dados e na otimização de código para processamento com baixa latência. * Padrões de projeto de dados: Experiência prática na implementação de padrões consolidados, como SCD (Dimensões com Alteração Lenta), ingestão de Change Data Capture e idempotência em um ambiente Delta Lake. CERTIFICAÇÕES \& PADRÕES: * Foco Microsoft: DP\-700 (Microsoft Certified: Fabric Data Engineer Associate) – obrigatório. * Foco genérico/nuvem: DP\-203 (Azure Data Engineer) ou certificações equivalentes da Databricks (Data Engineer Associate) ou da AWS – um diferencial. **O que você pode esperar de nós?** Uma cultura organizacional impressionante. Você será integrado a uma equipe profissional, dinâmica e colaborativa. **Oportunidades 100% remotas** Queremos que você tenha flexibilidade para trabalhar onde se sentir mais confortável e produtivo. **Carreira internacional** * Você poderá esperar crescimento profissional e conexão com o mundo. * Estamos presentes em Portugal, Bélgica, Luxemburgo e Dinamarca. * Além disso, temos projetos em diversos outros países: Países Baixos, Luxemburgo, Cingapura e Estados Unidos da América (e muito mais está por vir…) **Benefícios extras \& mimos** Se desejar trabalhar conosco e estiver fora da União Europeia (boas notícias…), somos uma empresa credenciada para o Tech Visa — ajudaremos você! **Como bônus, oferecemos seguro saúde e seguro de vida.**