Resumo: Estamos à procura de um Engenheiro de Dados para construir e manter plataformas de dados escaláveis e de alto desempenho, garantindo um fluxo eficiente de dados e alta qualidade dos dados. Pontos Principais: 1. Projetar, construir e manter plataformas de dados escaláveis 2. Desenvolver e implementar fluxos de processamento de dados utilizando Spark e Apache Beam 3. Colaborar com equipas multifuncionais para garantir a exatidão e integridade dos dados **Título do Cargo: Engenheiro de Dados (AWS)** **Localização: Lisboa ou Porto, Portugal** **Regime de Trabalho: Tempo integral e híbrido (2 a 3 dias presenciais por semana)** **Visão Geral / Resumo:** Procuramos um Engenheiro de Dados, responsável por construir e manter Plataformas de Dados. Esta função envolve a implementação de pipelines de dados escaláveis e de alto desempenho, bem como soluções de integração de dados, independentemente das fontes e tecnologias de dados, assegurando um fluxo eficiente de dados e elevada qualidade dos dados, permitindo que cientistas de dados, analistas e outras partes interessadas acedam e analisem os dados de forma eficaz. **Responsabilidades e Tarefas:** * Projetar, construir e manter plataformas de dados escaláveis; * Recolher, processar e analisar grandes conjuntos de dados complexos provenientes de diversas fontes; * Desenvolver e implementar fluxos de processamento de dados utilizando tecnologias de frameworks de processamento de dados, tais como Spark e Apache Beam; * Colaborar com equipas multifuncionais para garantir a exatidão e integridade dos dados; * Garantir a segurança e privacidade dos dados através da implementação adequada de controlos de acesso e encriptação de dados; * Extração de dados de diversas fontes, incluindo bases de dados, sistemas de ficheiros e APIs; * Monitorizar o desempenho do sistema e otimizá-lo para alta disponibilidade e escalabilidade. ### **Requisitos** **Requisitos Obrigatórios:** * Experiência em plataformas e serviços em nuvem para engenharia de dados (AWS); * Domínio de linguagens de programação como Python, Java ou Scala; * Utilização de ferramentas Big Data, tais como Spark, Flink, Kafka, Elastic Search, Hadoop, Hive, Sqoop, Flume, Impala, Kafka Streams e Connect, Druid, etc.; * Conhecimentos de modelação de dados e princípios de conceção de bases de dados; * Familiaridade com ferramentas de integração de dados e ETL (ex.: Apache Kafka, Talend); * Compreensão de sistemas distribuídos e arquiteturas de processamento de dados; * Fortes competências em SQL e experiência com bases de dados relacionais e NoSQL; * Familiaridade com outras plataformas e serviços em nuvem para engenharia de dados (ex.: GCP, Azure Data Factory); * Experiência com ferramentas de controlo de versão, tais como Git. ### **Benefícios** **Importante:** * A nossa empresa não patrocina vistos de trabalho nem autorizações de trabalho. Todos os candidatos devem ter o direito legal de trabalhar no país onde o cargo está localizado. * Apenas serão contactados os candidatos que preencham os requisitos exigidos e correspondam ao perfil solicitado pelos nossos clientes. **\#VisionaryFuture \- Construa o futuro, junte-se ao nosso ecossistema vivo!**