Setor Nearshore | Engenheiro de Dados Databricks

Descrição

Resumo: Junte-se à Devoteam como Engenheiro de Dados Databricks para projetar, construir e manter soluções de dados de ponta na plataforma Databricks para diversos clientes. Pontos principais: 1. Projetar, desenvolver e implantar pipelines de dados robustos e escaláveis usando Databricks 2. Utilizar todas as funcionalidades da plataforma Databricks para fluxos de trabalho de dados complexos 3. Integrar o Databricks perfeitamente com diversos serviços em nuvem - Na Devoteam, acreditamos que a tecnologia, combinada com fortes valores humanos, pode impulsionar ativamente mudanças positivas. Descubra como a Tech for People abre caminho para o futuro, gerando um impacto positivo nas pessoas e no mundo ao nosso redor. Somos um dos principais players globais em Transformação Digital para organizações líderes em toda a região EMEA, com uma receita de €1 bilhão. Acreditamos em transformar a tecnologia para criar valor para nossos clientes, parceiros e colaboradores em um mundo onde a tecnologia é desenvolvida para as pessoas. Temos orgulho da cultura que construímos juntos. Temos orgulho de nossas pessoas a serviço da tecnologia. Temos orgulho do nosso ambiente diversificado. Porque somos \#TechforPeople. Junte-se à nossa equipe multidisciplinar de especialistas em nuvem, designers, consultores de negócios, especialistas em segurança, engenheiros, desenvolvedores e outros talentos extraordinários, espalhados por mais de 20 países da região EMEA. Torne-se um de nossos \+10\.000 líderes em tecnologia e negócios em nuvem, dados e cibersegurança. Vamos unir criatividade e tecnologia para construir soluções inovadoras que promovam ativamente mudanças positivas. Estamos procurando um **Engenheiro de Dados Databricks** talentoso e apaixonado para integrar nossa equipe em expansão de Dados e IA, como Parceiro Databricks em nossa **Equipe Nearshore, na Devoteam Portugal.** Neste cargo, você desempenhará um papel fundamental no projeto, construção e manutenção de soluções de dados de ponta na plataforma Databricks. Você terá a oportunidade de trabalhar com uma variedade de clientes de diferentes setores, colaborando tanto com equipes internas quanto com partes interessadas dos clientes para entregar pipelines de dados de alta qualidade e habilitar a tomada de decisões orientada por dados: * **Engenharia de Pipelines de Dados:** Projetar, desenvolver e implantar pipelines de dados robustos e escaláveis usando Databricks, incorporando extração de dados de diversas fontes (bancos de dados, APIs, plataformas de streaming), transformação e limpeza usando Spark e carregamento em sistemas-alvo (data lakes, data warehouses, etc.). * **Especialização no Ecossistema Databricks:** Utilizar todas as funcionalidades da plataforma Databricks, incluindo Databricks SQL, Delta Lake, Databricks Runtime e Databricks Workflows, para orquestrar fluxos de trabalho de dados complexos e garantir qualidade dos dados e confiabilidade dos pipelines. * **Integração em Nuvem:** Integrar o Databricks perfeitamente com serviços em nuvem (Azure, AWS ou GCP) para armazenamento, computação e segurança, aproveitando serviços como Azure Data Lake Storage, AWS S3, Google Cloud Storage, entre outros. * **Arquitetura e Modelagem de Dados:** Contribuir para o projeto e implementação de modelos e arquiteturas de dados robustos para data lakes e data warehouses, garantindo consistência, integridade e acessibilidade dos dados para diversos casos de uso. * **Garantia de Qualidade de Dados:** Implementar verificações rigorosas de qualidade de dados e procedimentos de validação em todo o pipeline de dados para manter alta precisão e confiabilidade. Cumprir políticas de governança de dados e boas práticas. * Possuir graduação em Ciência da Computação, Engenharia (de Negócios) ou mestrado especializado em Aprendizado de Máquina ou Inteligência Artificial. * Ter pelo menos 3\+ anos de experiência como Engenheiro de Dados com comprovada especialização em Databricks. * Experiência prática em pelo menos uma das principais plataformas em nuvem (Azure, AWS ou GCP), com bom entendimento dos serviços e infraestrutura de dados em nuvem. * Fortes habilidades de programação em Python ou Scala, com experiência em bibliotecas de manipulação de dados (por exemplo, PySpark, Spark SQL). * Conhecimento sólido dos princípios de data warehousing, processos ETL, técnicas de modelagem de dados e sistemas de bancos de dados. * Habilidades avançadas em SQL para consulta, transformação e análise de dados. * Excelentes habilidades de comunicação e interpessoais, com capacidade de colaborar eficazmente com partes interessadas técnicas e não técnicas. * Fortes capacidades analíticas e de resolução de problemas, com abordagem proativa para identificar e resolver desafios relacionados a dados. * Fluência em inglês. - O Grupo Devoteam atua pela igualdade de oportunidades, promovendo seus colaboradores com base no mérito e combatendo ativamente todas as formas de discriminação. Estamos convencidos de que a diversidade contribui para a criatividade, dinamismo e excelência da nossa organização. Todas as nossas vagas estão abertas a pessoas com deficiência.