Setor Nearshore | Engenheiro de Dados Databricks

Descrição

Resumo: Junte-se à Devoteam como Engenheiro de Dados Databricks para projetar, construir e manter soluções de dados de ponta na plataforma Databricks, colaborando com diversos clientes e equipes internas. Pontos principais: 1. Projetar, desenvolver e implantar pipelines de dados robustos e escaláveis usando Databricks 2. Utilizar todas as funcionalidades da plataforma Databricks para fluxos de trabalho de dados complexos 3. Integrar a Databricks perfeitamente com serviços em nuvem para armazenamento e computação - Na Devoteam, acreditamos que a tecnologia, aliada a fortes valores humanos, pode impulsionar ativamente mudanças positivas. Descubra como a iniciativa Tech for People abre caminho para o futuro, gerando um impacto positivo nas pessoas e no mundo ao nosso redor. Somos um dos principais players globais em Transformação Digital para organizações líderes na região EMEA, com uma receita de €1 bilhão. Acreditamos em transformar a tecnologia para criar valor para nossos clientes, parceiros e funcionários em um mundo onde a tecnologia é desenvolvida para as pessoas. Temos orgulho da cultura que construímos juntos. Temos orgulho de nossas pessoas a serviço da tecnologia. Temos orgulho do nosso ambiente diversificado. Porque somos \#TechforPeople. Junte-se à nossa equipe multidisciplinar de especialistas em nuvem, designers, consultores de negócios, especialistas em segurança, engenheiros, desenvolvedores e outros talentos extraordinários, espalhados por mais de 20 países da região EMEA. Torne-se um de nossos \+10\.000 líderes em tecnologia e negócios nas áreas de nuvem, dados e cibersegurança. Vamos unir criatividade e tecnologia para construir juntos soluções inovadoras que realmente promovam mudanças positivas. Estamos buscando um talentoso e apaixonado **Engenheiro de Dados Databricks** para integrar nossa crescente equipe de Dados \& IA, como Parceira Databricks, na nossa **Equipe Nearshore, na Devoteam Portugal.** Neste cargo, você desempenhará um papel fundamental no projeto, construção e manutenção de soluções de dados de ponta na plataforma Databricks. Você terá a oportunidade de trabalhar com uma variedade de clientes de diferentes setores, colaborando tanto com equipes internas quanto com partes interessadas dos clientes para entregar pipelines de dados de alta qualidade e habilitar a tomada de decisões orientada por dados: * **Engenharia de Pipelines de Dados:** Projetar, desenvolver e implantar pipelines de dados robustos e escaláveis usando Databricks, incorporando extração de dados de diversas fontes (bancos de dados, APIs, plataformas de streaming), transformação e limpeza usando Spark, e carregamento em sistemas-alvo (data lakes, data warehouses, etc.). * **Especialização no Ecossistema Databricks:** Utilizar todas as funcionalidades da plataforma Databricks, incluindo Databricks SQL, Delta Lake, Databricks Runtime e Databricks Workflows, para orquestrar fluxos de trabalho de dados complexos e garantir qualidade e confiabilidade dos pipelines. * **Integração com a Nuvem:** Integrar a Databricks perfeitamente com serviços em nuvem (Azure, AWS ou GCP) para armazenamento, computação e segurança, aproveitando serviços como Azure Data Lake Storage, AWS S3, Google Cloud Storage, entre outros. * **Arquitetura e Modelagem de Dados:** Contribuir para o projeto e implementação de modelos e arquiteturas de dados robustos para data lakes e data warehouses, garantindo consistência, integridade e acessibilidade dos dados para diversos casos de uso. * **Garantia de Qualidade de Dados:** Implementar verificações rigorosas de qualidade de dados e procedimentos de validação em todo o pipeline, mantendo alta precisão e confiabilidade. Cumprir políticas de governança de dados e boas práticas. * Possuir graduação em Ciência da Computação, Engenharia (ou área correlata) ou mestrado especializado em Machine Learning ou Inteligência Artificial. * Ter pelo menos 3\+ anos de experiência como Engenheiro de Dados, com comprovada expertise em Databricks. * Experiência prática em pelo menos uma das principais plataformas em nuvem (Azure, AWS ou GCP), com bom entendimento dos serviços e infraestrutura de dados em nuvem. * Fortes habilidades de programação em Python ou Scala, com experiência em bibliotecas de manipulação de dados (ex.: PySpark, Spark SQL). * Sólida compreensão dos princípios de data warehousing, processos ETL, técnicas de modelagem de dados e sistemas de bancos de dados. * Habilidades avançadas em SQL para consulta, transformação e análise de dados. * Excelentes habilidades de comunicação e relacionamento interpessoal, com capacidade de colaborar eficazmente com partes interessadas técnicas e não técnicas. * Fortes capacidades analíticas e de resolução de problemas, com abordagem proativa para identificar e resolver desafios relacionados a dados. * Fluência em inglês. - O Grupo Devoteam trabalha pela igualdade de oportunidades, promovendo seus colaboradores com base no mérito e combatendo ativamente todas as formas de discriminação. Estamos convencidos de que a diversidade contribui para a criatividade, dinamismo e excelência da nossa organização. Todas as nossas vagas estão abertas a pessoas com deficiência.