Engenheiro Sênior Databricks – Plataforma de IA e Dados

Descrição

Resumo: Procuramos um engenheiro de dados ou de plataforma experiente para desenvolver e implantar aplicações impulsionadas por IA, gerenciar a plataforma Databricks Lakehouse e otimizar pipelines de dados. Pontos de destaque: 1. Apoiar o desenvolvimento e a implantação de aplicações impulsionadas por IA. 2. Projetar, construir e manter a plataforma central Databricks Lakehouse. 3. Uma cultura colaborativa, orientada para a engenharia, que valoriza a automação e a qualidade. **Sobre a Vantiva** **Empurrando os limites** **Vantiva (Euronext Paris: VANTI)** é uma líder global em tecnologias de conectividade. Há mais de 130 anos, entregamos soluções que conectam o que mais importa. Hoje, continuamos a redefinir a conectividade com sistemas inteligentes líderes do setor baseados em banda larga, vídeo e IoT, que elevam a forma como as pessoas vivem, trabalham e se conectam globalmente. A Vantiva combina uma abordagem centrada no cliente com décadas de experiência em desenvolvimento de software, projeto de hardware eletrônico e cadeia de suprimentos flexível, entregando soluções de alta qualidade em escala. Essa competência posicionou-nos como fornecedor confiável para principais provedores de serviços de rede, clientes corporativos e consumidores ao redor do mundo. O nosso forte compromisso com a sustentabilidade e práticas empresariais responsáveis rendeu-nos diversas medalhas de Ouro e Platina da EcoVadis, reconhecendo nosso desempenho ambiental e social. Esses prêmios colocam-nos entre os 2% superiores das organizações de nossa categoria avaliadas globalmente. Com sede em Paris e escritórios importantes na Austrália, Brasil, China, Índia, Coreia do Sul, Reino Unido e Estados Unidos, atendemos uma base diversificada de clientes globais. Para obter mais informações, visite vantiva.com e nos siga no LinkedIn e no X (Twitter). **Principais Responsabilidades** * Habilitação de Aplicações de IA: Apoiar o desenvolvimento e a implantação de aplicações impulsionadas por IA, incluindo fluxos de trabalho LLM/GenAI, pipelines RAG e integração com ferramentas Mosaic AI. * Fundação da Plataforma de Dados: Projetar, construir e manter a plataforma central Databricks Lakehouse, incluindo configuração do workspace, configuração do Unity Catalog, políticas de cluster, segurança e governança. * Engenharia de Dados: Desenvolver e otimizar pipelines de dados em produção, entregando conjuntos de dados limpos e confiáveis para análises e cargas de trabalho de IA. * Arquitetura de Soluções: Avaliar requisitos, produzir arquiteturas de referência e recomendar padrões para ingestão, transformação, armazenamento e consumo de dados alinhados aos casos de uso de IA. * Padrões e Melhores Práticas: Estabelecer padrões de engenharia para qualidade de código, CI/CD (Databricks Asset Bundles, Repos), testes, monitoramento e otimização de custos. * Colaboração: Trabalhar de forma transversal com analistas de dados, equipes de nuvem/infraestrutura e unidades de negócios para traduzir requisitos em soluções técnicas escaláveis. **Qualificações Necessárias** * 5+ anos em funções de engenharia de dados ou engenharia de plataformas. * 3+ anos de experiência prática com Azure Databricks (administração de workspace, Delta Lake, Spark, Unity Catalog). * Domínio sólido de Python e SQL. * Segurança do workspace Databricks: Experiência comprovada na implementação e gestão da segurança no nível do workspace, incluindo segurança de rede (Private Link, injeção de VNet, listas de acesso IP), gerenciamento de identidade e acesso, políticas de cluster, gerenciamento de segredos e RBAC nos níveis de workspace, catálogo e objeto. * Experiência na construção e operação de pipelines de dados em produção, em escala. * Experiência com Mosaic AI (AI Playground, AI Functions, Agent Framework). * Familiaridade com padrões de aplicações GenAI/LLM (RAG, engenharia de prompts, bancos de dados vetoriais) é altamente desejável. * Excelentes habilidades de comunicação, capacidade de produzir diagramas de arquitetura, documentos de projeto e apresentar trade-offs para públicos técnicos e não técnicos. **Desejável** * Certificações Databricks (Data Engineer Associate/Professional, Gen AI Engineer Associate). * Experiência com governança do Unity Catalog em escala empresarial (projeto de metastore, políticas de acesso a dados, rastreamento de lineage, registro de auditoria). * Experiência prática com integração SAP, extração de dados do S/4HANA ou BW/4HANA para uma plataforma Lakehouse. * Experiência liderando ou participando de migrações de dados do SAP BW/4HANA para o Databricks, incluindo mapeamento de InfoProvider, reimplementação da lógica de transformação, validação de dados e planejamento do corte. * Exposição a fluxos de trabalho de IA/ML: infraestrutura para treinamento de modelos, feature stores, MLflow ou ferramentas equivalentes de MLOps — além da capacidade de preparar conjuntos de dados originários do SAP para consumo downstream por ML. **O que você fará parte** * Um portfólio em crescimento de iniciativas de IA, que vão desde análises preditivas até aplicações de IA generativa. * Migração de sistemas legados para a plataforma Databricks Lakehouse, que servirá como fonte única de verdade da organização. * Uma cultura colaborativa, orientada para a engenharia, que valoriza a automação, a qualidade e a melhoria contínua. *Nosso ativo mais importante são nossas pessoas.* *O sucesso da Vantiva depende muito da energia, motivação e talento de nossas pessoas.* *Comprometemo-nos a cultivar uma força de trabalho que abrace e celebre a diversidade, pois acreditamos que nossas diferenças impulsionam nossa criatividade e inovação.* *Atuamos proativamente para apoiar a igualdade e manter um ambiente de trabalho inclusivo, desenvolvendo e aprimorando oportunidades de carreira para todos.* *A Vantiva está comprometida em garantir que todos os seus funcionários recebam uma remuneração justa, suficiente para viver com dignidade.* *Se você precisar de uma acomodação razoável em qualquer etapa do processo de candidatura, informe-nos respondendo à pergunta específica neste formulário de inscrição.*