Engenheiro Senior de Dados para IA

Descrição

Resumo: Buscamos um Engenheiro Senior de Dados para IA dedicado para projetar, construir e dimensionar pipelines robustos de ETL/ELT otimizados para cargas de trabalho de IA, transformar dados não estruturados e manter bases de conhecimento de IA. Pontos principais: 1. Projetar, construir e dimensionar pipelines robustos de ETL/ELT otimizados para cargas de trabalho de IA 2. Transformar dados não estruturados para consumo por LLMs 3. Manter e automatizar o ciclo de vida dos dados para modelos Na TechBiz Global, prestamos serviços de recrutamento aos nossos principais clientes do portfólio. Atualmente, buscamos um Engenheiro Senior de Dados para IA dedicado para integrar uma das equipes de nossos clientes. Se você procura uma oportunidade empolgante para crescer em um ambiente inovador, essa pode ser a combinação perfeita para você. #### **Responsabilidades:** * Projetar, construir e dimensionar pipelines robustos de ETL/ELT otimizados para cargas de trabalho de IA, incluindo RAG, ajuste fino e inferência em lote. * Transformar fontes de dados não estruturados, como PDFs, logs e transcrições, em formatos estruturados e vetorizados adequados para consumo por LLMs. * Manter e automatizar o ciclo de vida dos dados para modelos, garantindo que as bases de conhecimento de IA permaneçam sincronizadas com os dados empresariais em constante mudança. * Desenvolver e manter pipelines de recursos em tempo real que suportem aplicações de IA e aprendizado de máquina com baixa latência. * Integrar plataformas de dados com Kafka e outros sistemas orientados a eventos para possibilitar processamento em tempo real e respostas impulsionadas por IA. * Gerenciar e otimizar repositórios de recursos (Feature Stores) para garantir consistência entre os ambientes de treinamento e produção de modelos. * Implementar controles automatizados de qualidade de dados e processos de validação para assegurar a confiabilidade e precisão dos dados utilizados no treinamento e na inferência de IA. * Estabelecer e manter estruturas de rastreabilidade de dados (data lineage) para fornecer rastreabilidade, auditabilidade e conformidade regulatória em todos os fluxos de dados. * Aplicar padrões rigorosos de segurança, privacidade e governança de dados, incluindo proteção de informações pessoais identificáveis (PII) e conformidade com regulamentações setoriais. * Gerenciar o movimento e a sincronização de dados entre sistemas locais (on-premises), plataformas em nuvem e data warehouses. * Otimizar estratégias de armazenamento e recuperação de dados em bancos de dados vetoriais para suportar cargas de trabalho de alta performance em RAG e busca impulsionada por IA. * Colaborar com Cientistas de Dados, Engenheiros de ML, Engenheiros de Software e partes interessadas empresariais para entregar soluções escaláveis de dados para IA. * 10+ anos de experiência em Engenharia de Dados ou Engenharia Backend, com forte foco em plataformas e pipelines de dados. * 2+ anos de experiência prática no suporte a pipelines de dados para IA/ML, incluindo preparação de dados para aprendizado de máquina e aplicações de IA generativa. * Domínio avançado de Python e SQL; experiência com Java ou Scala é um diferencial. * Experiência sólida na construção e manutenção de soluções de streaming de dados em tempo real usando Apache Kafka, Flink ou Spark Streaming. * Experiência prática com ferramentas modernas de orquestração e transformação de dados, como Airflow, dbt e Prefect. * Experiência trabalhando com bancos de dados vetoriais e repositórios de recursos (Feature Stores) para suportar cargas de trabalho de IA e aprendizado de máquina. * Conhecimento sólido de serviços de dados baseados em nuvem em AWS, Azure ou GCP, incluindo serviços como Glue, Kinesis, Data Factory ou Dataflow. * Experiência em implantar e gerenciar cargas de trabalho de dados em ambientes Kubernetes (K8s). * Experiência comprovada no tratamento de dados sensíveis em setores regulados, como Fintech, Saúde ou outros ambientes orientados à conformidade. * Profundo entendimento das melhores práticas em qualidade de dados, governança, segurança e privacidade. * Graduação em Ciência da Computação, Engenharia de Software, Sistemas de Informação ou área técnica relacionada. Experiência prática equivalente também será considerada. * Excelentes habilidades de resolução de problemas e capacidade de colaborar eficazmente com equipes multifuncionais de engenharia, dados e IA.