Engenheiro Senior de Dados para IA

Descrição

Resumo: Buscamos um Engenheiro Senior de Dados para IA capaz de projetar, construir e dimensionar pipelines ETL/ELT robustos para cargas de trabalho de IA e gerenciar o ciclo de vida dos dados para modelos em um ambiente inovador. Pontos principais: 1. Projetar, construir e dimensionar pipelines ETL/ELT robustos otimizados para cargas de trabalho de IA 2. Manter e automatizar o ciclo de vida dos dados para modelos em bases de conhecimento de IA 3. Colaborar com Cientistas de Dados, Engenheiros de ML e partes interessadas empresariais Na TechBiz Global, oferecemos serviços de recrutamento para nossos principais clientes do portfólio. Atualmente buscamos um dedicado **Engenheiro Senior de Dados para IA** para integrar uma das equipes de nossos **clientes**. Se você procura uma oportunidade empolgante para crescer em um ambiente inovador, essa pode ser a combinação perfeita para você. #### **Responsabilidades:** * Projetar, construir e dimensionar pipelines ETL/ELT robustos otimizados para cargas de trabalho de IA, incluindo RAG, ajuste fino (fine-tuning) e inferência em lote. * Transformar fontes de dados não estruturados, como PDFs, logs e transcrições, em formatos estruturados e vetorizados adequados ao consumo por LLMs. * Manter e automatizar o ciclo de vida dos dados para modelos, garantindo que as bases de conhecimento de IA permaneçam sincronizadas com os dados empresariais em constante mudança. * Desenvolver e manter pipelines de recursos em tempo real que suportem aplicações de IA e aprendizado de máquina com baixa latência. * Integrar plataformas de dados com Kafka e outros sistemas orientados a eventos para possibilitar processamento em tempo real e respostas impulsionadas por IA. * Gerenciar e otimizar repositórios de recursos (Feature Stores) para garantir consistência entre os ambientes de treinamento e produção de modelos. * Implementar controles automatizados de qualidade de dados e processos de validação para assegurar a confiabilidade e precisão dos dados utilizados no treinamento e na inferência de IA. * Estabelecer e manter estruturas de rastreabilidade de dados (data lineage) para fornecer rastreabilidade, auditabilidade e conformidade regulatória em todos os fluxos de dados. * Aplicar padrões de segurança, privacidade e governança de dados, incluindo proteção de informações pessoais identificáveis (PII) e conformidade com regulamentações setoriais. * Gerenciar o movimento e a sincronização de dados entre sistemas locais (on-premises), plataformas em nuvem e data warehouses. * Otimizar estratégias de armazenamento e recuperação de dados em bancos de dados vetoriais para suportar cargas de trabalho de RAG e busca por IA de alto desempenho. * Colaborar com Cientistas de Dados, Engenheiros de ML, Engenheiros de Software e partes interessadas empresariais para entregar soluções escaláveis de dados para IA. * 10+ anos de experiência em Engenharia de Dados ou Engenharia de Backend, com forte foco em plataformas e pipelines de dados. * 2+ anos de experiência prática no suporte a pipelines de dados para IA/ML, incluindo preparação de dados para aplicações de aprendizado de máquina e IA generativa. * Domínio avançado de Python e SQL; experiência com Java ou Scala é um diferencial. * Experiência sólida na construção e manutenção de soluções de streaming de dados em tempo real usando Apache Kafka, Flink ou Spark Streaming. * Experiência prática com ferramentas modernas de orquestração e transformação de dados, tais como Airflow, dbt e Prefect. * Experiência com bancos de dados vetoriais e repositórios de recursos (Feature Stores) para suportar cargas de trabalho de IA e aprendizado de máquina. * Conhecimento sólido de serviços de dados baseados em nuvem da AWS, Azure ou GCP, incluindo serviços como Glue, Kinesis, Data Factory ou Dataflow. * Experiência na implantação e gerenciamento de cargas de trabalho de dados em ambientes Kubernetes (K8s). * Experiência comprovada no tratamento de dados sensíveis em setores regulados, como Fintech, Saúde ou outros ambientes orientados à conformidade. * Forte compreensão das melhores práticas em qualidade de dados, governança, segurança e privacidade. * Graduação em Ciência da Computação, Engenharia de Software, Sistemas de Informação ou área técnica correlata. Experiência prática equivalente também será considerada. * Excelentes habilidades de resolução de problemas e capacidade de colaborar eficazmente com equipes multifuncionais de engenharia, dados e IA.