**ENGENHEIRO DE INTEGRAÇÕES DE DADOS** Como Engenheiro de Integração de Dados, você será responsável por projetar, implementar e manter soluções de integração de dados para lidar com dados em streaming em tempo real provenientes de diversas fontes, como protocolos IoT/IIoT, APIs de terceiros ou até arquivos brutos. Seu principal objetivo será processar dados em tempo real e fornecer insights valiosos para nossa organização. Você trabalhará com uma ampla variedade de ferramentas e tecnologias de Big Data. O candidato selecionado terá experiência em gerenciamento de requisitos para inicialização de sistemas embarcados, integração de sistemas, desenvolvimento de programas para direcionar o planejamento de hardware e software e articulação da visão geral. Esta vaga está aberta a candidatos de qualquer localização, pois é totalmente remota. Além disso, você participará do desenvolvimento de uma plataforma de streaming de dados usando Rust. Responsabilidades: * Projeto de Integração de Dados: Colaborar com equipes multifuncionais para entender os requisitos de dados, sistemas de origem e formatos de dados. + Projetar pipelines eficientes de integração de dados para streaming em tempo real a partir de múltiplas fontes. * Linguagens de Programação: Desenvolver componentes e aplicações personalizadas de processamento de dados usando Java e Python para atender requisitos comerciais específicos. * Desenvolvimento ETL: Implementar processos de Extração, Transformação e Carga (ETL) para ingerir e transformar dados provenientes de várias fontes de streaming em um formato adequado para análise e armazenamento. * Processamento de Dados em Tempo Real: Desenvolver e otimizar fluxos de trabalho de processamento de dados para garantir o tratamento oportuno dos dados em streaming, mantendo baixa latência e alta taxa de transferência. * Ferramentas de Big Data: Utilizar e manter diversas ferramentas de Big Data, como Apache NiFi, Spark, Kafka, Druid/TimescaleDB, entre outras, para construir soluções de integração de dados escaláveis e robustas. * Configuração de Corretores de Mensagens: Instalar e configurar corretores de mensagens como RabbitMQ, AMQP e Kafka para permitir a troca eficiente de dados entre diferentes sistemas e aplicações. * Integração de Protocolos IoT/IIoT: Integrar e trabalhar com protocolos IoT/IIoT como MQTT, SNMP, CoAP, TCP e WebSockets para capturar dados de dispositivos de borda e sistemas industriais. * Qualidade e Validação de Dados: Implementar verificações de validação de dados e medidas de qualidade para garantir a precisão e confiabilidade dos dados integrados. * Monitoramento de Desempenho: Monitorar o desempenho e a saúde dos pipelines de integração de dados, realizando ajustes necessários para otimizar o fluxo de dados e a utilização de recursos. * Solução de Problemas e Resolução de Incidentes: Diagnosticar e resolver problemas relacionados à integração de dados, garantindo streaming contínuo e sem interrupções. * Colaboração: Trabalhar em estreita colaboração com cientistas de dados, analistas de dados e outras partes interessadas para entender as necessidades de dados e entregar insights acionáveis. Requisitos Técnicos: * Experiência sólida no projeto e implementação de soluções de integração de dados para dados em streaming em tempo real. * Competência no uso de tecnologias de Big Data como Apache NiFi, Apache Spark, Kafka e Druid. * Familiaridade com corretores de mensagens como RabbitMQ, AMQP e Kafka para troca de dados e arquiteturas orientadas a eventos. * Experiência prática com protocolos IoT/IIoT como MQTT, SNMP, CoAP, TCP e WebSockets. * Competência em linguagens de programação como Java e Python para desenvolvimento de componentes personalizados de processamento de dados. * Compreensão de plataformas de streaming de dados e experiência com Rust são diferenciais. * Conhecimento sobre técnicas de garantia e validação de qualidade de dados para assegurar dados confiáveis. * Capacidade de diagnosticar e resolver problemas relacionados aos processos de integração e streaming de dados. * Habilidades fortes de análise e resolução de problemas, com atenção aos detalhes. * Excelentes habilidades de comunicação e trabalho em equipe para colaborar eficazmente com equipes multifuncionais. * Experiência com plataformas baseadas em nuvem e sistemas distribuídos é um diferencial. * Ter mentalidade de curiosidade incessante para aprender e trabalhar com novas ferramentas e tecnologias