Sync Worker

Descrição

Resumo: Procuramos um Desenvolvedor Python experiente para arquitetar e construir soluções robustas, seguras e escaláveis de web scraping usando AWS e Playwright para aplicações web complexas e portais protegidos. Pontos principais: 1. Arquitetar e construir soluções robustas, seguras e escaláveis de web scraping 2. Automatizar interações com sites que dependem intensamente de JavaScript e que exigem autenticação 3. Contribuir para decisões arquitetônicas, ferramentas e boas práticas **Sobre a vaga:** Estamos procurando um **Desenvolvedor Python** experiente com especialização em **web scraping**, **interações automatizadas com portais** e **implantação nativa em nuvem** usando **AWS**. O candidato ideal terá experiência prática com **Playwright** para automação de navegadores, gerenciamento de fluxos de **autenticação multifator (MFA)** e implantação de tarefas de web scraping escaláveis por meio de **AWS Lambda** e serviços relacionados. Você auxiliará na arquitetura e construção de soluções robustas, seguras e escaláveis de web scraping que interagem com aplicações web complexas e portais protegidos. **Responsabilidades:** * Auxiliar no projeto e implementação de soluções avançadas de web scraping usando **Python**, **Playwright** e serviços da **AWS**. * Automatizar interações com sites que dependem intensamente de JavaScript e que exigem autenticação, incluindo o tratamento de **MFA**, CAPTCHAs e fluxos de login baseados em sessão/token. * Projetar pipelines de web scraping usando componentes **serverless da AWS**, como **Lambda**, **Step Functions**, **S3**, **CloudWatch** e **Secrets Manager**. * Construir sistemas capazes de escalar para suportar grandes volumes de extração de dados, com tolerância a falhas, tentativas repetidas e registro inteligente. * Integrar e gerenciar fluxos de trabalho complexos entre múltiplos portais, APIs e fontes de dados. * Contribuir para decisões arquitetônicas, ferramentas e boas práticas. **Qualificações obrigatórias:** * 5 anos ou mais de experiência em desenvolvimento Python, com forte foco em automação e extração de dados. * Experiência comprovada em **web scraping** usando ferramentas como Playwright, Selenium, Scrapy, BeautifulSoup e requests. * Conhecimento aprofundado no tratamento de **fluxos de autenticação em várias etapas**, incluindo **autenticação multifator (MFA)**, resolução de CAPTCHA e gerenciamento de sessões/cookies. * Domínio na implantação e gerenciamento de cargas de trabalho de web scraping na **AWS**, especialmente **Lambda**, **S3**, **IAM**, **CloudWatch** e **Secrets Manager**. * Experiência com **programação assíncrona**, **navegadores sem interface gráfica (headless)** e conteúdo renderizado com **JavaScript**. * Compreensão sólida de protocolos web (HTTP, HTTPS, cookies, cabeçalhos) e capacidade de reverter chamadas de rede e mecanismos de autenticação. * Facilidade no trabalho com **APIs**, **JSON/XML** e transformação de dados. **Qualificações desejáveis:** * Experiência com **pipelines CI/CD**, **Docker** e infraestrutura como código (ex.: CloudFormation, Terraform). * Familiaridade com **ferramentas de orquestração de pipelines de dados**, como Apache Airflow ou AWS Step Functions. * Experiência prévia em web scraping de **portais seguros ou corporativos** (ex.: financeiros, de saúde, jurídicos). * Formação em **engenharia de dados** ou **fluxos ETL** é um diferencial. * Exposição a **frameworks de testes em Python** e escrita de testes unitários/integrados. **Formação acadêmica:** * Graduação ou mestrado em Ciência da Computação, Engenharia de Software ou área correlata, ou experiência profissional equivalente. Acreditamos que as melhores ideias e inovações surgem quando estamos juntos. Os funcionários nesta posição trabalharão presencialmente quatro dias por semana, com flexibilidade para trabalhar remotamente um dia (sexta-feira). ### **Benefícios** A iCapital oferece um pacote abrangente de benefícios que inclui um programa de remuneração total composto por salário competitivo, bônus anual por desempenho e participação acionária para todos os funcionários em regime integral; assistência médica com cobertura de 100% dos custos de saúde e odontologia pagos pelo empregador; e licença remunerada generosa (PTO). Para obter mais informações sobre a iCapital Network, visite https://www.icapitalnetwork.com/about\-us Twitter: @icapitalnetwork \| LinkedIn: https://www.linkedin.com/company/icapital\-network\-inc