Sync Worker

Descrição

Resumo: Buscamos um Desenvolvedor Python experiente para projetar e construir soluções robustas, seguras e escaláveis de web scraping usando AWS e Playwright para aplicações web complexas e portais protegidos. Pontos principais: 1. Projetar e construir soluções robustas e escaláveis de web scraping 2. Automatizar interações com sites complexos protegidos por autenticação 3. Projetar soluções avançadas de web scraping usando Python, Playwright e AWS **Sobre a vaga:** Procuramos um **Desenvolvedor Python** experiente com especialização em **web scraping**, **interações automatizadas com portais** e **implantação nativa na nuvem** usando **AWS**. O candidato ideal terá experiência prática com **Playwright** para automação de navegadores, gerenciamento de fluxos de **autenticação multifator (MFA)** e implantação de tarefas de web scraping escaláveis por meio de **AWS Lambda** e serviços relacionados. Você auxiliará no projeto e construção de soluções robustas, seguras e escaláveis de web scraping que interajam com aplicações web complexas e portais protegidos. **Responsabilidades:** * Auxiliar no projeto e implementação de soluções avançadas de web scraping usando **Python**, **Playwright** e serviços da **AWS**. * Automatizar interações com sites pesados em JavaScript e protegidos por autenticação, incluindo o tratamento de **MFA**, CAPTCHAs e fluxos de login baseados em sessão/token. * Projetar pipelines de web scraping usando componentes **serverless da AWS**, como **Lambda**, **Step Functions**, **S3**, **CloudWatch** e **Secrets Manager**. * Construir sistemas capazes de escalar para suportar grandes volumes de extração de dados, com tolerância a falhas, tentativas repetidas e registro inteligente. * Integrar e gerenciar fluxos de trabalho complexos entre múltiplos portais, APIs e fontes de dados. * Contribuir para decisões arquitetônicas, ferramentas e boas práticas. **Qualificações obrigatórias:** * 5 anos ou mais de experiência em desenvolvimento Python, com forte foco em automação e extração de dados. * Experiência comprovada em **web scraping** usando ferramentas como Playwright, Selenium, Scrapy, BeautifulSoup e requests. * Experiência aprofundada no tratamento de **fluxos de autenticação em várias etapas**, incluindo **autenticação multifator (MFA)**, resolução de CAPTCHA e gerenciamento de sessões/cookies. * Domínio na implantação e gerenciamento de cargas de trabalho de web scraping na **AWS**, especialmente **Lambda**, **S3**, **IAM**, **CloudWatch** e **Secrets Manager**. * Experiência com **programação assíncrona**, **navegadores sem interface gráfica (headless)** e conteúdo renderizado em **JavaScript**. * Bom entendimento dos protocolos web (HTTP, HTTPS, cookies, cabeçalhos) e capacidade de reverter chamadas de rede e mecanismos de autenticação. * Facilidade no trabalho com **APIs**, **JSON/XML** e transformação de dados. **Qualificações desejáveis:** * Experiência com **pipelines CI/CD**, **Docker** e infraestrutura como código (ex.: CloudFormation, Terraform). * Familiaridade com **ferramentas de orquestração de pipelines de dados**, como Apache Airflow ou AWS Step Functions. * Experiência prévia em web scraping de **portais seguros ou de nível empresarial** (ex.: financeiro, saúde, jurídico). * Formação em **engenharia de dados** ou conhecimento em **fluxos ETL** é um diferencial. * Exposição a **frameworks de testes em Python** e escrita de testes unitários/integrados. **Formação acadêmica:** * Graduação ou mestrado em Ciência da Computação, Engenharia de Software ou área correlata, ou experiência profissional equivalente. Acreditamos que as melhores ideias e inovações surgem quando estamos juntos. Os funcionários nesta função trabalharão presencialmente quatro dias por semana, com flexibilidade para trabalhar remotamente um dia (sexta-feira). ### **Benefícios** A iCapital oferece um pacote abrangente de benefícios que inclui um programa de remuneração total composto por salário competitivo, bônus anual por desempenho e participação acionária para todos os funcionários em regime integral; plano de saúde com cobertura integral (100%) do empregador para saúde e odontologia; e generoso tempo de férias remuneradas (PTO). Para obter mais informações sobre a iCapital Network, visite https://www.icapitalnetwork.com/about\-us Twitter: @icapitalnetwork \| LinkedIn: https://www.linkedin.com/company/icapital\-network\-inc