Наша команда разрабатывает высоконагруженную платформу для веб-скрейпинга, которая позволяет получать чистый HTML или структурированный JSON с любого веб-сайта — без забот о прокси, CAPTCHA или анти-ботах.
Платформа поддерживает как облачную модель, так и развёртывание в инфраструктуре клиента (on-prem, Kubernetes).
Мы в поиске опытного инженера, который возьмёт на себя принятие архитектурных решений и возглавит развитие современной инфраструктуры для веб-скрейпинга.
Обязанности:
1) Проектирование архитектуры
- Data-plane: высокопараллельный краулер, управление сессиями, анти-бот-обход, CAPTCHA-солвер
- Control-plane: API, авторизация, биллинг, квотирование, мониторинг
- Инфраструктура: микросервисы, Docker/K8s, CI/CD, observability
2) Лидерство в разработке
- Выстраивание процессов разработки и релизов
- Контроль качества кода и технических решений
3) Исследование и обход анти-ботов
- Фингерпринтинг браузеров и сетевых уровней (JA3, TLS, CDP)
- Обход защит: Cloudflare, Akamai, Qrator, ServicePipe, Variti и др.
4) DevOps / SRE
- Настройка CI/CD, Helm-чартов, масштабирования
- Организация мониторинга (Prometheus, Grafana, Loki) и SLA-процессов
Требования:
-
5+ лет инженерного опыта в высоконагруженных backend-/data-платформах
-
Глубокий опыт в веб-скрейпинге
-
Отличное понимание HTTP, TLS, HTTP/2, прокси, браузерного стека (CDP, WebRTC)
-
Опыт с async Python или Go (в идеале оба), Redis, очередями, брокерами
-
Продвинутый уровень DevOps-инструментов: Kubernetes, Helm, Prometheus, CI/CD
-
Английский язык — уверенный (вся документация и часть команды англоязычные)
-
Умение принимать решения, менторить и брать ответственность за результат
-
Опыт анализа и обхода систем защиты от ботов (как преимущество)
Условия:
-
Участие в разработке ключевого продукта компании с нуля
-
Высокая автономия и влияние на архитектуру и команду
-
Бюджет на конференции, курсы, рабочие инструменты
-
Конкурентная заработная плата
