Data Engineer

В связи с расширением команды мы находимся в поиске Data Engineer в Wildberries — один из самых крупных и известных маркетплейсов, который создают более 2-х тысяч IT-специалистов.

О команде:

Мы — платформенная команда в направлении Trust & Safety. Наша главна задача — контроль, хранение и обработка очень большого объема данных (datalake)

Мы отвечаем за обеспечение инфраструктуры и предоставление платформенных решений для всего направления T&S (общие шины данных, контроль соблюдения контрактов, PaaS — Platform as a Service, etc).

Чем предстоит заниматься:

• Создавать и улучшать инфраструктуру для обработки данных
• Участвовать в разработке архитектуры хранения big-data
• Разрабатывать систему для работы с данными: хранилища, инструменты и сервисы
• Настраивать загрузку данных и их движение между инструментами
• Обновлять используемые инструменты и искать способы улучшения и автоматизации существующих процессов

Что для этого нужно:

• Опыт от 5 лет
• Уверенное знание Python (знание Java будет плюсом)
• Понимание принципов работы с Big Data
• Уметь быстро погружаться в новые области (прочитать документацию, суметь установить и настроить новую систему)
• Умение выстроить архитектуру сложных решений обработки данных

Стек технологий:

• Clickhouse/Redis/Postgres
• AirFlow, AirByte, ByteBase, Flink, Spark
• Redash, Superset, Jupyter
• Ceph, S3
• Kafka/RedPanda

Что мы предлагаем:

• Гибкое начало рабочего дня и гибридный формат работы: от офиса в Москве (с бесплатными завтраками, обедами и ужинами) до полной удаленки
• Вариативность оформления: трудовой договор, ИП или ГПХ
• Корпоративные скидки у партнеров, внешние программы по обучению и внутренние митапы
• Ежегодная 40%-ая скидка на покупку ноутбука или мобильного телефона

Наш процесс найма:

• Краткое знакомство с рекрутером
• Техническое интервью с руководителем команды
• Техническое интервью с руководителем направления