Wildberries - это 30 млн пользователей ежедневно и технологические задачи, у которых нет аналогов. Наша компания стабильно развивается и работает в усиленном режиме: использует современный стек и новейшие технологии, разрабатывает множество новых hi-tech продуктов
Мы - платформенная команда в направлении Trust & Safety.
Наша главная задача - контроль, хранение и обработка очень большого объема данных(datalake)
Отвечаем за обеспечение инфраструктуры и предоставление платформенных решений для всего направления T&S (общие шины данных, контроль соблюдения контрактов, PaaS - Platform as a Service, etc), а также мы отвечаем за внедрение best practices на уровне всего департамента.
В связи с активным ростом команды, мы в поиске Data Engineer
Обязанности:
- Создавать и улучшать инфраструктуру для обработки данных
- Участвовать в разработке архитектуры хранения big-data
- Разрабатывать систему для работы с данными: хранилища, инструменты и сервисы
- Настраивать загрузку данных и их движение между инструментами
- Обновлять используемые инструменты и искать способы улучшения и автоматизации существующих процессов
- Выстраивать процессы работы с данными, строить новые витрины, участвовать в формировании структуры хранения данных
Требования:
- Опыт от 3 лет;
- Высокий уровень знаний SQL;
- Умение выстроить архитектуру сложных решений обработки данных;
- Понимание принципов работы с Bigdata, умение внедрять новые инструменты;
Уметь быстро погружаться в новые области (прочитать документацию, суметь установить и настроить новую систему).
Стек технологий:
- Clickhouse/Redis/Postgres;
- AirFlow, AirByte, ByteBase, Flink, Spark;
- Redash, Superset, Jupyter;
- Ceph, S3;
- Kafka/RedPanda.
Условия:
- Возможность гибкого начала рабочего дня, удаленный формат работы
- Оформление по ТК РФ в аккредитованную IT компанию;
- Современный стек, нет бюрократии и тайм-трекеров;
- И другие «плюшки»: Партнерские программы по обучению и фитнесу, корпоративное питание для сотрудников в офисе
