Senior data engineer / Инженер по работе с данными

Мы ищем опытного Дата инженера в нашу Команду по работе с данными, которая отвечает за данные и все, что с ними связано в рекламной платформе X5 Медиа.

Наша команда глубоко участвует на всех этапах решения бизнес-задач:

• проработка бизнес-требований совместно с аналитиками;
• поиск, загрузка, исследование и трансформация необходимых данных;
• построение оптимальных решений как по качеству данных так и по производительности;
• интеграция результатов нашей работы с другими подразделениями (прямые интеграции, микросервисы).

Кроме этого, мы поддерживаем собственную инфраструктуру, которая держит высокую нагрузку и способна обрабатывать большие объемы данных.

Чем предстоит заниматься:

• работать с данными: поиск, загрузка и разложение необходимых данных в нашей платформе;
• прорабатывать архитектурные решения для реализации бизнес-задач;
• решать алгоритмические и оптимизационные задачи, в том числе с большими данными и в высоконагруженных сервисах;
• писать эффективный, читаемый и поддерживаемый код;
• разрабатывать внутренние инструменты и библиотеки.

Технический стек: Python, ClickHouse, Airflow, In-house Cloud, Kafka, MongoDB

Мы ожидаем:

• опыт разработки от 5 лет (из них не менее 3-х лет на Python и с использованием СУБД);
• глубокие знания и опыт работы хотя бы с одной СУБД: ClickHouse, PostgreSQL, MySQL;
• опыт работы с данными (умеете с помощью данных решать бизнес задачи);
• практический опыт самостоятельного решения бизнес-задач или обнаруженных проблем: от постановки задачи до создания оптимального решения;
• понимание основных принципов построения распределённых систем хранения и обработки данных.
• знание алгоритмов и структур данных.