Middle/Senior Data Engineer

Сейчас мы ведем активный поиск на позицию Data Engineer в Wildberries - один из самых крупных и известных маркетплейсов, который создают более 2-х тысяч IT-специалистов.

Мы создаем сервисы для себя - это различная автоматизация процессов логистики/складов/ПВЗ, предоставления сервисов для поставщиков, эко-система платежных продуктов, наполнение контура маркетплейса и многое другое.

Проект: разработка нового продукта для складской работы - новая высоконагруженная WMS на базе микросервисов, которая изменит подход к организации работы с товарами.

Чем предстоит заниматься:

• Проектирование структур хранилищ данных (DWH);
• Создание и доработка ETL процессов загрузки, трансформации данных и формирования витрин (ETL);
• Разработка и модернизация процедур контроля качества данных хранилища, анализ и мониторинг консистентности данных (DQ);
• Проектирование и построение витрин данных для BI систем;
• Тестирование реализованного функционала;
• Участие в подготовке технических заданий.

Наши ожидания от кандидата:

• Опыт разработки SQL-запросов для СУБД PostgreSQL (включая CTE и аналитические функции);
• Опыт написания хранимых процедур, триггеров, функций;
• Знание и понимание основных подходов моделирования хранилищ ;
• Опыт написания витрин;
• Понимание основных методов доступа к данным и способов соединения данных;
• Умение оптимизировать запросы;
• Обязательно опыт работы с ClickHouse, Kafka/data streaming, Debezium, Hadoop, Spark;
• Опыт работы с Apache airflow и построение DAGов;
• Опыт работы с языком программирования Python;
• Готовность писать документацию к своим разработкам.

Будет плюсом:

• Умение работать с Greenplum, K8s.

Условия:

• Гибкое начало рабочего дня;
• Сложные и интересные проекты (также участие в проектах с нуля);
• 100% удаленный формат работы (из любой точки мира) или вы можете выбрать гибридный график (по желанию);
• Оформление по ТК РФ в IT компанию с первого дня (также предоставляем другие виды оформления - ИП, ГПХ);
• Современный стек, нет бюрократии и тайм-трекеров;
• И другие «плюшки»: партнерские программы по обучению и фитнесу, корпоративное питание для сотрудников в офисе.