Мы — команда инженеров и датасаентистов в крупнейшем маркетплейсе с миллионами пользователей, хайлоадом и бигдатой. Нас знают все.
В связи с активным ростом проекта, находимся в поиске Data Engineer в одну из команд Поискового движка.
Задачи:
— разработка витрин данных для аналитиков: сбор требований и реализация;
— автоматизация контроля качества и полноты данных;
— интеграция новых источников данных;
— оптимизация запросов и процессов трансформации данных.
Требования:
— уверенное владение Python, SQL, Airflow;
— опыт работы с БД: SQL (PostgreSQL, Greenplum) / NoSQL (Clickhouse);
— опыт в моделировании данных;
— умение организовывать ETL-процессы;
— умение оптимизировать запросы;
— опыт работы с большими объёмами данных;
— знание Docker/k8s и команд консоли unix.
Желательно:
— Опыт с DBT, Kafka.
