Цветочная улица 19
Основные задачи
-
Взаимодействие с владельцами данных по вопросам сбора и качества данных, проведение системного анализа источников
-
Разработка и поддержка пайплайнов загрузки данных на Python с использованием DAG’ов Airflow
-
Разработка dbt-моделей по ключевым бизнес-процессам по схеме «звезда», создание витрин данных
-
Автоматизация процессов, настройка CI/CD пайплайнов, мониторинга и алёртинга
-
Участие в развитии процессов Data Quality, Data Catalog и Data Lineage, а также инфраструктуры платформы данных
-
Взаимодействие с BI разработчиками и аналитиками
Мы ожидаем
-
Опыт работы с PostgreSQL как источником данных для ELT (понимание OLTP-структуры, извлечение без нагрузки на прод, работа с репликацией/CDC)
-
Глубокое знание ClickHouse: архитектура и внутреннее устройство (движки, партиционирование, репликация, шардирование), оптимизация запросов и производительности
-
Опыт разработки на Python: ELT-пайплайны и DAG'и Airflow, проектирование архитектуры сервисов, разработка внутренних фреймворков и инструментов
-
Уверенное знание SQL и опыт оптимизации запросов
-
Понимание принципов построения DWH
-
Опыт работы с dbt
-
Уверенное владение Linux, Docker, Git, CI/CD
+100 к резюме
-
Опыт работы с Kafka
-
Опыт настройки и поддержки CDC
-
Опыт работы с S3
-
Опыт работы с облачной инфраструктурой: виртуальные машины, сети, сетевые диски, бэкапы, IAM; опыт работы с Terraform
-
Опыт работы с Data Lake архитектурой (Trino, Spark, форматы Parquet, Iceberg)
-
Навыки администрирования ClickHouse
