Международная продуктовая IT компания, которая занимается разработкой и поддержкой высоконагруженных проектов для крупных компаний, основная часть которых представляет собой развлекательные онлайн-сервисы, в поисках Data-engineer.
Основными задачами будут:
-
Поддержка и развитие хранилищ данных и ETL процессов;
-
ClickHouse — сильный уровень. Проектирование витрин, DDL, семейство MergeTree (в т.ч. ReplacingMergeTree), dictionaries, партиционирование, оптимизация тяжёлых запросов, историческая прогрузка;
-
CDC-процессы. Понимание принципов Change Data Capture и умение строить/поддерживать потоки из MySQL и MongoDB в ClickHouse: перевод источников/словарей на CDC, валидация, переключение потребителей, разбор рассинхронов. Практика с Kafka;
-
ETL + оркестрация. Airflow (разработка и поддержка DAG-ов), выстроенный цикл dev → preprod → prod, Python для пайплайнов.
-
Data Quality. Сверки источник ClickHouse, поиск и устранение расхождений, обработка типов/NULL, алертинг на доезд и качество данных, разбор багов данных до первопричины.
-
Поддержка инфраструктуры и инструментов для разработки и запуска ETL процессов;
-
Мониторинг работоспособности инфраструктуры и сервисов, оптимизация производительности;
-
Анализ технических проблем и участие в их решении.
Продвинутый SQL
-
MongoDB — извлечение, нормализация вложенных структур, сверки с CH.
-
Git/GitLab — работа через merge request, участие в код-ревью.
-
Документирование(Confluence) — поддержка актуальной доки по витринам и пайплайнам.
Какой опыт, знания и качества нужны:
-
Опыт в администрировании и построении ETL процессов от 3 лет;
-
Отличные знания SQL, умение писать сложные, оптимизированные запросы;
-
Опыт работы с MySQL и Clickhouse;
-
Отличные знания и опыт работы с NoSQL базами (MongoDB);
-
Опыт проектирования и внедрения процессов Data Quality;
-
Опыт мониторинга ETL-процессов;
-
Опыт работы с Apache Airflow или аналогами
-
Проектирование, внедрение и развитие CDC-процессов
-
Большой практический опыт работы с Clickhouse
-
Понимание архитектуры Clickhouse, знание движков таблиц
Будет бонусом:
-
Опыт работы с Google Analytics;
-
Опыт работы с PowerBI или аналогами.
