Senior Data Engineer

В международную digital-платформу игровой тематики ищем Senior Data Engineer.

Обязанности:

Разработка ядра хранилища на базе распределенного кластера ClickHouse

• Проектирование и поддержка архитектуры кластера ClickHouse совместно с архитектором;
• Оптимизация репликации и балансировки нагрузки для обеспечения высокой производительности и стабильности.

Создание шаблонных (эталонных) пайплайнов данных

• Создание шаблонных пайплайнов для получения сырых данных, расчёта витрин и детального слоя хранилища;
• Проведение код-ревью ETL-процессов в Apache Airflow, Prefect, dbt и Kafka Connect на соответствие архитектуре и code style.

Анализ и улучшение процессов

• Анализ источников данных и их потребителей; предложения по улучшению работы пайплайнов;
• Анализ архитектуры данных на логическом, концептуальном и физическом уровнях.

Командная работа и документация

• Декомпозиция задач для инженеров данных;
• Эффективное взаимодействие в команде;
• Подготовка и актуализация технической документации.

Мониторинг и оптимизация производительности

• Мониторинг платформы данных с помощью Grafana;
• Улучшение производительности системы и устранение узких мест.

Наш технологический стек

• Базы данных: ClickHouse, PostgreSQL, MySQL;
• Обработка данных: Kafka Connect, Apache Airflow, Apache Spark, dbt, Prefect;
• Визуализация: Superset, JupyterHub, Power BI;
• Инфраструктура: Kubernetes, Ansible, GitLab, Teleport, Grafana, Prometheus;
• Управление проектами и документация: Jira, Confluence, Archimate.

Профессиональные навыки:

• Подтверждённый экспертный опыт работы с распределенным кластером ClickHouse;
• Глубокое понимание принципов организации хранилищ данных и архитектуры DWH;
• Опыт проектирования и внедрения аналитических систем и хранилищ данных;
• Великолепное владение SQL и Python;
• Глубокая экспертиза в операционных системах семейства Linux;
• Опыт внедрения процессов DataOps: Git, CI/CD, Kubernetes;
• Приветствуется опыт работы с Apache Spark.​​​​​​;
• Высшее техническое образование;
• Владение английским языком на уровне чтения технической документации.

Условия:

• Оформление с первого рабочего дня, соблюдение ТК;
• Гибкий рабочий график 5/2;
• Развитая корпоративная культура;
• Удаленная работа из любой точки мира, есть офисы в Москве и на Кипре.