Инженер данных (дата инженер)

Обязанности:

​​​​​​​

• Поддержка интеграций и витрин на базе хранилища данных Clickhouse, Greenplum

• Построение ETL-процессов

• Создание и поддержка витрин в Clickhouse, Greenplum

• Работа с разными типами источников (MS SQL Server, Oracle, PostgreSQL, MongoDB, API, Kafka)

• Разработка схемы подключения новых источников в DWH по стандартному процессу

• Создание проверок качества данных

• Документирование разработок

• Принимать участие в разработке и реализации решений: написание / оптимизация / профилирование SQL/NoSQL запросов

Требования:

• Опыт работы 2+ лет администрирования/разработки на ClickHouse, 2+ лет на Greenplum/Hadoop, реальное использование Trino/Presto в production

• Опыт работы с мониторингом Prometheus, ELK, Grafana

• Знание форматов хранения данных и табличных форматов (AVRO, Parquet, Iceberg)

• Знания концепций работы с git

• Знания принципов работы БД, построения ХД
  опыт разработки ETL процессов (желательно Flink, Spark, опционально Pentaho, Informatica, SSIS, NiFi)

• Опыт работы с высоконагруженными распределенными системами хранения и обработки данных

• Знание SQL (временные таблицы, оконные функции, cte и тд), опыт оптимизации запросов

• Знания языков программирования (желательно Python, опционально Scala и другие)

• Опыт работы с очередями (желательно Kafka, опционально RabbitMQ)

• Опыт работы с оркестраторами (желательно Airflow, опционально Dagster, Prefect, Mage, Luigi)

• Желательно опыт работы с облачными ресурсами и использование Terraform для управления конфигурациями

Условия:

• Работа в компании с развитой инженерной культурой

• Гибкая система премирования

• Расширенный социальный пакет: ДМС со стоматологией с первого месяца работы, психолог и страхование жизни, компенсация питания и оплата мобильной связи

• Возможности профессионального роста, программы развития для сотрудников

• Корпоративное обучение и доступ к базе знаний

• Внутренние профессиональные сообщества и мероприятия

• Автономность работы, возможность менять правила, ошибаться и создавать новое

• Формат работы - гибрид\удаленно

• Современный офис в 2 минутах ходьбы от МЦК ЗИЛ

С каждым годом на выбор сотрудника становится доступно больше дополнительных опций. Например, частичная компенсация путешествий, затрат на обучение, спортивных занятий.