Старший дата инженер

ЗОНА ОТВЕТСТВЕННОСТИ:

• Проектирование базовой архитектуры платформы данных: слои STG → DWH → Data Marts по методологии Data Vault.
• Построение отказоустойчивых конвейеров загрузки данных из внутренних систем (1С ERP, HR, финансы, производственные системы) и внешних источников.
• Настройка в Apache Airflow оркестрации синхронизации платформы с источниками данных.
• Выстраивание операционного взаимодействия с владельцами/поставщиками данных (схемы, интерфейсы, расписания, SLA).
• Обеспечение качества данных: профилирование, валидаторы, контроль полноты и дубликатов.
• Оптимизация производительности СУБД: PostgreSQL - партиционирование, индексы, анализ и тюнинг планов; при наличии ClickHouse — партиционирование, TTL, распределённые запросы.
• Организация доступа и безопасности: RBAC, аудит и анонимизация чувствительных данных.
• Разработка и поддержка REST API для внешних систем‑подписчиков.
• Выстраивание процессов CI/CD, мониторинг и журналирование, покрытие unit и integration тестами.
• Ведение системной документации.

НАШИ ОЖИДАНИЯ:

• Не менее 5-ти лет опыта в роли Data Engineer / ETL Engineer / DWH Engineer.
• Продвинутый SQL: оконные функции, CTE, оптимизация планов, блокировки, хранимые функции, партиционирование.
• Не менее 3-х лет опыта разработки и поддержки хранилищ данных в PostgreSQL.
• Не менее 3-х лет опыта построения ETL/ELT‑конвейеров на Python и SQL.
• Не менее 3-х лет опыта разработки и эксплуатации сложных DAG’ов в Apache Airflow.
• Владение методологией Data Vault 2.0.
• Знание принципов Clean Code и практик code review.
• Опыт настройки и эксплуатации CI/CD для дата‑проектов.
• Практики Data Cleansing и Data Governance.
• Опыт юнит‑ и интеграционного тестирования дата‑пайплайнов.
• Опыт разработки и поддержки REST API;
• Свободное чтение технической документации на английском.

Преимуществом будет:

• Опыт 1+ год в ML: решение задач классификации на основании текста.
• Опыт 1+ год с ClickHouse: моделирование данных и оптимизация запросов.
• Опыт 1+ год с Elasticsearch: проектирования индексов, построение и оптимизация поисковых запросов по релевантности выдачи.
• Опыт интеграции система 1С (С:Бухгалтерия, 1С:УПП, 1С:ERP) 1+ год.

МЫ ПРЕДЛАГАЕМ:

• Комфортное рабочее место в офисе класса "А" в 10 минутах от станций метро ЦСКА.
• Пятница сокращенный рабочий день до 16:45. Также доступен гибридный формат работы.
• Годовой бонус за результативную работу.
• Заботу о здоровье: страхование жизни и здоровья (ДМС).
• Корпоративные и благотворительные мероприятия, участие в отраслевых и мировых конкурсах (AtomSkills, Человек Года), программы признания.
• Профессиональное обучение в корпоративной академии, доступ к корпоративной библиотеке и обучающим платформам.
• Понятный карьерный трек с возможностью профессионального и карьерного роста, карьерные консультации.
• Спортивную жизнь: участие в корпоративных соревнованиях, ежегодная спартакиада, корпоративное приложение для спорта, а также наличие собственных корпоративных хоккейной и волейбольной команд, йога.