Tech Lead

Твои задачи:

• Формирование технического видения и разработка дорожной карты (roadmap) развития системы.
• Руководство командой (2–5 человек): распределение задач, код-ревью, наставничество, повышение квалификации.
• Развитие архитектуры и платформы: выявление узких мест, оптимизация, масштабирование, рефакторинг для повышения производительности и надёжности.
• Создание нового функционала:
• Разработка высокопроизводительных алгоритмов на Apache Spark (Java), анализ планов запросов, оптимизация.
• Проектирование моделей данных и реализация в Greenplum, PostgreSQL, ClickHouse для поддержки новых аналитических сценариев.
• Разработка процедурной легковесной логики в Greenplum и PostgreSQL, где Apache Spark не требуется.
• Проектирование модели данных на базе Apache Hive Metastore и HDFS.
• Построение и сопровождение производственных DAG в Apache Airflow с созданием и расширением специализированных операторов для обеспечения надёжности и наблюдаемости.
• Взаимодействие с аналитиками: совместный анализ требований, проектирование функциональности, консультации по архитектурным и техническим вопросам.
• Принятие технических и архитектурных решений, рефакторинг и оптимизация системы с контролем реализации.

​​​​​​​​​​​​​​Мы ждем от тебя:

• Опыт работы на позициях Tech Lead, Team Lead или ведущего инженера с функциями технического лидера и управления командой
• Опыт развития и масштабирования сложных Data-систем
• Глубокий практический опыт работы с ключевыми технологиями стекa:

1. Apache Spark (Java) — разработка и оптимизация алгоритмов обработки больших данных, подбор параметров, анализ логов, классификация ошибок по источникам (данные, алгоритмы, параметры запуска и пр.)
2. Greenplum (или аналогичные MPP-системы) — архитектура, оптимизация распределённых запросов, партиционирование, шардирование, создание различных объектов, понимание типов таблиц
3. Apache Airflow — создание операторов, проектирование DAG сложной топологии с учётом разных логик запуска задач и связей между ними
4. PostgreSQL — глубокое понимание, работа с индексами, оптимизация запросов, секционирование таблиц
5. HDFS — знание принципов работы распределённой файловой системы, процессов чтения, записи, удаления, настройки прав доступа
6. Apache Hive Metastore — назначение, принцип работы, особенности HiveQL для создания и анализа объектов
7. ClickHouse — архитектура, кластеризация, типы движков и их отличия, управление сессиями и фоновыми процессами, шардирование и репликация данных

• Умение проектировать масштабируемые и надёжные ETL/ELT-процессы.
• Глубокие знания SQL и процедурного SQL.
• Понимание принципов работы и опыт построения GitLab CI/CD или аналогичных систем.

​​​​​​​Условия:

• Команду профессионалов, увлечённых своим делом и готовых делиться экспертизой
• Корпоративную технику для комфортной работы
• Поездки на конференции и тренинги за счёт компании, внутренние семинары и митапы
• Сессии профессионального развития 2 раза в год с индивидуальным планом развития и обратной связью
• Корпоративную культуру с ценностями и традициями, в которой каждый чувствует себя частью команды
• Сообщества по интересам: Лига Спорта, Лига Performance, Лига Интеллекта и возможность организовать собственное сообщество с поддержкой компании.