Описание проекта:
Стек проекта: Python, Trino, dbt, Airflow, Spark, Hadoop, Hive, Postgres, Greenplum, Kubernetes, Gitlab.RL
Требования к кандидату:
• знаешь SQL на уровне оптимизации сложных запросов;
• знаешь принципы работы классических и MPP-СУБД;
• опыт разработки на Python и/или Java, Scala;
• опыт оркестрации ETL-пайплайнов с помощью Airflow;
• опыт работы с dbt;
• опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
• опыт Apache Spark (Spark DataFrames, Spark SQL);
• знаком с банковской предметной областью;
• знакомство с банковской предметной областью;
• опыт работы с Kafka, Trino;
• опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm;
• знания и опыт CI/CD-практик и инструментов;
Задачи на проекте:
• Мигрировать процессы для отчетности и аналитики и настраивать их регламентную
загрузку;
• работать с общебанковской data-платформой (data lake, dwh);
• разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать
оптимальный формат, структуру хранения и архитектуру интеграционных решений;
• анализировать и оптимизировать производительность пайплайнов, инструментов и
дата-сервисов;
• развивать архитектуру данных и внедрять новые технологические решения и сервисы;
• управлять обновлениями, настройками, устранять выявленные уязвимости,
восстанавливать сервисы после сбоев, обрабатывать инциденты.
Условия:
- ВСЕГДА удаленный формат работы
- Аккредитованная IT компания
- Стабильная заработная плата, которую мы готовы обсуждать по итогам интервью
- Индексация оклада по итогам проекта или полугодия работы
- Премирование по итогам проекта или года работы
- Полноценный трудовой договор или оформление по удобному для вас формату сотрудничества (ИП, СЗ)
- Возможна организация обучения или сертификации, как по плану обучения внутри компании, так и по инициативе сотрудника
- Организация участия в профильных IT мероприятиях (в том числе по инициативе сотрудника)
- Реферальная программа для сотрудников – бонус за рекомендованного трудоустроенного IT-специалиста!
- Комфортное HR сопровождение на всех этапах сотрудничества
