Чем предстоит заниматься:
-
Создание и поддержка ETL-пайплайнов и интеграционных решений на платформе;
-
Проектирование, разработка и оптимизация сложных ETL-процессов (включая DAG для автоматизации);
-
Реализация потоковой обработки данных с использованием Kafka/RabbitMQ;
-
Разработка решений с различными системами хранения данных (PostgreSQL, ClickHouse, S3, Hadoop) и распределенными SQL-движками (Trino, dbt);
-
Внедрение практик управления качеством данных (Data Governance);
-
Поддержка пилотных проектов и внедрение платформы;
-
Интеграция ML-моделей в ETL-процессы;
-
Работа с BI-инструментами, Data Mesh и Data Fabric;
-
Участие в DataOps и оркестрации процессов на Kubernetes.
Для нас важно:
-
Опыт разработки и эксплуатации ETL/ELT/Data Lake/LakeHouse решений;
-
Уверенные знания SQL и опыт работы с реляционными (PostgreSQL, ClickHouse) и NoSQL базами;
-
Опыт потоковой обработки данных (Apache NiFi, Airflow, Apache Spark);
-
Знание Java, Scala, Python;
-
Опыт работы с Kafka и RabbitMQ;
-
Опыт построения дата-архитектуры (DWH, OLAP, Data Lake/LakeHouse);
-
Знание принципов управления качеством данных и Data Catalog (OpenMetadata, DataHub, Atlas);
-
Опыт DataOps, оркестрации в Kubernetes;
-
Опыт интеграции ML-моделей в ETL-процессы;
-
Опыт работы с BI-инструментами;
-
Понимание работы распределенных SQL-движков (Trino, dbt);
-
Английский — желателен для чтения технической документации.
Главный принцип SkillStaff - Выбирай!
ЭКСПЕРТИЗА. Делай выбор в пользу проектов с разным уровнем сложности и экспертных команд, где можно работать с лучшими специалистами и обмениваться опытом.
РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.
КОМФОРТ. Создавай идеальные условия для своей работы: удаленный формат работы на территории РФ.
