Data Engineer

Цели проекта:

участие в развитии сбора, обработки, трансформации и представления данных.

Чем предстоит заниматься:

• участвовать в разработке ETL-процессов;
• разрабатывать, конфигурировать и интегрировать новые пайплайны, источники и возможности ИС «Платформы данных».

Чего мы ждем от тебя:

• опыт работы с Apache Airflow: создание и поддержка пайплайнов ETL, разработка и оптимизация DAG'ов, опыт настройки мониторинга и оркестрации процессов;
• знание системы потоковой обработки Kafka: настройка топиков, понимание архитектуры брокера сообщений, работа с производителями и потребителями, умение масштабировать инфраструктуру и решать проблемы производительности;
• практический опыт разработки распределённых приложений на PySpark: знание основ фреймворков Spark SQL, DataFrame API, использование распределенных вычислений, настройку кластеров Hadoop/YARN, решение проблем оптимизации запросов и повышения эффективности;
• понимание реляционных баз данных: проектирование и администрирование PostgreSQL, MySQL, ClickHouse или аналогичных решений, включая оптимизацию индексов, запросов и транзакций.
• владение системой контроля версий Git: опыт работы с репозиториями, ведение истории изменений, слияния ветвей, разрешение конфликтов, использование CI/CD инструментов.
• навыки анализа больших объемов данных: построение метрик качества данных, проверка целостности и согласованности данных, владение средствами профилирования и очистки данных.
• общее представление о современных инструментах DevOps: знакомство с Docker, Kubernetes, Ansible, Terraform, Jenkins и др., хотя бы базовые знания инфраструктуры облачных платформ AWS/GCP/Azure.
• опыт работы с любой реляционной БД (Oracle, MSSQL, Postgres);

Мы предлагаем:

Работу в офисе или удаленно в графике 5/2.