Data Engineer/ ML инженер

Приглашаем в команду департамента программных решений Data Engineer/ ML инженера

Мы активно используем все самые современные технологии. Сотни микросервисов, десятки микрофронтендов, высоконагруженные базы данных и API. Совместно с МТС мы внедряем и разрабатываем ИИ

У нас прозрачные процессы, крутая команда, есть GenAI, огромные нагрузки, наши ИИ сервисы

Что нужно делать:

• полный реал-тайм
• разработка архитектуры дата-платформы
• разработка ETL для дата-продуктов (витрины данных, агрегированные данные)
• управлять данными в BIG Data - телеком, смс
• RnD - в теме управления данными
• Refactoring, code review
• при необходимости активно взаимодействовать с DevOPS’ами

Что мы ждем от кандидата:

• коммерческий опыт работы дата-инженером, разработчиком ETL от 1 года
• опыт c базами данных ClickHouse, PostgreSQL;
• опыт работы с Kafka
• опыт или понимание CDC (KafkaConnect, Debezium)
• знание Python для работы с большими объемами данных;
• знание SQL(аналитические функции, оптимизации, ClickHouse, PostgreSQL);
• опыт построения ETL (батчи, стриминг)
• желание учиться и развиваться

Будет плюсом

• опыт разработки потоковой обработки данных (Spark Streaming / Flink);
• опыт работы с Airflow;
• понимание практик Data Mesh
• опыт работы с Trino, Superset, DataHub
• опыт работы с YTsaurus

  Что мы предлагаем?

• BIG Data - интерпрайз уровня, у нас действительно много данных
• современный стек технологий, и мы активно развиваем
• больше чем команда, у нас ламповая атмосфера и своя культура возможностей
• удаленная работы и возможность посещать комфортный офис на м.Марксистская
• синергия с МТС - курсы, встречи, митапы
• ДМС
• возможность роста, возможность для экспериментов