з/п не указана
Москва
не требуется
BIG DATA МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist.
КОГО МЫ ИЩЕМ?
СТАЖЕРА DATA ИНЖЕНЕРА В ПРОДУКТ СКОРИНГ
ОПИСАНИЕ ПРОДУКТА
Скоринг - это коммерческий B2B продукт для уменьшения рисков и затрат B2B-клиентов. Скоринг состоит из 2-х направлений: рисковый и антифрод
ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ
- Разрабатывать ETL на Pyspark
- Оптимизировать запросы sql/spark
- Проводить оптимизацию и рефакторинг кода обработки данных
- Заниматься постановкой на регламент ETL процессов: расчет моделей, сборка витрин фичей
- Осуществлять внедрение контроля качества данных
- Научиться писать тесты на существующий и разрабатываемый функционал
- Выбирать оптимальную структуру хранения данных: оптимальной структуры, сжатия, секционирования и глубины
- Будет возможность научиться работать с Kafka, ClickHouse, CI\CD, Flink
ЧТО НУЖНО ДЛЯ ЭТОЙ РАБОТЫ
- Знание Python (стандартные библиотеки)
- Понимание хранилища HDFS (умение организовывать файлы нужного размера и сортировки, взаимодействие через cli)
- Умение писать аналитические SQL запросы
- Базовые знания Linux, git
- Желателен опыт работы с инструментами оркестрации процессов (мы используем Apache Airflow) и будет плюсом знание PySpark (умение оптимизировать и рефакторить код джобов, управлять ресурсами spark-сессии)
ЧТО МЫ ПРЕДЛАГАЕМ:
- Есть ли куратор? Да, наставник будет с тобой с самого начала;
- Какой график? Гибкий, начало работы в промежутке с 8 до 11, занятость 30 - 40 часов в неделю;
- Условия? Официальное оформление сроком от 6 до 9 месяцев с реальной возможностью остаться в штате - такие кейсы уже проходили и нам понравилось :)
