проспект Андропова 18к9
Big Data МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist.
Кого мы ищем?
Команда центра Big Data в поиске Data Engineer на продукт Golden Record
Продукт Golden Record – мастер-система по управлению клиентскими данными в экосистеме МТС.
Один из ключевых активов практически любого бизнеса - это клиенты. Для них МТС создает лучшие продукты, сервисы и услуги. Golden Record - команда профессионалов в создании высоконагруженных систем управления клиентскими данными. Мы храним и обрабатываем персональные данные, а также формируем широкий профиль клиента экосистемы, собирая информацию от наших индустрий телекома, онлайн-кинотеатра, музыки и других цифровых сервисов. Наша задача знать о клиенте все, чтобы предоставить эти знания бизнесу для персональных рекомендаций, повышения эффективности маркетинговых кампаний, непрерывного улучшения обслуживания клиентов и продвинутой аналитики.
Стек: Python, Pyspark, Hive, Hadoop, Gitlab, Docker, k8s, Cassandra, Liquibase
Обязательно:
- Знание и опыт работы с Python
- Знание и опыт работы с SQL
- Опыт работы с Spark, Hive, Hadoop
- Знание PostgeSQL
- Знание Git
- Желателен опыт работы с Kafka
- Будет плюсом опыт с Cassandra
Что предстоит делать?
- Процессить данные, собирать витрины с помощью pyspark на хадуп-кластере (постановка – от аналитиков)
- Выстраивать регламенты обработки данных (Airflow)
- Настраивать ETL процессы загрузки данных через стриминги (kafka)
- Решать проблемы с качеством данных: матчинг сущностей, дедупликации, нормализации
- Осуществлять работы по повышению отказоустойчивости и скорости работы дата части сервисов
Условия: каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16 MacBook Pro или Dell на выбор.
Есть ли обучение?
- Локальные конференции, митапы
- Корпоративный университет МТС и масштабная виртуальная библиотека
- А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы
Какой график?
Гибкое начало рабочего дня в промежутке с 8 до 11. Есть возможность работать несколько дней вне офиса по договоренности с командой.
Сколько этапов при отборе?
Не более трех:
- HR + первое тех. интервью с лидом направления
- Тестовое задание/второе интервью - по необходимости
- Собеседование с PO и командой, выбор кандидатом проекта
