з/п не указана
Москва
От 3 до 6 лет
Наш проект - платформа по управлению данными для ведущего телеком-оператора РФ. Платформа обеспечивает продукты современными инструментами для потребления, хранения, преобразования, аналитики и визуализации данных, будет интегрироваться более чем с 300 системами компании по потреблению данных из них, предоставлять сервисы с классом business-critical. В рамках нашего проекта будет реализовываться миграция корпоративных систем на данную платформу, настройка интеграций, внедрение искусственного интеллекта.
Твои задачи:
- Обработка терабайтов данных в потоке, приближенному к real time, хранение состояния каждого объекта и использование оконных функций
- Тестирование и доработка ETL инструментов (NewEtlTool, SeaTunnel) и оркестраторов, которые развивает команда (Airflow, DolphinScheduler)
- Консультации и ответы на вопросы пользователей
- Помощь в построении демо-пайплов и разборе кейсов пользователей
- Профилирование данных из источников
Мы ждем от тебя:
- Умение использовать bash/shell
- Опыт работы с Apache Spark на Scala
- Опыт работы с Hadoop(Hive)
- Знание SQL
- Опыт работы с Kafka
- Понимание принципов CI/CD (умение писать скрипты)
- Опыт работы с Airflow
- Понимание особенностей построения алгоритмов для работы с онлайн-данными и их реализацией
Будет плюсом:
- Знание основных принципов работы сотовой связи, атрибутов абонента и их взаимосвязи (IMSI, IMEI, MSISDN, CTN, MARKET, REGION, тип роуминга, MCCMNC и т.д.)
- Знание языка программирования Java
- Знание Spark Streaming
- Понимание особенностей работы с гео-пространственными данными
Что мы обеспечим:
- Опыт на интересных и значимых проектах
- Передовые подходы и технологии, современный стек
- Экспертную команду, возможности обмена опытом и экспертизой
- Технику для комфортной работы
- Сессии профессионального развития два раза в год, результатом которой является план индивидуального развития каждого сотрудника и получение обратной связи
- Сообщества по интересам: Лига Спорта, Лига Интеллекта, Лига Шахмат, а также возможность организовать свое сообщество и получить поддержку от компании
