Data Engineer

Департамент информационных технологий внедряет технологии, которые делают Москву комфортнее и безопаснее, а жизнь горожан — удобнее и мобильнее. Записаться к врачу с помощью сервиса ЕМИАС, проверить домашнее задание и оценки ребенка в Московской электронной школе, подать показания счетчиков через портал mos.ru — это лишь часть услуг и сервисов, доступных москвичам и реализуемых ДИТ. Мы хотим, чтобы возможности, которые дают сегодня информационные технологии, помогали каждому жителю Москвы, вне зависимости от того, где он находится, получать актуальную именно для него информацию, оперативно решать важные вопросы и экономить самое ценное, что у него есть — время.

Управление данными в ДИТ реализует концепцию Data Driven City. Для этого наши специалисты постоянно собирают, обрабатывают и интерпретируют данные, попадающие в городские информационные системы. Мы рассматриваем город как сервис для жителей и выстраиваем пользовательские сценарии таким образом, чтобы каждый получал нужные ему услуги до того, как обратиться за ними.

Что нужно делать:

• Создание внутреннего фреймворка для унификации интеграции с разными источниками данных (пока заложили фундамент, легаси не так много, можно и нужно будет предлагать свои варианты развития);
• Разработка пайплайнов загрузки данных из различных источников в командное хранилище;
• Разработка селф-сервис аналитических решений в т.ч. с использованием ИИ;
• Выбор и обоснование технологического стека для перечисленных задач (тут всё еще подвижны).

Какие знания и навыки нам важны:

• Уверенное владение Python 3 (функциональное программирование);
• Хороший опыт с SQL (Vertica, Postgres, Greenplum);
• Опыт со Spark/PySpark;
• Опыт с Airflow/Luigi/NiFi;
• Опыт с Kafka;
• Понимание экосистемы Hadoop и особенностей её компонентов.

Что предлагаем:

• Рыночную зарплату и премии;
• Драйвовые задачи и ресурсы для их реализации;
• Преимущества аккредитованной IT-компании;
• Материальную помощь в случае важных событий в жизни;
• Корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке;
• Корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие;
• Комьюнити по интересам;
• Скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.;

Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!