Data Engineer

Центр изучения и сетевого мониторинга молодёжной среды – аккредитованная IT-компания, учреждённая по поручению Президента России в октябре 2018 года.

Деятельность организации ориентирована на создание IT-решений, направленных на формирования комплексной системы по защите детей и подростков от воздействия негативной информации в сети.

В команду управления потоками данных ищем Инженера данных.

Обязанности

• Разработка batch и streaming потоков данных, используя Apache Kafka, Airflow, а также используя собственное решение для streaming обработки данных (selfservice etl)
• Проработка требований и согласование способов интеграции внешних источников совместно с системным аналитиком, data архитектором
• Предоставление поддержки data-потребителям по вопросам, связанным с использованием данных

Требования

• Аналогичный опыт работы не менее 1 года
• Опыт разработки ETL процессов и работы с оркестраторами (Airflow / Dagster)
• Опыт работы с Apache Kafka для интеграции и передачи данных
• Глубокое знание SQL и опыт работы с реляционными базами данных
• Опыт работы с MPP СУБД и понимание их архитектуры (GreenPlum, ClickHouse)
• Понимание концепций построения хранилищ данных

Будет плюсом

• Отличное знание Python и опыт промышленной разработки
• Опыт работы с инструментами трансформации данных (DBT)
• Опыт работы с NoSQL СУБД (MongoDB)
• Опыт работы с графовыми СУБД (Neo4j)

Условия

• Конкурентный уровень з/п, размер обсуждается по итогам собеседования и зависит от квалификации
• Официальное оформление по ТК РФ
• Формат работы - офис/гибрид/удаленка
• Гибкое начало рабочего дня, график 5/2, выходные: суббота, воскресенье
• Непрерывное обучение и развитие профессиональных навыков