Data Engineer

Наша команда занимается разработкой и поддержкой клиентских сервисов и цифровых платформ.

Мы ищем специалиста с опытом работы с большими данными(Hadoop Data Lake). Вы сможете работать без авралов и переработок, выбирать из широкого спектра технологий, с которыми мы работаем. Взаимодействовать в команде и консультироваться с профессионалами высокого уровня. Решать задачи не только вашего стека, но и пробовать что-то новое, еще неизвестное.

Какие задачи предстоит решать:

• Проектирование, разработка и поддержка хранилищ и озер данных, сложных ETL/ELT конвейеров;
• Ответственность за качество данных заказчика;
• Разрешение инфраструктурных вопросов проекта;
• Проектировать и разрабатывать процессы преобразования данных (ETL) для хранилища данных;
• Проектировать потоки данных;
• Анализ источников данных;
• Визуализация данных;
• Участие в проектах по внедрению решений с применением технологии машинного обучения (искусственного интеллекта, ML);
• Работать с различными базами и платформами данных: Greenplum, ClickHouse, Hadoop;
• Формирование требований, технических заданий на развитие инфраструктуры;
• Взаимодействие с командой разработки и командами, разрабатывающими смежный функционал;
• Участие в тестировании и сдаче-приемке

Мы ждем от Вас:

• Опыт работы с Apache Hadoop и его экосистемой (HDFS, Yarn, Spark, Flink и пр.);
• Опыт работы с PostgreSQL, Git, AirFlow и пр.;
• Знание принципов организации DWH/Data Lake;
• Опыт разработки ETL/ELT;
• Опыт построения витрин (Data Marts);
• Понимание принципов модели распределенных вычислений;
• Опыт работы с PySpark;
• Свободное владение SQL;
• Опыт работы с таск-трекерами, helpdesk системами, базами знаний;
• Умение работать с документацией и составлять техническую документацию;
• Опыт работы в команде, умение и готовность общаться с коллегами;
• Увлеченность новыми технологиями, интерес к автоматизации и стандартизации процессов;
• Заинтересованность в работе, здоровая инициатива и проактивность, желание развиваться.

Будет плюсом

• Опыт работы с Delta Lake;
• Опыт работы с Superset, jupyter notebooks;
• Опыт работы с СУБД ClickHouse, Greenplum;
• Знание Scala, R.

Условия:

• Общение и работа в команде с коллегами профессионалами в digital, взаимодействие с самыми сильными в стране командами подрядчиков по разработке клиентских систем и сервисов;
• Постоянное развитие, профессиональный и карьерный рост;
• Оформление по ТК РФ (белая заработная плата два раза в месяц);
• Частичная компенсация питания, ДМС.