Москва
Чем предстоит заниматься:
- Участие в проектах внедрения и дальнейшей эксплуатации DWH решений в качестве инженера;
- Разработка и контроль технических решений и разработка проектной документации, регламентов;
- Оценка трудоемкости работ и необходимых ресурсов.
Основные задачи:
- Создание пайплайнов для загрузки и обработки информации;
- Создание витрин с данными;
- Преобразование необработанных данных в формат, подходящий для последующей обработки и анализа;
- Настройка сбора данных из множества источников в одно хранилище;
- Проверка корректности данных, отсеивание неполной или ошибочной информации.
Мы ожидаем:
- Отличное знание SQL: на уровне оконных функций, CTE, написания процедур - умение оптимизировать запросы;
- Опыт работы с реляционными БД (в идеале Postgres);
- Умение создавать витрины с данными;
- Умение проводить первичный анализ данных (фильтрация, распределения, частоты, очистка данных и трансформация).
Будет плюсом:
- Знание стека Hadoop (Apache Hadoop, Cloudera Manager, MapReduce, HDFS, Spark, Kafka, YARN);
- Знание Java/Python;
- Навыки скриптинга (bash/powershell);
- Умение настраивать ETL/ELT-процессы;
- Знание систем контроля версий и опыт коллективной разработки;
- Знание облачных технологий;
- Умение писать скрипты к BI-системам.
Мы предлагаем:
- Оформление в аккредитованную ИТ-компанию;
- Работу в комфортном офисе в шаговой доступности от ст. м. "Динамо" и "Петровский парк" (БКЛ);
- Формат работы - удаленно/гибрид;
- При переезде в Москву, компания компенсирует затраты на релокацию.