Описание проекта
Создаем то, что поможет оптимизировать ассортимент компании. Новый долгосрочный проект, который готовится к стадии развития IT-продукта, а сейчас на аналитическом этапе, определяем основные цели, задачи и требования, поэтому нам необходимо собрать команду разработки.
В команде есть Product Owner, аналитик, а также архитекторы, которые уже в процессе настройки и создания приложений, улучшения веб сервиса.
Это отличная возможность, работая в большой компании, заниматься продуктом, который прямо сейчас формируется в реальном времени.
Сейчас формат Discovery переходящий в Delivery, необходимо начинать прогружать данные и одновременно решать вопрос архитектуры целевого решения.
Команда: Product Owner, UX-designer, data analyst, system analyst, team lead (open), back dev, front dev, QA (open)
Data: GreenPlum, Postgres, Kafka, NiFi, Airflow, Python, Java, Power BI
Основные задачи сотрудника на данной позиции
- Обеспечить сбор и организовать процесс загрузки данных в аналитические системы из различных источников
- Подготовка, очистка и предобработка данных из внешних источников, построение агрегатов
- Разрабатывать процедуры формирования детального слоя данных и слоя витрин DataLake на GreenPlum (это как концепция)
- Реализовывать мониторинг разработанных процессов обработки данных (Grafana, Prometheus)
- Документировать свою работу в Yandex.Wiki
- Обеспечить транспорт данных из источников (чековая статистика, данные о количестве товарного запаса) их хранение и преобразование
- Проработать архитектуру транспорта и хранения данных совместно с архитекторами и владельцами дата-платформы, в т.ч. предоставить обзор разных возможных конструкций с описанием их плюсов и минусов
- Выстраивать оптимальную структуру хранения данных (партиции, дистрибуции и т.п.)
- Оптимизировать SQL-запросы
Обязательные навыки
- Знания принципов работы БД, построения Хранилищ Данных
- Опыт разработки ETL процессов (NiFi, AirFlow)
- Опыт работы с высоконагруженными распределёнными системами обработки и хранения данных, очередями (Kafka)
- Отличное знание SQL
Условия
- Официальное трудоустройство в штат на бессрочный трудовой договор в аккредитованную IT-компанию
- Современный подход к обучению и развитию сотрудников
- Стабильный доход, который обсуждается индивидуально
- ДМС со стоматологией для сотрудников, возможность подключить родственников к программе ДМС, обучение и сертификация, скидки на курсы, фитнес и многое другое
