Data Engineer

Обязанности:

• Проектирование и разработка витрин и потоков данных на основе потребностей data scientist-ов, campaign менеджеров CRM, бизнес-пользователей
• Анализ исходных данных в различных системах и форматах для решения бизнес-задач (оценка структуры, качества, полноты и применимости данных);
• Проектирование, прототипирование аналитических витрин данных и витрин для применения моделей машинного обучения;
• Расчет сложных аналитических показателей в витринах данных;
• Проектирование витрины для мониторинга моделей машинного обучения;
• Проработка интеграции с внешними системами
• Мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин;
• Контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных;
• Осуществление поддержки разработанных пайплайнов сборки витрин;
• Предоставление экспертной поддержки внутренним потребителям (data analysts, data scientists) по вопросам, связанным с использованием данных.

Требования:

• Опыт создания инфраструктуры для обработки данных.
• Знание розничного банковского бизнеса является преимуществом;
• Знание SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация производительности);
• Опыт работы с реляционными базами данных (Postgres/Greenplum/Oracle/Teradata)
• Опыт контейнеризации приложений и работы с Docker;
• Знание основных понятий и концепций из области Data Warehouse.
• Опыт работы с большими объемами данных с использованием стека технологий Big Data