Senior Data Engineer

Дата размещения вакансии: 20.09.2024
Работодатель: Repay
Уровень зарплаты:
от 4000 RUR
Город:
Москва
Требуемый опыт работы:
Более 6 лет

Мы - продуктовая fintech компания, разработавшая высокотехнологичную платежную инфраструктуру для бизнеса в формате криптовалютного on-ramp сервиса.

Ты будешь первым Data Engineer в нашей команде и тебе предстоит построить хранилище с нуля (в команде будет Data Analyst, есть DevOps).

Стек в вакансии - это скорее кругозор, выбор инструментов будет за вами, учитывая потребности продукта.

Чем предстоит заниматься:

  1. Проектирование и разработка системы аналитики:
    • Проектировать архитектуру системы аналитики для интеграции с существующими сервисами и системами.
    • Разрабатывать процессы ETL (Extract, Transform, Load) для сбора и обработки данных из различных источников.
  2. Интеграция данных:
    • Обеспечивать интеграцию данных из различных систем и сервисов в единую аналитическую платформу.
    • Разрабатывать и поддерживать интерфейсы для доступа к данным.
  3. Сбор и обработка данных:
    • Настраивать и управлять процессами сбора данных из различных систем (базы данных, API, лог-файлы и т.д.).
    • Обеспечивать чистоту, целостность и актуальность данных.
    • Оптимизировать процессы обработки данных для повышения производительности и эффективности.
  4. Хранение данных:
    • Проектировать и поддерживать хранилища данных, обеспечивая их масштабируемость и безопасность.
    • Настраивать базы данных и data lakes для эффективного хранения и доступа к аналитическим данным.
  5. Обеспечение качества данных:
    • Проводить регулярные проверки данных для обеспечения их точности и консистентности.
    • Разрабатывать и внедрять процедуры контроля качества данных.
  6. Создание отчетности и дашбордов:
    • Работать с бизнес-аналитиками для понимания их требований к данным и аналитике.
    • Создавать и настраивать дашборды и отчеты для предоставления аналитической информации пользователям.
  7. Поддержка и оптимизация:
    • Обеспечивать техническую поддержку аналитической системы, оперативно решать возникающие проблемы.
    • Оптимизировать системы и процессы для улучшения производительности и масштабируемости.
  8. Сотрудничество с командами:
    • Работать в тесном сотрудничестве с разработчиками, системными администраторами и бизнес-аналитиками.
    • Обеспечивать обучение и поддержку пользователям аналитической системы.

Мы не требуем, а ожидаем:

  • Опыт работы на позиции Data Engineer или аналогичной должности от 5 лет.
  • Опыт работы с большими данными и системами хранения данных (Hadoop, Spark, Data Lakes и т.д.).
  • Опыт работы с облачными платформами (Amazon Web Services, Microsoft Azure, Google Cloud и т.д.)
  • Опыт работы с реляционными и NoSQL базами данных (PostgreSQL, MongoDB и т.д.).
  • Знание языков программирования для работы с данными (Python, SQL, Java).
  • Опыт работы с инструментами ETL (Apache Nifi, Talend и т.д.).
  • Опыт работы с аналитическими платформами и BI-инструментами (Tableau, Power BI).
  • Знание принципов проектирования и администрирования баз данных.

Почему у нас классно?

  • Удаленная работа из любой точки мира;

  • Возможность оплаты в USDT;

  • Гибкое начало рабочего дня;

  • Сильная команда, мы работаем только с лучшими специалистами в своих областях!

    ​​​​​​Если ты готов реализовывать свой опыт в интересном проекте, то мы будем рады видеть тебя в нашей команде!