Senior Data Engineer

Дата размещения вакансии: 21.11.2024
Работодатель: Rusprofile
Уровень зарплаты:
з/п не указана
Город:
Москва
Пресненская набережная 6с2
Требуемый опыт работы:
От 3 до 6 лет

О нас

Мы работаем в сегменте RegTech. Это новый рынок, активно развивающийся во всем мире. Большинство игроков — SaaS сервисы, позволяющие компаниям выполнять требования регулирующих органов, анализировать партнеров и клиентов, наблюдать и анализировать конкурентов, совершать M&A сделки, отслеживать связи между компаниями и многое другое. Это быстро развивающаяся отрасль на пересечении финансов, аналитики, технологий обработки данных, включая AI, нормативных и регуляторных требований.

Rusprofile — быстрорастущая частная компания, один из лидеров российского рынка RegTech. Сервис помогает компаниям быстро и эффективно принимать критические для бизнеса решения на основе данных, собираемых ежедневно из десятков источников. Аудитория Rusprofile — это около 10 млн пользователей в месяц и десятков тысяч платящих клиентов, от малого бизнеса до крупных корпораций. Наша миссия — помогать бизнесам в их развитии, делая данные простыми и полезными для принятия решений.

За последние 3 года мы выросли по выручке в 5 раз, в 10 раз по базе клиентов и мы не планируем останавливаться. Мы больше не стартап, но и не корпорация. Мы принимаем решения быстро, у нас нет сложной иерархии и бюрократии. Мы постоянно развиваемся и адаптируемся, чтобы иметь возможность создавать действительно ценные продукты для наших клиентов и развивать бизнес.

Как построена работа

Мы выстроили инженерную культуру, где ценится качественный код и техническая экспертиза команды. Разработчики активно участвуют в проектировании решений, а время на работу с техническим долгом и рефакторинг — это часть нашего процесса, а не "когда-нибудь потом". У нас опытная команда, готовая делиться знаниями, и мы открыты к новым технологиям, если они решают реальные проблемы.

Процессы у нас построены на принципах agile и постоянно оптимизируются под потребности команды. Работаем итерациями, проводим короткие и полезные синки, уделяем внимание проектированию и code review. При этом у нас нет лишней бюрократии — мы берем лучшее из гибких подходов и адаптируем процессы так, чтобы они помогали команде, а не создавали препятствия.

О команде

Команда Rusprofile — это 40+ человек:

  • основатели Илья и Дима, которые когда-то вместе заканчивали факультет вычислительной математики и кибернетики МГУ. Спустя 8 лет активного развития Rusprofile, основатели все также управляют бизнесом;
  • наша команда разработки состоит из 19 человек: двух инженеров по инфраструктуре, 13 разработчиков, а также 4 тестировщиков;

  • бизнес-ориентированная команда продукта: продакт-менеджеры, аналитики и дизайнеры продукта.

Цель команды — создать надежную и масштабируемую инфраструктуру данных, которая поддерживает бизнес-решения и аналитические задачи компании. Ты будешь работать в составе инженерной команды вместе с разработчиками и DevOps.

Про наш стэк: ClickHouse, Airflow, Kafka, Superset, Mysql, Python, PHP, Docker, Git.

Что ты будешь делать

Твоим руководителем будет СTO, твоя команда — разработчики и DevOps, а основным стейкхолдерами — продуктовый аналитик и продуктовая команда.

Твой фокус будет на улучшении существующей инфраструктуры данных для поддержки растущих потребностей бизнеса:

1. Необходимо оптимизировать существующие процессы обработки данных, разрабатывать новые эффективные пайплайны и обеспечить надежность и доступность данных для аналитических нужд компании;

2. Также предстоит работать над внедрением современных практик обеспечения качества данных;

3. Вся наша инфраструктура данных сейчас работает на bare metal и требует от инженерной команды внимания и времени на сопровождение. Мы планируем переезд всего дата стека на управляемую (managed) инфраструктуру в облаке.

Твои задачи будут включать:

  • Погружение в текущую инфраструктуру данных:

    • Изучение существующего хранилища данных, структуры и настройки (ClickHouse, MySQL), пайплайнов данных и инструментов (Airflow, Superset, Kafka);

    • Погружение в текущие процессы и практики команды.

  • Планирование и определение приоритетов:

    • Выявление возможностей для быстрых оптимизаций в текущей инфраструктуре и процессах;

    • Разработку плана тактических улучшений текущей инфраструктуры данных на ближайшие 3-4 месяца, совместно с CTO;

    • Определение топ приоритетных задач, которые должны быть обязательно закрыты в течении испытательного срока.

  • Перенос инфраструктуры данных на IaC:

    • Поиск, выбор внешнего партнера (вероятно flant или express42) и запуск пилотного проекта по переходу на IaC в первые 3 месяца;

    • Планирование и начало реализации полного перехода с bare metal на IaC в течение полугода.

  • Взятие на себя ответственности за инфраструктуру данных:

    • Стать владельцем текущего стека данных и процессов;

    • Обеспечение поддержки и стабильной работы существующей инфраструктуры.

  • Сотрудничество с командами:

    • Налаживание эффективного взаимодействия с продуктовой командой, разработчиками и командой инфраструктуры;

    • Обеспечение коммуникации и совместной работы над проектами по развитию инфраструктуры данных.

Как понять что ты подойдешь

  • Опыт работы от 3 лет в роли Data Engineer;

  • Глубокое знание SQL и понимание методик оптимизации запросов;

  • Уверенное владение Python;

  • Опыт работы с Airflow, Superset, ClickHouse;

  • Понимание устройства реляционных и нереляционных баз данных;

  • Умение разрабатывать ETL/ELT пайплайны на базе Airflow;

  • Навыки мониторинга и отладки пайплайнов обработки данных;

  • Умение проектировать архитектуру данных в том числе индексы, партиционирование, шардирование;

  • Понимание принципов data quality и data lineage;

  • Опыт работы с Docker и контейнеризацией;

  • Знание Linux на уровне базового администрирования;

  • Опыт работы с Git;

  • Умение самостоятельно развертывать и поддерживать сервисы обработки данных;

  • Опыт настройки и оптимизации производительности СУБД;

  • Базовые навыки практик DevOps;

  • Опыт работы с CI/CD.

Мы предлагаем

  • Свободу действий в принятии решений и высокий уровень ответственности - у тебя будет возможность влиять на продукт и строить процессы так, чтобы они помогали бизнесу достигать своих целей;

  • Интересный продукт в одном из самых быстрорастущих сегментов рынка во всем мире. У нас большие стратегические планы по развитию стека обработки данных и сейчас очень ранний этап работы с этими планами, есть возможность сразу сделать хорошо почти с нуля;

  • Основной бизнес компании - данные. Лучшего применения своим знаниям трудно представить, так как от эффективности и скорости работы с данными напрямую зависит успех;

  • Гибкий график и возможность удаленной работы (можно также работать в нашем офисе в Москва-Сити с потрясающим видом на столицу);

  • Работу в аккредитованной ИТ компании с полным соблюдением ТК РФ;

  • Любую технику для работы;

  • ДМС, 7 Day Off, оплату обучения, семинаров и конференций.