бульвар Энтузиастов 2
Сравни.ру — финансовый супермаркет, мы создаем удобные сервисы и рекомендации для того чтобы помочь людям принимать правильные решения при выборе банковских и страховых продуктов — ОСАГО, страховок путешественника, страхования недвижимости, Каско, вкладов, кредитов, кредитных карт или подобрать лучший вариант ипотеки. Мы первыми в Рунете придумали и запустили сервисы оформления электронного ОСАГО и подбора кредита.
Сейчас у нас:
-
18 млн уникальных пользователей в месяц
-
8 000 предложений от банков и страховых компаний
-
140 000 отзывов о банках и страховых компаниях
-
более 3000 оформленных страховок в день
В чем ценность вакансии:
-
Построение нового DWH с нуля с полноценным R&D и использованием лучших инструментов и лучших архитектурных подходов
-
Возможность самостоятельно реализовать сервисы «под ключ» от r&d до выпуска в прод
-
Горизонтальная команда, где мнение и опыта каждого участника влияет на реализацию всего проекта.
-
При необходимости, нас будут консультировать лучшие специалисты и архитекторы на рынке
Основной стек технологий на наших проектах:
-
ELT фреймворк на Python
-
Оркестратор — argo workflows;
-
Kubernetes, Team City, OpenSearch, Grafana, Victoria Metrics, Amixr, Github actions, Terraform, Argo CD;
-
Хранилище на базе Snowflake с 11 ТБ поколоночно сжатых данных;
-
Более 150 активных пользователей DWH и динамические окружения для разработки;
-
50+ источников данных в виде MSSQL, MySql, Postgres, MongoDB, разнообразными сторонними API и тд;
-
Streaming через kafka, с помощью source/sink kafka коннекторов;
-
На mvp нового dwh: Greenplum, ClickHouse, Spark, Data lake на базе yandex cloud object storage, dbt для формирования витрин данных
Ищем middle/senior data engineer на проект по разработке новой платформы данных.
Что предстоит делать:
-
Проведение R&D по различным направлениям проектирования платформы данных: data quality, real-time, data marts, data lake, etc.;
-
Разработка elt пайплайнов;
-
Интеграция с системами источниками, настройка kafka коннекторов;
-
Разработка spark заданий для непрерывной поставки данных в dwh/data lake;
-
Разработка python фреймворка для управления всеми аспектами работы платформы данных;
-
Разработка/внедрение фреймворка моделирования данных dds слоя в dwh;
-
Реализация архитектуры обработки данных lambda/kappa;
-
Разработка ci/cd пайплайнов, автотестов;
-
Развитие процессов обработки данных в компании;
Требования:
-
Уже работал на позиции Data Engineer не менее 3-х лет;
-
Уверенный опыт программирования на Python;
-
Опыт работы с Greenplum, СlickHouse, Spark, Kafka;
-
Уверенные знания SQL, оптимизация запросов;
-
Понимание концепций построения DWH/Data lake;
-
Понимание процессов Data Governance: data quality, data lineage, etc.;
-
Понимание контейнеризации и CI/CD;
Будет плюсом:
-
Понимание ключевых принципов архитектуры высоконагруженных приложений;
-
K8s, helm;
-
Опыт работы с java/scala.
Что мы предлагаем:
-
Конкурентную зарплату;
-
Развитую бонусную систему;
-
ДМС, включая стоматологию (в лучших клиниках Москвы) и страхование жизни,
-
Оплату посещения профильных конференций;
-
Оплату профильных курсов;
-
Холодильник с едой в офисе;
-
Пицца/пироги/суши каждую пятницу, вечера национальных кухонь;
-
Компенсацию спортзала;
-
Современную технику;
-
Покупку профильной литературы;
-
Социальная ответственность: материальная помощь, при рождении ребёнка;
-
Корпоративные мероприятия и тимбилдинги (картинг, пейнтбол, лазертег и др.);
-
Помощь с переездом для кандидатов из других городов (оплата билетов и первого месяц квартиры);
-
Современный офис с видом на всю Москву (прямо у метро Римская/Площадь Ильича); (2 минуты пешком от метро).