В команде Data Engineering уже более 30 профессионалов
Мы создаем хранилища данных и инструменты для их анализа и использования в аналитике, BI, ML. В связи с ростом компании и новыми задачами, мы ищем инженера в группу разработки и развития транспортировки данных. Между собой мы называем команду "Research & development" или просто RnD. Команда занимается исследованием и внедрением новых технологий, созданием инструментов для работы с данными, разрабатывает стандарты. Наш фокус на Data Lake: загрузка данных из источников (API, Kafka, CDC, PostgreSQL, MySQL и другие), трансформация данных в табличный вид, разработка инструментов по транспортировке данных между аналитическими СУБД (Greenplum, ClickHouse) и S3.
Чем будем заниматься:
- развивать существующее CDC-решение на базе Debezium и Spark Streaming: улучшать мониторинг, автоматизировать то, что делается вручную;
- разрабатывать, оптимизировать и мониторить ETL-процессы на основе технологий Airflow, Greenplum, ClickHouse, используя Python и Spark (Scala);
- участвовать в исследованиях и принимать решения по использованию новых инструментов для обработки данных в компании;
- развивать практику использования Trino в компании;
- участвовать в разработке интеграции Trino с каталогом метаданных Datahub.
Мы ждём от кандидата:
- понимание принципов организации хранилищ данных, работы колоночных БД;
- уверенное знание SQL, Python;
- готовность изучать Spark (Scala);
- стремление обосновывать и документировать появляющиеся решения;
- опыт работы с MPP системами;
- понимание принципов CI/CD.
Будет плюсом, если ты
- программировал на Scala / Java;
- знаешь фреймворк Apache Spark, Apache Airflow;
- умеешь оптимизировать вычисления в MPP системах;
- работал с форматами iceberg, parquet, protobuf, avro;
- использовал Trino / Greenplum / ClickHouse;
- знаком с Kafka Connect.
Что интересного у нас есть:
- ДМС с первого месяца работы в компании;
- предоставляем множество корпоративных бонусных программ;
- работаем удаленно: в Москве есть большой и красивый офис — welcome;
- выдаем технику для работы на твой выбор;
- помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол);
- уделяем большое внимание обучению сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций, а также у нас есть выделенный бюджет на образование.
А ещё:
- мы сами участвуем в конференциях, как спикеры;
- проводим внутренние митапы;
- не боимся экспериментировать с новыми решениями и технологиями :)
