Дата-инженер/Data Engineer (команда Data Lake)

Привет! На связи Купер.тех!

Купер — это сервис доставки из магазинов и ресторанов. За 10 лет сервис вырос из food-tech стартапа в высокотехнологичную компанию. Купер — это профессиональная команда и надёжная IT-инфраструктура, которая увеличилась в 77 раз с 2019 года. Купер объединяет свыше 600+ IT-специалистов. Мы создаем вдохновляющий продукт для миллионов клиентов.

Сейчас мы в поисках Data Engineer в команду Data Lake.

Чем предстоит заниматься:

• осуществлять вместе с командой миграцию из Yandex Cloud в cloud.ru;
• разрабатывать, оптимизировать и мониторить ETL-процессы на основе технологий Airflow, S3, Greenplum, ClickHouse, используя Python и Spark (Scala);
• подключать новые источники к Trino;
• создавать инструменты для упрощения ETL разработки;
• развивать практику использования Trino в компании.

Мы ожидаем от кандидата:

• понимание принципов организации хранилищ данных, работы колоночных СУБД;
• уверенное знание SQL, Python;
• готовность изучать Spark (Scala);
• стремление обосновывать и документировать появляющиеся решения.

Будет плюсом, если ты:

• программировал на Scala / Java;
• знаешь фреймворки Apache Spark, Apache Airflow;
• работал с форматами iceberg, parquet, protobuf, avro;
• использовал Trino / Greenplum / ClickHouse;
• использовал Kubernetes;
• знаком с Kafka Connect.

Что интересного есть у нас:

• ДМС;
• предоставляем множество корпоративных бонусных программ;
• работаем удаленно. В Москве есть большой и красивый офис — welcome;
• выдаем технику для работы на твой выбор;
• помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол);
• уделяем большое внимание обучению сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций, а также у нас есть выделенный бюджет на образование.

А ещё:

• мы сами участвуем в конференциях, как спикеры;
• проводим внутренние митапы;
• не боимся экспериментировать с новыми решениями и технологиями :)