Нашему будущему коллеге предстоит работать над развитием Big Data Platform (hadoop + tooling in k8s), которое является основным источником данных для всей группы компаний.
Мы ищем эксперта с высокой ролью ответственности, умеющего самостоятельно и в команде принимать решение по архитектуре и реализации.
Что нужно делать?
-
Проектирование, разработка и поддержка витрины данных
-
Разработка алгоритмов выгрузки, обработки, хранения данных (ETL) из разных систем, интеграция с внешними системами
-
Автоматизация процессов обновления данных
-
Разработка правил и процедур контроля качества данных
-
Помогать коллегам DA и DS
-
Техническая поддержка наших инструментов
-
Разворачивание helm chart
-
Сборка docker образов
-
Продуктивизация моделей машинного обучения от команды DS
Наш стек:
-
последние версии Apache Spark (scala) и Apache Airflow
-
Zeppelin
-
Hadoop 3
-
Kafka
-
Docker, Kubernetes
-
GitLab для CI/CD
Наши ожидания:
-
Знания SQL
-
Понимание жизненного цикла разработки ПО, культуры CI/CD
-
Опыт создания и оптимизации Spark batch jobs
-
Опыт разработки на Java (kotlin) Spring Service
-
опыт работы с Airflow, умение создавать DAG'и, состоящие из Task и Sensor
-
Отличное понимание устройства и принципов проектирования БД
-
Опыт участия в проектах построения DWH и Data Lake в роли ETL-разработчика — от 3 лет
-
Умение писать чистый поддерживаемый код и техническую документацию
-
Опыт работы с Docker
Будет плюсом:
-
Понимание технологий DevOps, опыт работы с CI/CD-инструментами.
-
Опыт работы с Hadoop
-
Опыт работы с Kubernetes
-
Опыт работы с современными брокерами и очередями сообщений
-
Опыт работы с Nifi
-
Математическое\инженерное образование
Мы предлагаем:
- Официальное оформление в соответствии с ТК РФ, полная стабильность
- Отсутствие бюрократии и плоская организационная структура
- Возможность вносить коррективы в процессы, в архитектуру и лояльный бизнес, постоянные коммуникации, возможность на равных обсуждать бизнес-фичи на стадии формирования
- Действительно высокий уровень дохода, оклад + годовая премия, все полностью «белое».
- Гибкое начало работы, возможен полностью удаленный формат работы.
Офис- м/мцд Окружная или корп. транспорт 7 минут от м. Петровско-Разумовская. - Хорошее техническое оснащение, никаких проблем с доступами на удаленной работе.
- Расширенный полис ДМС.
- До 20% скидка на продукцию компании.
- Мы являемся официальной IT компанией в РФ (льготная ипотека, отсрочка от армии).
- Индексация дохода.
