з/п не указана
Москва
От 3 до 6 лет
Платформа данных - миграция хранилища данных аналитической отчетности на единую Data-платформу компании.
Вам предстоит:
- Разрабатывать пайплайн поставки данных в Data Lakehouse;
- разрабатывать механизм для потоковой проверки качества данных (DQ);
- разрабатывать механизм для автоматической сборки витрин (dbt);
- внедрять Apache Kylin для последующего переноса кубов;
- внедрять Apache Flink и Apache Paimon для приземления данных и NRT-отчётов;
- проектировать, прототипировать и проверять гипотезы для внедрения новых компонентов и улучшения существующих решений.
Вы нам подходите, если:
- Уверенно владеете Java или Python (со стремлением изучить Java);
- свободно владеете SQL;
- имеете опыт работы со Spark;
- имеете опыт работы с Apache Iceberg;
- имеете опыт работы с Docker и docker-compose;
- понимаете особенности форматов данных Avro, ORC, Parquet.
