Наша команда создает и развивает продукт для построения Data Lineage на различных технологических стеках хранения и преобразовании информации ( от традиционных РСУБД : PostgreSQL, GreenPlum, … до Hadoop: Hive, Spark, … ). Перед командой стоит задача по созданию продукта не только в рамках платформы Фабрики, но и выхода в экосистему Сбербанка, а далее и на внешний рынок.
Data lineage – информация, которая описывает движение данных от источника их происхождения по точкам обработки и применения.
В мире Big Data, когда информации становится все больше, Data lineage позволяет управлять данными, реализуя следующие задачи:
· Обеспечение качества данных за счет однозначной идентификации их источников;
· Повышение доверия к данным через прозрачность всех процессов работы с ними;
· Предоставление метаданных и сведений об их изменении в точках трансформации данных.
Обязанности
· Активное участие в развитие направления Data Lineage
· Разработка агентов сбора Data Lineage
· Разработка на Java, Scala, Spark
Требуемые навыки:
- Уверенные знания Java Core(от 3 лет)/Spring Boot
- Знание Hadoop (Spark, Hive)
- Знание CI/CDP инструментов
Плюсом будет:
- Знание Scala, Python, Groovy, Spark
- Опыт разработки ETL
- Знание Hadoop (Spark, Hive)
- Опыт работы в High Load
- Опыт работы с графовыми БД (у нас JanusGraph, Gremlin)
- Опыт работы с ElasticSearch, HBase, Kafka, Apache Atlas, Nginx
Условия
· Интересные задачи (современный стек технологий, нет легаси кода и нет задач "в стол")
· Гибкий график работы
· Возможность работать из дома
· Дружный и отзывчивый коллектив, организованный по принципам Agile
· Оплату профессиональных конференций и обучений
· Широкие возможности карьерного и профессионального роста
· Оформление по ТК РФ
· Удобный офис
· Соц. Пакет (ДМС, мобильная связь и многое другое)
· Скидки от партнеров Экосистемы Сбера
