Старший инженер по качеству данных (DQ)

Сейчас мы в поиске DQ на проект корпоративного хранилища данных.

Цели проекта:

• Анализ качества источников корпоративного хранилища данных;
• Оценка скорости и полноты получения данных по дата-контрактам;
• Поиск и идентификация аномалий в данных телеметрии и внешних источниках.

Чем предстоит заниматься:

• Участием в процессе формирования требований к моделям данных и дата-контрактам;
• Оценкой качества источников данных и разработкой инструментов DQ;
• Участием в проектах по развитию ETL и DWH;
• Разработкой скриптов на SQL и Python.

Что мы ожидаем:

• Опыт работы с PosgreSQL, ClickHouse, S3, Kafka, AirFlow, Grafana;
• Понимание теории СУБД и ETL-процессов;
• Опыт работы с базами данных в качестве разработчика от 1 года;
• Знание основных подходов и инструментов к оценке качества данных;
• Свободное владение SQL;
• Будет плюсом знание Spark.

Условия:

• Возможен удаленный формат работы.