Data Quality Engineer

«Газпром ИД» («ГИД») — технологичная молодая компания в структуре холдинга. Мы создаем уникальное приложение «ГИД», в котором сотрудники Группы Газпром получают доступ ко всем продуктам и цифровым сервисам компании.

Проект: Построение дата-платформы компании, от выбора технологий, до реализации задач развёртывания компонентов для построения современного стека для принятия решений на данных.

Стек
SQL, Python, Java, Data lake (dremio), Postgres, Clickhouse, Kafka, Spark, Jupyter, BI, Kubernetes, VictoriaMetrics, Soda-SQL, Great expectations.

Что делать:

• Выстраивать методологию тестирования на проекте
• Выбирать, внедрять и поддерживать лучшие практики
• Тестировать и автоматизировать процесс для проверки датасетов, интеграций, ETL процедур, выгрузок, BI дашбордов
• Реализовывать визуализацию качества данных, автоматизация сбора метрик и показателей, составление дашбордов
• Настройка алертов и уведомлений по проблемам в качестве данных
• Поддержка инструментов импорта, решение проблем с данными и их получением

От Вас:

• Уверенные знания SQL middle
• Опыт составления чек-листов, тест-кейсов, тест-планов и др. документации тестирования
• Понимание ETL процедур (REST, SQL, Java) и способов интеграции
• Опыт общения со стриминговыми данными (kafka)

Как плюс:

• Знание Java/Groovy или хотя бы понимание работы таких приложений
• Опыт автоматизации тестирования (например soda-sql, great expectations или подобные фреймворки)
• Опыт анализа данных (Jupyter lab)

Взамен:

• ТК РФ, ДМС (включая стоматологию и госпитализацию)
• Дружный доброжелательный коллектив, в котором приятно работать, лояльное руководство, удаленно в Рф или офис СПБ на выбор
• Скидки на спорт, кино, языковые курсы