О проекте:
Команда DWH - занимается развитием и поддержкой корпоративного хранилища данных в Лаборатории Касперского.
Наша платформа позволяет решать важные продуктовые задачи и принимать стратегические решения в компании на основе данных.
Основное хранилище данных реализовано на MS SQL Server. Его объем исчисляется терабайтами данных и продолжает расти. Сейчас активно внедряем DataLake на базе Kafka, Airflow, Hadoop, Hive, Spark и нам необходимо развивать процессы и инфраструктуру для тестирования.
В качестве источников данных используются: базы данных, API, SFTP (файлы разных форматов), брокеры сообщений (RabbitMQ, Kafka). В команде хорошо развиты процессы и инженерные практики: написание автотестов, ревью, CI, автоматизированные мониторинги.
Основные задачи:
- Планирование и проведение необходимых видов тестирования для процессов загрузки данных в DWH, DataLake, DataVault;
- Разработка автоматизированных тестов (Python (pytest, pyspark), SQL);
- Помощь команде в анализе и решении инцидентов;
- Создание и поддержка в актуальном состоянии тестовых сред;
- Написание процессов по проверке качества данных в хранилище.
Что вам для этого нужно:
- Понимание процесса разработки и целей процесса тестирования;
- Опыт написания автотестов на Python;
- Опыт работы с базами данных. SQL на хорошем уровне;
- Знание теории тестирования (техники тестирования, планирование тестирования, тест-дизайн).
Будет плюсом:
- Понимание что такое хранилища данных, ETL-процессы. Опыт их тестирования;
- Опыт работы с Docker;
- Опыт работы со Spark;
- Опыт работы с Azure DevOps.
