Наша команда разработки аналитической инфраструктуры занимается полным циклом обработки данных в компании. Цикл включает сбор, хранение, валидацию и комбинирование всех знаний о бизнесе. Ключевое направление нашей деятельности — аналитическое хранилище данных (DWH), которое мы строим для нужд бизнес-подразделений. Наши пользователи — это и продуктовые команды, которым нужна регулярная отчётность для принятия решений, и эксперты в области глубокого анализа данных.
Технологически ядро хранилища построено на системах хранения данных Yandex Tables (кластер MapReduce собственной разработки), СlickHouse и PostgreSQL. Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, который разработан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: Lambda-архитектура, Data Lake, Data Vault.
Задачи:
Проектирование структуры
Вы будете проектировать структуру хранения и обработки данных для новой версии DWH Авто.ру, которая будет создаваться с нуля.
Сопровождение процессов наполнения DWH Авто.ру
Вам предстоит сопровождать текущие процессы наполнения DWH Авто.ру, заниматься созданием новых ETL-процессов в условиях изменения стека в сторону опенсорса.
Оптимизация процессов поставки данных там, где это требуется
При необходимости вы будете погружаться в специфику данных одной или нескольких прикладных бизнес-областей, чтобы как эксперт помогать выявлять критичные аномалии в данных.
Мы ждем, что вы:
- Занимались промышленной разработкой на Python
- Проектировали DWH: слои, модели хранения данных, ETL/ELT-процессы
- Разрабатывали ETL-процессы с использованием Apache Airflow для DWH на основе Greenplum
- Настраивали поставки данных по API
- Разбираетесь в SQL на уровне эксперта
- Понимаете устройство и архитектуру реляционных и нереляционных баз данных
- Понимаете принципы работы технологий распределённой обработки данных: Hadoop, MapReduce и MPP
- Знаете основные алгоритмы и структуры данных (особенно те, которые используются в работе с большими данными)
Будет плюсом:
- Работали с системами YT (YTsaurus), ClickHouse, а также с инструментами оркестрации и выполнения процессов от Яндекса
- Работали с брокерами сообщений Kafka, RabbitMQ и т. д.
- Умеете работать в командной строке *nix-систем: Linux и macOS
