Команда сервисов транспорта и обработки данных отвечает за:
- Data Transfer— сервис репликации данных между различными системами хранения и обработки. Решает задачи миграции production-баз, поставки данных в OLAP-хранилища, CDC, архивации и другие
- Сервисы хранения и управления метаданными — информации об источниках данных, подключениях, схемах и т. д.
Наши разработки помогают крупнейшим российским компаниям и сервисам Яндекса (Yandex Cloud, Маркет, Такси, Поиск и др.) решать разовые задачи и строить production-системы поставки и обработки данных. Ищем бэкенд-разработчиков, которым интересны работать со внутренним устройством БД и распределёнными системами, строить системы и пайплайны обработки и хранения данных.
Технологии:
- Пишем на Go и немного на C++
- Активно используем облачную инфраструктуру, в том числе IaC-решения
- Разбираемся в различных БД и распределённых очередях, например PostgreSQL, ClickНouse, Greenplum, Kafka
Какие задачи вас ждут
Работа над механизмом поставки exactly once
Предстоит проработать и реализовать механизм, который обеспечит семантику поставки exactly once для тех хранилищ, где она не поддерживается из коробки.
Развитие сервиса Data Transfer
Вы поможете сервису Data Transfer эволюционировать в полноценный ETL-инструмент с возможностью потоковой обработки данных непосредственно в процессе их переноса.
Инфраструктурные задачи
Поддерживать баланс между скоростью переноса данных, их консистентностью и нагрузкой на источники и приёмники.
Мы ждём, что вы:
- Хотите работать с различными БД и их внутренним устройством, с распределёнными системами
- Любите строить системы и пайплайны обработки и хранения данных
