Любые данные, сколько бы их ни было, практически бесполезны в необработанном виде. В Яндексе данные преобразуются при заливке в базы, обогащении, расчёте офлайновых ML-моделей и во многих других случаях. Мы развиваем real-time-технологию, которая сделает обработку данных эффективной, удобной и лёгкой в поддержке. Ищем человека, который поможет воплотить её в жизнь.
Сейчас наша система обрабатывает сотни тысяч сообщений в секунду и является одним из самых высоконагруженных real-time-процессингов в Яндексе. В будущем мы планируем превратить её в универсальную платформу RT-процессинга для Екома, сделать систему удобнее для пользователей, повысить прозрачность учёта ресурсов и надёжность.
Какие задачи вас ждут
Stateless- и stateful-процессинг
Вам предстоит писать код в асинхронное ядро технологии, работать с транзакциями БД, упорядочивать обработку сообщений и корректно обрабатывать ошибки.
Оптимизация процессинга
Вы будете улучшать процессинг в плане пропускной способности, настраивать базы данных и увеличивать эффективность использования «железа».
Улучшение поддержки системы
Вам нужно будет дополнять существующие метрики, логирование и трассировку. Кроме того, вы будете улучшать вьювер и средства отладки.
Мы ждем, что вы
- Хорошо знакомы с многопоточным программированием
- Придумываете гибкие решения, которые подходят для разнообразных задач
- Работали с С++ не менее 5 лет
- Способны писать надёжный код, исследовать сложные проблемы, работать в команде
Будет плюсом, если вы
- Знакомы с Apache Beam, Apache Flink и другими системами потоковой обработки данных
- Работали с распределёнными системами
