Сервисы Яндекса оперируют эксабайтами данных, которые нужно эффективно хранить, обрабатывать и передавать между различными системами. Для этих задач мы развиваем собственные инфраструктурные решения, например распределённую платформу хранения и обработки данных YTsaurus. Внутри Яндекса практически каждый сервис использует её.
Для построения пайплайнов обработки данных и регулярного запуска вычислений в компании существует платформа Nirvana, которая тесно интегрирована с YTsaurus и использует её в качестве основной среды для запуска задач. Nirvana обладает удобным веб-интерфейсом для создания ETL-процессов, а также позволяет описывать их на языке Python. На ней построена существенная часть пайплайнов обработки и подготовки данных. Наиболее известные опенсорс-аналоги в мире, которые решают подобные задачи, — Apache NiFi и Apache Airflow.
Мы ищем технического менеджера продукта, который будет вместе с нами развивать платформу Nirvana. Ожидаем, что с вашей помощью сможем сформировать новые направления развития платформы и успешно реализовать их, тем самым упростив работу тысяч разработчиков и аналитиков в компании.
Мы — команда увлечённых людей, любим вызовы и готовы делиться знаниями. Приходите, чтобы вместе с нами развивать высоконагруженный инфраструктурный сервис!
Какие задачи вас ждут
Взаимодействие с пользователями
Вам предстоит много общаться с внутренними пользователями, участвовать в формировании лучших практик использования инфраструктуры, а также отвечать за продуктовое развитие платформы Nirvana.
Технические вызовы
Вы будете вести внутренние инфраструктурные проекты и участвовать в интеграционных проектах вместе с несколькими командами разработки, эксплуатации и тестирования. Например, реализовывать проекты по снижению порога входа для новых пользователей или по улучшению интеграции между платформами YTsaurus и Nirvana.
Выстраивание рабочих процессов
Вам нужно будет сотрудничать с разработчиками других инфраструктурных сервисов, критически анализировать существующие рабочие процессы, находить проблемные места, предлагать и внедрять улучшения.
Мы ждем, что вы
- Управляли продуктами и проектами
- Непосредственно занимались разработкой программного обеспечения
- Последний год работали в аналогичной должности
- Составляли FAQ и пользовательскую документацию, точно и понятно выражаете свои мысли — как устно, так и письменно
- Получили высшее образование: техническое или математическое
- Имеете опыт работы с командой разработчиков, коммуникабельны, разговариваете с разработчиками на одном языке
- Способны расставлять приоритеты и решать задачи в срок
- Умеете управлять обсуждениями и фиксировать результаты
- Хотите погрузиться в предметную область и стать экспертом в области инфраструктуры распределённых систем
Будет плюсом, если вы
- Работали с распределёнными системами хранения и обработки данных, например Hadoop или Spark
- Взаимодействовали с ETL-инструментами, например Apache NiFi или Apache Airflow
- Писали SQL-запросы
- Понимаете основные принципы построения распределённых систем хранения и обработки данных
- Владеете навыками программирования на Python или любом другом языке
