Команда SberInfra ищет Java разработчиков для наших продуктов - сервисов федеративного доступа. Мы разрабатываем инфраструктурные компоненты на основе open source кода для дата центра с объемом 10+ петабайт данных и десятками тысяч ядер, с фокусом на защиту данных и реализацию алгоритмов безопасности.
Waggle-Danсе: Обеспечивает возможность работы с HMS нескольких кластеров Hadoop (SDP/Cloudera) при условии наличия федерации между кластерами. Фактически представляет собой proxy сервис, который онлайн запрашивает данные из внешнихHMS. Технически это Java процесс который запускается отдельно от Cloudera и реализует Thrift интерфейс Hive Meta store.
Sentry-proxy: Обеспечивает авторизация операций для Hive и Impala. Является proxy сервисов, который для настроенных федераций получает авторизационную информацию из внешних сервисов Sentry и Hadoop использует эту информацию для авторизации операция пользователя в Hive и Impala. Сервис собой представляет реализацию интерфейса Sentry и может запускаться как в случае наличия Sentryсервиса на локальном кластере, так и в случае его отсутствия. В случае отсутствия создаются синтетические права пользователям кластера.
HDFS Gateway: Представляет собой proxy cервис (шлюз), реализующий Hadoop Data protocol. Для внешних пользователей представляет собой HDFS, к которому можно настраивать федерацию и подключатcя как Hadoop client. В процесс запроса данных компонент может трансформировать данные отдаваемые клиенту HDFS любым образом. В текущей момент планируется использовать как компонент Сервиса защиты данных для применения политик доступа к данным подписок. Потенциально может работать с любыми данными хранящимися в HDFS, сейчас реализована поддержка Apache parquet.
Обязанности
- Исследовать OSS библиотеки и фреймворки для Hadoop, проводить их анализ и доработку
- Дорабатывать сервисы для Hadoop
Требования
- Уверенное владение Java SE
- Уверенные навыки кодирования
- Желателен опыт разработки библиотек и фреймворков
- Желателен опыт работы с авторизацией и ауфенктикацией в Java
- Будет плюсом опыт разработки ETL или инструментов для аналитики
Условия
- работа в офисе БЦ «Даниловский Форт»
- график гибридный либо удаленный, 5/2
- стабильный оклад и социальную поддержку сотрудников
- расширенный ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких
- ипотека выгоднее на 4 п.п. и льготные условия кредитования для каждого сотрудника
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров: Сбер Маркет, Delivery Club, Самокат, Сбер Еаптека и других;
- корпоративная пенсионная программа
- корпоративное обучение за счет компании
- реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение до 100 тыс. рублей
- официальное оформление с первого дня
- корпоративный спортзал и скидки в спортзалы-партнеры
