з/п не указана
Москва
Более 6 лет
Команда реализует важнейшие проекты по управлению большими данными и обеспечивает возможность для работы с данными большому количеству пользователей (data engineer, data science, data analyst) для решения бизнес-задач. Основная задача состоит в улучшении существующей инфраструктуры путем активного внедрения новых технологии, практик и решений для эффективной обработки и хранения данных обеспечивая при этом необходимую надежность и доступность. Активно развивается направление на базе ClickHouse в качестве инструмента Ad-hoc аналитики, обеспечивающего высокую производительность и NRT-обработку данных.
Обязанности
- масштабировать и поддерживать инфраструктуры хранения и обработки данных в объёме терабайтов ежедневных поступлений
- создавать и поддерживать решения на базе ClickHouse
- интегрировать ClickHouse с существующими сервисами и инструментами экосистемы данных (Greenplum, Hadoop, Kafka, Flink)..
- оптимизировать производительность системы и решение вопросов утилизации ресурсов
- настраивать и сопровождать ETL-процессы, организовывать контроль целостности и точности данных
- коммуницировать с заинтересованными сторонами и внутренними потребителями данных.
Требования
- опыт работы с ClickHouse, глубокое понимание особенностей её функционирования и способов повышения производительности
- практический опыт разработки и поддержки решений на основе больших данных (DWH объемом >1PB)
- опыт интеграции и синхронизации разнородных баз данных (ClickHouse + Greenplum)
- владение инструментарием работы с большими данными: Hadoop, Spark, Kafka, Flink, Trino
- опыт работы с оркестраторами и процессами ETL (Airflow, другие оркестраторы).
- понимание принципов построения микросервисной архитектуры и опыт успешной интеграции новых компонентов в инфраструктуру.
Условия
- график работы- гибрид
- ежегодный пересмотр зарплаты, годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- ипотека для сотрудников выгоднее до 7%
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера.
