Data Engineer

Команда занимается поиском и внедрением передовых подходов к работе с данными с использованием ИИ. Исследует, как применение передовых фреймворков для работы с RAG и LLM в целом влияет на результат. Создает и поддерживает эффективные ETL-пайплайны, чтобы поставлять в систему свежие данные для работы с ними с помощью RAG. Предлагает улучшения и варианты оптимизации существующей инфраструктуры, чтобы работать еще быстрее и с бóльшим количеством данных.

Обязанности

• разрабатывать и настраивать механизмы для автоматизированного сбора данных, обеспечивать корректность и полноту сбора, оптимизировать процессы таким образом, чтобы все работало быстрее и без ручного вмешательства
• разрабатывать пайплайны для предобработки данных и преобразовывать их в формат, оптимальный для дальнейшего хранения, обработки и использования для RAG
• проектировать и реализовывать хранилища, которые позволили бы эффективно решать задачи, связанные с RAG
• применять машинное обучение и искусственный интеллект для улучшения результатов работы, поддерживать корректную работу системы – мониторинг, диагностика и устранение неполадок, исправление старых багов.

Требования

• умение проектировать DWH, Data Lake, Data Management Platform
• опыт построения и развития высоконагруженных систем
• опыт разработки и оптимизации пайплайнов (batch, streaming) для обработки больших объемов данных (100TB - 1PB+)
• продвинутый уровень владения Python и SQL
• опыт работы с движками для распределенной обработки данных (Spark, Trino)
• опыт работы с очередями сообщений (Kafka, RabbitMQ)
• опыт работы с MPP базами данных и понимание их внутреннего устройства (ClickHouse, Greenplum, Vertica)
• базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform, CI/CD
• навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом
• опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
• инструментальное владение AI для анализа, генерации и автоматизации.

Условия

• комфортный офис БЦ «Южный Порт» (10 минут пешком от ст. м. Кожуховская),
• график 5/2 (возможен гибрид)
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• уникальная система обучения Сбера для профессионального развития
• расширенный ДМС и льготное страхование для семьи
• ипотека для сотрудников выгоднее
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа