Senior Data Engineer

Вы можете присоединиться к команде, которая занимается генеративной аналитикой и исследованиями того, как лучше решать существующие задачи с помощью RAG.
Вы будете: заниматься поиском и внедрением передовых подходов к работе с данными с использованием ИИ. Исследовать, как применение передовых фреймворков для работы с RAG и LLM в целом влияет на результат. Создавать и поддерживать эффективные ETL-пайплайны, чтобы поставлять в систему свежие данные для работы с ними с помощью RAG. Предлагать улучшения и варианты оптимизации существующей инфраструктуры, чтобы работать еще быстрее и с бóльшим количеством данных.

Задачи:

• разработка и настройка механизмов для автоматизированного сбора данных, обеспечение корректности и полноты сбора, оптимизация процессов таким образом, чтобы все работало быстрее и без ручного вмешательства.
• разработка пайплайнов для предобработки данных и их преобразования в формат, оптимальный для дальнейшего хранения, обработки и использования для RAG.
• проектирование и реализация хранилища, которое позволило бы эффективно решать задачи, связанные с RAG.
• применение машинного обучения и искусственного интеллекта для улучшения результатов работы.
• поддержка корректной работы системы – мониторинг, диагностика и устранение неполадок, исправление старых багов и создание новых

Ожидания:

• умение проектировать DWH, Data Lake, Data Management Platform
• опыт построения и развития высоконагруженных систем
• опыт разработки и оптимизации пайплайнов (batch, streaming) для обработки больших объемов данных (100TB - 1PB+)
• продвинутый уровень владения Python и SQL
• опыт работы с движками для распределенной обработки данных (Spark, Trino)
• опыт работы с очередями сообщений (Kafka, RabbitMQ)
• опыт работы с MPP базами данных и понимание их внутреннего устройства (ClickHouse, Greenplum, Vertica)
• базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform, CI/CD

Будет плюсом:

• опыт работы с облачными платформами (AWS, GCP, SberCloud) и хранилищами (S3, MinIO, Ceph)
• опыт backend-разработки
• опыт администрирования БД
• опыт разработки на GoLang

Условия:

• гибкий стек инструментов и технологий – можно пробовать новое, если точно знаете, зачем
• адекватный подход к управлению – мы не ставим нереальных сроков и не предлагаем поработать в выходной ради высшего блага
• работа с крупнейшими массивами данных на рынке России
• гибкий график для оптимального баланса работы и личной жизни, возможна удалёнка
• дружный коллектив и здоровая атмосфера взаимопомощи
• амбициозные задачи
• профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека
• ДМС, страхование жизни
• Свободный дресс-код.
• Льготные кредиты и корпоративные скидки