Цифровые Привычки – аккредитованная IT-компания, резидент Сколково, топ-5 подрядчиков Сбера. Мы предоставляем услуги IT-консалтинга, заказной разработки, аутсорсинга IT-процессов и развиваем собственные продукты и проекты партнеров
Наша команда — это сплоченный коллектив высококвалифицированных профессионалов, способных эффективно решать самые сложные задачи. Нас более 250 человек, распределенных по разным проектам и городам.
Люди — самый ценный актив.
Наша команда экспертов объединена общими идеями, ценностями и миссией. Мы делаем свою работу лучше каждый день благодаря общим принципам, которые нами движут.
Мы заботимся о благополучии специалистов: создаем комфортные условия труда, ставим амбициозные задачи и даем возможность поменять проект, если он по каким-то причинам перестал устраивать.
Количество наших проектов растет, как растет и наша команда.
VK Data Platform — это программный комплекс, предназначенный для построения и управления продуктами для работы с данными, с каталогом услуг и сервисов, устанавливаемым на аппаратные мощности, предоставляемые Заказчиком. Предоставляет удобный доступ к сервисам хранения, обработки и управления данными, предустановленным, проинтегрированным и преднастроенным в рамках Системы.
Цели Системы — предоставить заинтересованным отечественным компаниям инструментарий для развертывания и управления СУБД различных типов, в том числе в сложных, отказоустойчивых конфигурациях.
Обязанности:
- Разработка и сопровождение ETL-пайплайнов и типовых интеграционных решений в data platform
- Проектирование, реализация и оптимизация сложных ETL-процессов (в том числе разработки DAG для автоматизации)
- Реализация обработки потоковых данных
- Разработка решений с различными системами хранения и распределенных SQL-движков
- Внедрение подходов и процессов управления данными.
- Участие в подготовке пилотов и внедрении VK DataPlatform
Требования:
1. Обработка данных
- Опыт работы с NiFi/AirFlow
- Опыт проектирования пайплайнов обработки данных
- Опыт проектирования с пайплайнов проверки качества данных
- Опыт и понимание работы с Spark
- Опыт программировании java/scala/python
- Опыт работы с Kafka/RabbitMQ
2. Хранение данных
- Опыт работы с PostgreSQL, ClickHouse от 3 лет
- Опыт работы с S3/Hadoop
- Опыт построение дата-архитектуры (DWH,OLAP,ELT/ETL/Data Lake/LakeHouse)
- Знание SQL
- Опыт работы с NoSQL базами данных
- Опыт работы и понимание работы распределенных SQL движков trino/dbt
3. Управление данными
- Понимание приципов Data Governance
- Опыт работы с Data Catalog OpenMetadata/DataHub/Atlas
4. Дополнительно (будет плюсом)
- Знание DataOps-практик
- Опыт с оркестрацией в Kubernetes
- Интеграция ML-моделей в ETL процессы
- Опыт работы с BI инструментами
- Опыт работы с Data Mesh / Data Fabric
Условия:
- Достойная заработная плата
- Трудоустройство по ИП, ГПХ, СЗ
- Формат работы - удаленный
- Работа по часовому поясу +2 часа от мск. вр.
- Реальный рост внутри компании, регулярный пересмотр зарплаты по результатам работы
- Обучение в образовательном центре HeadBridge на базе компании
- Возможность изучения английского языка
- Доход обсуждаем с каждым кандидатом индивидуально (все зависит от вашего уровня знаний)
