Data Engineer

Дата размещения вакансии: 28.10.2024
Работодатель: Start Industries
Уровень зарплаты:
з/п не указана
Город:
Москва
Ленинградский проспект 31Ас1
Требуемый опыт работы:
От 3 до 6 лет

Грейд: Senior

О компании
Мы ищем опытного Дата-инженера для работы с нашими данными в высокотехнологичной и динамичной среде. Наша компания работает в области инвестиционного анализа и разработки инструментов для принятия обоснованных решений на фондовом рынке. Идеальный кандидат имеет опыт работы с корпоративными данными и ориентируется в инструментах для инвестирования, но это не является обязательным требованием.

Основные обязанности:
- Настройка интеграций с различными источниками данных.
- Организация и поддержка каталога данных.
- Поддержка и помощь в работе с хранилищем данных.
- Взаимодействие с командами разработки и аналитики.

Наши ожидания:
- Опыт настройки и управления пайплайнами данных в корпоративной среде.
- Разработка DAG на Python для автоматизации ETL-процессов.
- Оптимизация и мониторинг выполнения DAG-ов.
- Умение самостоятельно разрабатывать ETL/ELT процессы на основании бизнес-требований.
- Понимание основных принципов трансформации данных и интеграции различных источников.
- Опыт работы с каталогами данных и их организации.
- Разработка и поддержка моделей данных с использованием DBT.
- Интеграция DBT в пайплайны данных для трансформации.
- Понимание процессов версионирования моделей данных.
- Опыт работы с Kafka, включая настройку, оптимизацию и масштабирование.
- Умение писать сложные запросы и оптимизировать их производительность.
- Опыт работы с PostgreSQL, MSSQL.
- Опыт работы с Yandex.Cloud.
- Опыт работы с системами контроля версий и настройка CI/CD для дата-процессов (желательно).

Мы предлагаем:

- Оформление по ИП, стабильный и прозрачный доход ;

- Полностью удаленный формат работы

- Огромные возможности для профессионального и карьерного роста

Если вам интересно работать с корпоративными данными, участвовать в сложных интеграционных проектах и поддерживать высокие стандарты качества данных, будем рады видеть вас в нашей команде!