Data Engineer

Обязанности:

1. Разработка и поддержка ETL/ELT процессов

• Проектирование, разработка и оптимизация пайплайнов в Airflow для загрузки и трансформации данных.
• Автоматизация загрузки данных из различных источников (БД, API, файловые хранилища).
• Оптимизация ETL-процессов для работы с большими объемами данных.

2. Работа с базами данных (ClickHouse, PostgreSQL)

• Проектирование моделей данных и схем хранения для аналитики.
• Оптимизация SQL-запросов, индексация, настройка партиционирования и репликации.
• Настройка и поддержка ClickHouse и PostgreSQL для высоконагруженных аналитических задач.

3. Витринизация данных и подготовка аналитики

• Разработка агрегированных витрин данных для BI-инструментов (Tableau).
• Настройка процессов обновления данных в витринах.
• Оптимизация хранения данных и построение OLAP-структур.

4. Интеграция и работа с API

• Подключение к внешним API и автоматизация выгрузок данных.
• Разработка сервисов для передачи данных между системами.
• Создание механизмов стриминговой обработки данных (Kafka/RabbitMQ).

5. Автоматизация и DevOps-практики

• Настройка мониторинга процессов (логирование, алерты, метрики).
• Поддержка CI/CD-процессов для деплоя ETL-скриптов.
• Контейнеризация сервисов с использованием Docker/Kubernetes.

6. Работа с аналитиками и бизнес-командами

• Сбор требований от аналитиков и продуктовых команд.
• Дизайн моделей данных с учетом бизнес-логики и аналитических нужд.
• Поддержка пользователей BI-отчетности (оптимизация запросов, настройка дашбордов).

7. Обеспечение качества и безопасности данных

• Контроль целостности данных и обработка ошибок загрузки.
• Настройка доступов и ролевой модели для работы с данными.
• Разработка тестов и механизмов валидации данных.

Требования:

• Высшее образование в области информационных технологий, математики или смежных дисциплин.
• Опыт работы с инструментами ETL/ELT (Apache Airflow) не менее 2-х лет.
• Уверенные знания SQL и опыт работы с базами данных ClickHouse и PostgreSQL.
• Опыт разработки BI-решений и работы с инструментами визуализации данных (Tableau).
• Знания в области интеграции API и опыт работы с Kafka/RabbitMQ.
• Опыт работы с Docker/Kubernetes и понимание DevOps-практик.
• Умение работать в команде, высокая степень ответственности и внимание к деталям.
• Хорошие коммуникативные навыки и способность взаимодействовать с аналитиками и бизнес-командами.

Условия:

• Применяется удаленный формат работы, место работы возможно в любом городе или любой стране.
• График: 5/2 с 10.00 до 19.00 по московскому времени.
• Динамичная работа в команде профессионалов.