Data Engineer (DWH)

Дата размещения вакансии: 22.11.2024

Работодатель: Excdev

Уровень зарплаты:

от 200000 RUR

Город:

Москва

Требуемый опыт работы:

От 3 до 6 лет

Ищем опытного аналитика данных. Если вы в поиске работы в стабильной компании с духом стартапа, приглашаем в нашу команду!

Чем предстоит заниматься:

Разработка, тестирование и оптимизация ETL процессов для загрузки данных в DWH.
Интеграция данных из различных источников (ERP, Web API) с использованием Apache Airflow.
Разработка и поддержка потоков данных с использованием Kafka.
Парсинг данных из интернета, их очистка и нормализация для использования в DWH.
Работа с PostgreSQL и ClickHouse для хранения и обработки данных.
Автоматизация процессов обработки данных и обеспечение их надежности.
Участие в проектировании архитектуры DWH и поддержка существующих решений.
Взаимодействие с командами аналитиков и BI для обеспечения корректности данных.

Наши ожидания от кандидата:

Высшее математическое или техническое образование;
Минимум 3 года опыта работы в управлении данными, инжиниринге данных или анализе данных в сфере веб и/или мобильных продуктов;
Опыт разработки ETL процессов и работы с инструментами ETL (например, Apache Airflow).
Глубокие знания SQL и опыт работы с реляционными базами данных (PostgreSQL).
Опыт работы с ClickHouse и понимание его архитектуры.
Опыт работы с Apache Kafka для интеграции и передачи данных.
Навыки парсинга данных из интернета (например, с использованием Python, BeautifulSoup,Scrapy).
Знание принципов и практик управления данными и архитектуры DWH.
Опыт работы с большими данными и понимание их особенностей.
Навыки оптимизации производительности запросов и процессов.

Будет огромным плюсом:

Условия:

Откликнуться