Архитектор DWH

Дата размещения вакансии: 20.09.2024
Работодатель: ExRP
Уровень зарплаты:
з/п не указана
Город:
Москва
Требуемый опыт работы:
От 3 до 6 лет

Мы предлагаем работу на крупных проектах у федеральных заказчиков.

Эксперт РП – это команда по привлечению внештатных ИТ- экспертов и обучению проектных команд. Мы специализируемся во внедрении, развитии и поддержке решений SAP, интеграции с другими системами и разработкой микро-сервисных приложений.

Наши партнёры реализуют проекты в области финтеха, банкинга, добывающей и обрабатывающей промышленности, нефти и газа, энергетики.

Приглашаем на проект:

Архитектора DWH

Отрасль проекта: металлургическая

Требования к кандидату:

Общие требования – от 5 лет опыта в области проектирования и разработки архитектуры хранилищ данных (DWH).

Образование: Высшее образование в области информационных технологий, компьютерных наук или смежных областях.

Технические навыки

  • Базы данных и хранилища данных - Greenplum: - Углубленные знания архитектуры Greenplum. - Опыт настройки и оптимизации производительности Greenplum. - Опыт работы с SQL для написания сложных запросов.
  • Языки программирования - Python: - Уверенное владение Python для разработки ETL/ELT процессов. - Опыт работы с библиотеками для обработки данных, такими как Pandas, NumPy.
  • Инструменты потоковой обработки данных - kafka: - Знание принципов работы kafka и его экосистемы. - Опыт настройки и интеграции kafka в архитектуру DWH.
  • Оркестрация процессов - Aiflow: - Опыт использования Apache Airflow для автоматизации ETL процессов. - Знание принципов DAG (Directed Acyclic Graph) и их применения в Airflow. - NiFi: - Опыт работы с Apache NiFi для управления потоками данных. Знание принципов создания и настройки потоков данных в МН.
  • ETL/ELT процессы - Глубокое понимание ETL и ELT процессов, их различий и применения. - Опыт разработки и оптимизации ETL/ELT процессов на различных платформах.
  • Системы контроля версий - Git: - Уверенное владение Git для управления версиями кода. - Опыт работы с системами CI/CD (Continuous lntegration/Continuous Depbyment) будет плюсом.

Архитектурные навыки - Умение проектировать масштабируемую и высокодоступную архитектуру DWH. - Опыт работы с облачными решениями (AWS, Azure, GCP) будет плюсом.

Навыки написания технической документации - Умение составлять технические задания (ТЗ) для разработки и интеграции систем. - Опыт описания технологий и протоколов интеграции между системами, включая APl, веб-сервисы и другие методы взаимодействия.

Условия:

  • Полностью удаленная работа;
  • В рамках этого проекта полная занятость (100% в рабочее время по МСК), частичная занятость возможна (от 4 часов в рабочее время), но есть и другие проекты;
  • Работа в профессиональной команде;
  • Участие в крупном интересном проекте;
  • Фриланс-контракт ИП, самозанятость;
  • Ежемесячное актирование, сроки оплаты 20 рабочих дней.