Ведущий разработчик DWH / data engineer (hadoop)

Дата размещения вакансии: 05.11.2024
Работодатель: Группа НЛМК
Уровень зарплаты:
з/п не указана
Город:
Москва
Требуемый опыт работы:
От 1 года до 3 лет

Группа НЛМК крупнейший в России и один из самых эффективных в мире производителей стальной продукции. Производственные активы в России, Европе, Азии и США. Мы создаем совершенную сталь для ключевых отраслей: от строительства до ветроэнергетики. Разрабатываем новые технологии и внедряем передовые цифровые решения. Заботимся о сотрудниках и создаем возможности для их развития и самореализации. Создаем настоящее будущее.

Для нас важно:

Проектирование и развитие логических и физических моделей данных источников, хранилищ и витрин данных, включая принципы построения слоев STG/ODS/DDS/DM, а также перемещения данных между ними;

  • Разработка физических моделей данных с учетом особенностей платформ;

Настройка и поддержка интеграции данных между различными системами;

  • Извлечение и анализ данных из различных структур: источников данных, хранилищ, витрин, аналитических платформ;
  • Анализ требований к качеству данных, разработка методики и метрики управления качеством данных - согласованности, своевременности, актуальности, целостности, точности, полноты, достоверности;
  • Поиск факторов и корневых причин: подготовка, очистка, обогащение, стратификация, визуализация, анализ данных.

Чем предстоит заниматься:

  • Обеспечение поддержки и развития хранилищ данных по направлению BI;
  • Опыт построения DWH, DL;

Разработка процедур загрузки данных из различных источников, автоматизация и контроль ETL\ELT процессов:

  • Apache Airflow, Apache NiFi, Oozie;

Базовые знания языков программирования:

  • Python (основные пакеты Numpy, Pandas, SCiPy и др), SQL;

Знание фреймворков потоковой обработки данных:

  • Kafka Streaming and Connect, Flink, Spark Streaming;

Опыт работы с реляционными системами управления базами данных (SQL):

  • MSSQL, Oracle, PostgreSQL, MySQL;

Опыт работы с системами управления базами данных (NoSQL):

  • Clickhouse, Cassandra, ScyllaDB, MongoDB, Redis, Владение git.

Работа в группе НЛМК-это:

  • Работа в международной сталелитейной компании с активами в России, США и странах Европы, с развитыми корпоративными ценностями и стандартами;
  • Оформление по ТК РФ, ежегодная индексация заработной платы, прозрачная система премирования;
  • Высокие стандарты безопасности труда и культуры производства;
  • Корпоративные льготы: корпоративная сотовая связь, летние путёвки для детей, новогодние детские подарки, программы лояльности от партнеров, корпоративная дотация на питание, материальная поддержка сотрудников в различных жизненных ситуациях;
  • График Работы: 5/2, удаленный формат работы
  • Релокационный пакет с нашей поддержкой;
  • Программы заботы о здоровье: (ДМС, страхование от НС и профессиональных заболеваний, диспансеризация, вакцинация).
  • Возможность принять участие в интересных и сложных проектах с лучшими специалистами индустрии.