Архитектор решений Hadoop

Дата размещения вакансии: 09.10.2024
Работодатель: Группа НЛМК
Уровень зарплаты:
з/п не указана
Город:
Москва
Требуемый опыт работы:
От 3 до 6 лет

Группа НЛМК крупнейший в России и один из самых эффективных в мире производителей стальной продукции. Производственные активы в России, Европе, Азии и США. Мы создаем совершенную сталь для ключевых отраслей: от строительства до ветроэнергетики. Разрабатываем новые технологии и внедряем передовые цифровые решения. Заботимся о сотрудниках и создаем возможности для их развития и самореализации. Создаем настоящее будущее.

Для нас важно:

  • Анализ и участие в подготовке ФТТ.

  • Проектирование архитектуры решений, физических моделей данных с

  • учетом особенностей платформ, включая принципы построения слоев STG/ODS/DDS/DM, а также перемещения данных между ними.

  • Подготовка сайзинга необходимой инфраструктуры.

  • Проектирование интеграции данных между различными системами.

Чем предстоит заниматься:

  • Корпоративные хранилища данных:

Опыт построения DWH, DL

  • Разработка процедур загрузки данных из различных источников, автоматизация и контроль ETL\ELT процессов:
  1. Apache Airflow
  2. Apache NiFi
  • Знание языков программирования (на выбор):
  1. Python (основные пакеты Numpy, Pandas, SCiPy и др)
  2. SQL
  3. Java Scala
  4. C++
  • Знание фреймворков потоковой обработки данных:
  1. Kafka Streaming and Connect
  2. Flink
  3. Spark Streaming
  • Навыки разработки приложений с использованием инструментария экосистемы Hadoop:
  1. HDFS, YARN, Hbase, Hive, Spark, Kafka, Sentry, Airflow, Ranger, Impala и т.п.
  • Опыт работы с реляционными системами управления базами данных (SQL):
  1. MSSQL
  2. Oracle
  3. PostgreSQL
  4. MySQL
  • Опыт работы с системами управления базами данных (NoSQL):
  1. Clickhouse
  2. Cassandra
  3. ScyllaDB
  4. MongoDB
  5. Redis
  • Владение git

Работа в группе НЛМК-это:

  • Работа в международной сталелитейной компании с активами в России, США и странах Европы, с развитыми корпоративными ценностями и стандартами;
  • Оформление по ТК РФ, ежегодная индексация заработной платы, прозрачная система премирования;
  • Высокие стандарты безопасности труда и культуры производства;
  • Корпоративные льготы: корпоративная сотовая связь, летние путёвки для детей, новогодние детские подарки, программы лояльности от партнеров, корпоративная дотация на питание, материальная поддержка сотрудников в различных жизненных ситуациях;
  • График Работы: 5/2, удаленный формат работы
  • Релокационный пакет с нашей поддержкой;
  • Программы заботы о здоровье: (ДМС, страхование от НС и профессиональных заболеваний, диспансеризация, вакцинация).
  • Возможность принять участие в интересных и сложных проектах с лучшими специалистами индустрии.