Data Engineer

НЛМК-предприятие с полным металлургическим циклом: от производства сырья для выплавки чугуна и стали до конечной продукции – плоского металлопроката с высокой добавленной стоимостью. Высококачественная металлопродукция НЛМК применяется в различных стратегически важных отраслях экономики, от строительства и машиностроения до производства энергетического оборудования и труб большого диаметра.

Чем предстоит заниматься:

• Разработка, сопровождение и развитие ETL/ELT-процессов сбора, обработки, преобразования и загрузки данных;
• Проектирование, разработка и сопровождение хранилищ данных и витрин данных;
• Интеграция данных из различных источников (базы данных, API, файловые системы, брокеры сообщений и другие внешние системы);
• Разработка, настройка и сопровождение автоматизированных пайплайнов обработки данных;
• Обеспечение качества, полноты, целостности и актуальности данных. Оптимизация производительности процессов обработки данных, SQL-запросов и систем хранения;
• Администрирование и сопровождение платформ хранения и обработки данных;
• Разработка и сопровождение CI/CD-пайплайнов для процессов обработки данных;
• Анализ требований, оценка трудоемкости и участие в проектировании решений по обработке данных;
• Проектирование архитектуры платформ обработки данных и принятие технических решений по их реализации;
• Взаимодействие с командами разработки, аналитики данных, Data Science и другими подразделениями в рамках реализации проектов;
• Подготовка технической документации и сопровождение разработанных решений.

Для нас важно:

• Знание языка программирования Python и языка запросов SQL;
• Опыт разработки, сопровождения и оптимизации ETL/ELT-процессов обработки данных;
• Практический опыт работы с реляционными и нереляционными базами данных (PostgreSQL, ClickHouse, MongoDB или аналогичными);
• Опыт работы с инструментами оркестрации потоков данных (Apache Airflow, Prefect или аналогичными);
• Опыт обработки больших объемов данных с использованием Apache Spark, Pandas или аналогичных технологий;
• Практический опыт работы с системами потоковой обработки данных и брокерами сообщений (Apache Kafka, RabbitMQ или аналогичными);
• Опыт работы с Docker и Kubernetes;
• Понимание принципов построения хранилищ данных (Data Warehouse, Data Lake, Lakehouse) и моделирования данных;
• Опыт разработки и сопровождения CI/CD-пайплайнов для процессов обработки данных;
• Навыки оптимизации SQL-запросов и производительности систем хранения данных;
• Умение работать с технической документацией. Аналитическое мышление, ответственность, умение работать в команде и самостоятельно принимать технические решения.

Работа в группе НЛМК - это

• Работа в международной сталелитейной компании с активами в России, США и странах Европы, с развитыми корпоративными ценностями и стандартами;
• НЛМК – лидер ESG рейтинга RAEX-Europe по итогам 2022 г.1 среди российских предприятий – лидеров рынка;
• Открытая корпоративная культура для новых идей и предложений (Банк идей);
• Высокие стандарты безопасности труда и культуры производства; Уникальные технологические и инновационные проекты;
• Программа бесплатных консультаций юриста, эксперта по здоровому образу жизни, психолога и финансового советника;
• Возможности для саморазвития и обучения – Университет НЛМК, электронные библиотеки МИФ, Альпина Диджитал, участие в конференциях, развитие наставничества и менторинга, содействие в повышении квалификации, программы профессионального и карьерного развития, изучение иностранного языка по специальным условиям для сотрудников компании;
• Оформление по ТК РФ, ежегодная индексация заработной платы, прозрачная система премирования;
• Корпоративные льготы: корпоративная сотовая связь, летние путёвки для детей, новогодние детские подарки, программы лояльности от партнеров, частичная компенсация стоимости питания , материальная поддержка сотрудников в различных жизненных ситуациях;
• Спортивные и культурные мероприятия (спортивные игры, день металлурга, юбилейные даты общества, Новый год);
• Релокационный пакет с нашей поддержкой;
• Программы заботы о здоровье: (ДМС, страхование от НС и профессиональных заболеваний, диспансеризация, вакцинация) Программы поощрения сотрудников (конкурсы Лучший по профессии, молодой лидер, мастер года);
• Программа бесплатных консультаций юриста, психолога, финансового советника, эксперта по ЗОЖ, ветеринара для питомцев.