Инженер данных

Eurasian Resources Group – один из мировых лидеров в производстве феррохрома и кобальта, крупный поставщик меди на мировой рынок. В Евразийском регионе ERG является одним из лидеров на рынках железной руды и глинозема.
В Казахстане ERG объединяет более 20 компаний в сфере добычи и переработки природных ресурсов, производства электроэнергии, логистики.

Мы предлагаем:

• Конкурентную заработную плату
• Участие в амбициозных IT-проектах с влиянием на производство
• Корпоративное обучение, участие в IT-форумах, конференциях
• Внутреннее карьерное продвижение
• Медицинское обеспечение
• Абонементы в спортзалы, в офисе: шахматы, настольный теннис, йога
• Поддержка в значимых жизненных событиях
• Корпоративная мобильная связь
• Современный офис в центре Астаны

Чем предстоит заниматься:

• Проектировать и разрабатывать DWH и процессы ETL/ELT:
• собирать данные, из различных источников, такие как: SAP, MES, АСУТП и т.д.;
• Настраивать загрузку данных и их движение между инструментами, создавать пайплайны – процессы движения данных от источника к нужному месту;
• Структурировать данные так, чтобы они стали пригодны для аналитики
• Разрабатывать эффективные схемы хранения данных для повышения производительности запросов и минимизации избыточности информации
• Подготавливать витрины данных и предоставлять доступ аналитикам.
• Обеспечивать качество, стабильность и доступность данных
• Очищать данные, убирать дубли и устранять ошибки
• Обнаруживать и описывать происхождение данных
• Реализовать методы аутентификации, авторизации и шифрования для гарантии, что доступ к данным имеют только уполномоченные пользователи
• Следить за работой системы, мониторить нагрузку на инфраструктуру и предпринимать действия для предотвращения сбоев
• Внедрять улучшения и оптимизацию для подготовки данных
• Совершенствовать используемые инструменты и искать способы улучшения и автоматизации существующих процессов обработки данных для ускорения доступа к информации.

Для нас важно:

• Высшее техническое образование. Опыт работы в области построения корпоративного хранилища данных (DWH), инженерии данных не менее 3 лет.
• Опыт в построении пайплайнов больших данных, в промышленной разработке DWH и процессов ETL/ELT.
• Умение оптимизировать структуры данных и производительность запросов, подготавливать витрины данных и решать задачи в области обработки данных.
• Умение выстраивать процессы валидации и безопасности данных.

• Основной стек, с которым предстоит работать:

• Greenplum, Clickhouse, S3, Polars
• AirFlow, Informatica Power Center, NiFi, DBT
• Open Metadata
• Знание реляционных СУБД ( MS SQL, PostgreSQL) Знание SQL Знание и опыт работы с ETL инструментами Знание облачного хранилища s3 Знания Airflow и достаточный уровень Python.