Data Engineer / ETL-разработчик

IT-компания GNIVC- партнер государственных компаний и лидеров российского бизнеса, разработчик и системный интегратор крупнейших государственных информационных систем, а также коммерческих решений для налогового мониторинга.

• Компания входит в ТОП-100 лучших работодателей страны и на 9-м месте в категории «IT-компании» 2025 года по рейтингу работодателей hh среди крупных компаний
• Мы в 25% лучших по уровню счастья среди компаний отрасли IT и России 2025 по версии Happy Job
• У нас есть ИИ-песочница - среда для экспериментов и реальных проектов на современных опенсорс-больших языковых моделях. Здесь можно применять ИИ для оптимизации своей работы, автоматизации процессов и реализации собственных идей от гипотезы до результата
• Являемся аккредитованной ИТ-компанией

Обязанности:

• разработка и сопровождение процессов обработки данных;
• проектировать, разрабатывать и сопровождать ETL/ELT-процессы загрузки данных из источников в Озеро данных на базе Hadoop;
• разрабатывать и поддерживать пайплайны загрузки и трансформации данных, обеспечивать их стабильную работу и мониторинг;
• обеспечивать согласованность, полноту и качество данных на всех этапах жизненного цикла (сбор → хранение → трансформация → представление);
• работа с СУБД и хранилищами Проектировать и оптимизировать схемы хранения данных в PostgreSQL: таблицы, индексы, транзакции, процедуры;
• разрабатывать и сопровождать модели данных в ClickHouse: схемы таблиц, партиционирование, тиры хранения, материализованные представления;
• разрабатывать и сопровождать SQL-конфигурации для сборки цепочек событий процессов по задачам от аналитиков;
• заниматься тонкой настройкой тяжелых Spark-расчетов на кластере: искать узкие места через Spark UI, убирать лишние пересчеты и бороться с перекосами данных;
• поддерживать витрины данных для отчётов и аналитики заказчиков. Устранять узкие места производительности, выявлять и исправлять ошибки в данных;
• контролировать актуальность, корректность и доступность данных для потребителей;
• участвовать в проектировании архитектуры новых данных и хранилищ (ClickHouse, PostgreSQL, Elasticsearch) , выборе форматов и схем;
• Вести техническую документацию по схемам данных, процессам и регламентам. Соблюдать требования информационной безопасности и регламенты компании при работе с данными;
• автоматизировать рутинные операции по обработке и контролю данных. Участвовать в настройке мониторинга пайплайнов и своевременной реакции на сбои загрузки данных.

Требования:

• уверенное знание SQL (JOIN'ы, подзапросы, оконные функции, CTE, настройка планов выполнения);
• опыт работы с PostgreSQL: проектирование БД, оптимизация запросов, работа с индексами, транзакциями и нагрузкой;
• опыт работы с ClickHouse: моделирование таблиц, партиционирование, тиры хранения, оптимизация распределённых запросов;
• опыт работы с Озером данных на базе Hadoop: понимание архитектуры HDFS и форматов хранения (Parquet, ORC, Avro);
• опыт разработки ETL/ELT-процессов и пайплайнов данных;
• понимание принципов обработки больших данных и жизненного цикла данных (сбор → хранение → трансформация → предоставление);
• знакомство с Spark / Hive / HDFS на практическом уровне;
• опыт с инструментами оркестрации (Airflow, NiFi и т.п.). Знакомство с потоковой обработкой (Kafka, ClickHouse);
• базовое понимание Docker, Linux, Git. Опыт с BI-инструментами и витринами данных для аналитики. Навыки работы с Python (для скриптов обработки/автоматизации). Активно использовать ИИ-инструменты (ассистенты для написания и проверки кода) в повседневной работе;
• применять ИИ для ускорения рутинных задач: написание/рефакторинг SQL, генерация и проверка ETL-сценариев, объяснение ошибок. Владеть практикой промптирования: формулировать задачи для ИИ-ассистентов и критически проверять их выдачу;
• использовать ИИ для анализа данных и самопроверки результатов. Соблюдать требования информационной безопасности при работе с ИИ (не передавать чувствительные данные.

Мы предлагаем:

• гибкие форматы работы: возможность работы в офисе, по гибридному графику или полностью дистанционно на территории РФ;
• рабочий график: пятидневная рабочая неделя (Пн. – Чт. с 09:00 до 18:00, Пт. с 09:00 до 16:45);
• достойное вознаграждение: конкурентная заработная плата по результатам собеседования, а также премии за эффективную работу и достигнутые результаты;
• официальное трудоустройство: полное соблюдение требований ТК РФ, включая оплачиваемые отпуска (с дополнительной выплатой 50% от оклада после 11 месяцев работы в Компании) и выплату заработной платы дважды в месяц;
• заботу о здоровье:
• компенсация больничного листа продолжительностью до 7 дней с сохранением полной оплаты, эквивалентной рабочему дню,
• добровольное медицинское страхование (ДМС) по окончании испытательного срока, с широким перечнем ведущих медицинских учреждений, включая качественную стоматологию,
• возмещение до 50% затрат на занятия спортом;
• развитие и обучение:
• профессиональное обучение и сертификация за счет компании,
• организация внутренних и внешних митапов, хакатонов, конференций, семинаров и тренингов,
• партнерские программы по изучению иностранных языков и развитию профессиональных навыков от Skyeng и Skillbox,
• доступ к корпоративной библиотеке на платформе Alpina Digital;
• дополнительные выходные: возможность взять 5 дополнительных оплачиваемых выходных (ресурсных) дней в течение календарного года (с 1 января до 31 декабря) для сотрудников, проработавших в компании более 11 месяцев.