Data Processing Engineer (Senior)

Дата размещения вакансии: 07.11.2024
Работодатель: LIAN
Уровень зарплаты:
з/п не указана
Город:
Москва
Требуемый опыт работы:
От 3 до 6 лет

LIAN — системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в среднем и крупном бизнесе.

Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем.

Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации.

Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов.

Среди наших заказчиков -- крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

Сейчас мы приглашаем опытного Data Processing Engineer для участия в проектах.

Требования:

  • Знание принципов построения хранилищ данных
  • Понимание архитектуры MPP-систем
  • Опыт работы с экосистемой Hadoop и навыки Data Engineer (HDFS, YARN, Spark, Kafka, NiFi, Sqoop, Flume и др.)
  • Знание SQL (DDL, DML) и опыт оптимизации запросов
  • Опыт работы с Greenplum или отличное знание PostgreSQL
  • Практический опыт работы с SAS DIS/Informatica PowerCenter
  • Навыки работы с Git, Jira, Confluence

Задачи:

  • Проектирование и разработка потоков данных с использованием ETL/ELT инструментов
  • Имплементация кастомных трансформаций
  • Проектирование и создание прототипов витрин данных
  • Анализ производительности и масштабирование существующих систем
  • Оптимизация SQL-запросов и структур баз данных
  • Разработка процедур на языке PL/pgSQL
  • Развитие архитектуры DWH, анализ и выбор оптимальных технологий, методологий и инструментов
  • Создание и актуализация базы знаний для пользователей DWH

Условия:

  • Участие в интересных масштабных проектах с Заказчиками федерального и международного уровня.
  • Работа с передовыми технологиями.
  • Возможности для профессионального и карьерного роста.
  • Полностью удаленная работа (возможность как полного рабочего дня, так и частичной занятости).
  • Гибкие условия трудоустройства: с ИП или самозанятым.
  • Конкурентоспособная и регулярная оплата труда.

Если вы хотите присоединиться к команде, которая меняет будущее технологий, ждем вашего отклика!