Data Engineer (Senior)

Дата размещения вакансии: 14.11.2024
Работодатель: LIAN
Уровень зарплаты:
з/п не указана
Город:
Москва
Требуемый опыт работы:
От 3 до 6 лет

LIAN — системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в среднем и крупном бизнесе.

Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем.

Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации.

Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов.

Среди наших заказчиков -- крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

Обязанности:
- Разработка и поддержка эффективных пайплайнов обработки данных
- Анализ и оптимизация процессов хранения и обработки больших объемов данных
- Работа с облачными сервисами для решения задач по аналитике данных
- Взаимодействие с командами для реализации ETL-процессов и моделирования данных

Требования:
- Высшее образование
- Свободное владение разговорным английским
- Опыт работы на позиции инженера по данным или аналогичной не менее 5 лет
- Уверенные навыки программирования на Python для обработки данных и разработки пайплайнов
- Практический опыт работы с облачными сервисами AWS (S3, Glue, Lambda, Redshift, DynamoDB)
- Опыт работы с Big Data технологиями (Spark/PySpark/Spark SQL)
- Знание SQL: проектирование, написание запросов и оптимизация баз данных
- Опыт в моделировании данных и понимание принципов ETL и работы хранилищ данных
- Знание инструментов интеграции данных, например, Apache Airflow
- Опыт работы с CI/CD и Agile методологиями
- Отличные коммуникационные навыки и способность объяснять технические концепции непрофессионалам

Технологии и инструменты:
- Python
- Spark
- SQL
- AWS Glue
- Apache Airflow
- AWS Cloud

Желательные навыки:
- Опыт работы с Snowflake Data Warehouse
- Знания Docker и Kubernetes
- Опыт работы с Linux, Bash и SSH
- Знания Terraform
- Опыт работы с TypeScript
- Опыт полного цикла разработки

Будет плюсом:
- Знание Scala
- Опыт работы с командами Data Science
- Наличие сертификата AWS
- Опыт работы с PHI/PII в соответствии с HIPAA

Условия:
- Участие в интересных масштабных проектах с Заказчиками федерального и международного уровня.
- Работа с передовыми технологиями.
- Возможности для профессионального и карьерного роста.
- Полностью удаленная работа (возможность как полного рабочего дня, так и частичной занятости).
- Гибкие условия трудоустройства: с ИП или самозанятым.
- Конкурентоспособная и регулярная оплата труда.

Рассматриваем кандидатов не из РФ!

Если вы соответствуете указанным требованиям и хотите развиваться в динамично развивающейся команде, мы будем рады видеть вас в нашей команде!