Data Engineer (инженер данных), Hadoop, PostgreSQL - middle/senior (удаленно, remote)
Мы, компания по разработке программного обеспечения, для нашего крупного заказчика из Москвы ищем опытного Инженера данных (Data engineer). На удалёнку (remote) (работа из дома).
Если есть опыт разработки на Java или лучше - Kotlin - это приветствуется, так как основная разработка ведется на этих языках.
Возможен (приветствуется) опыт разработки на Scala.
В данной вакансии речь идет о работе в виде “outstaffing” (т.е. получать вознаграждение будете в компании Исполнителе, а работа по факту будет над проектами компании-Заказчика - это крупная Российская компания).
Проект - чтото вроде системы специализированного документооборота.
Включает в себя структурированный каталог товаров. Система предназначена для торговли и логистики.
Проектов на самом деле - несколько. Большинство из них - уже идут. В компании уже есть много наработок в этой области. Необходимо будет быстро влиться в процесс, изучить имеющиеся сервисы и возможности, научиться разговаривать на одном языке с аналитиками и разработчиками.
Баз данных - много и они большие (много данных). Высоконагруженные системы: поток > 20k RPS, > 900 млрд. фактов, > 10Пб данных в HDFS
Требуемый уровень: Middle, Middle+, опыт работы в коммерческой разработке с базами данных > 3-4 лет.
Важен опыт работы разработчика или аналитика баз данных, разработчика BI, разработчика отчетов, опыт работы как инженера по данным.
Требования к специалисту (все эти технологии уже используются в проектах):
- Hadoop
- Spark 3 (batch/streaming)
- SQL
- PostgreSQL
- ClickHouse
- Kafka
- HBase
- Hive
- Airflow
- Parquet
- Zeppelin
- Jupyter
- S3 MinIO
Рассматриваем возможность использования:
- Iceberg для MOR, COW
- DBT модели для данных
Задачи Инженера данных (Чем предстоит заниматься):
Влиять на стратегию развития архитектуры платформы, исследованиями и разработкой пилотных решений.
Предлагать, отстаивать и реализовывать архитектурные решения (POC).
Настраивать сборку приложений и их размещение как docker контейнеров в k8s, мониторинг их работоспособности.
Участвовать в pre-prod тестировании, выводе приложений в PROD среду и диагностике в случае сбоев.
Тесное сотрудничать с другими командами департамента по внедрению разработанных решений.
Прототипировать ETL процессы c необходимым эмулированием данных с использованием Jupyter Lab / Zeppelin.
Работать в команде преимущественно в режиме удалённой работы.
Soft skills:
- Умение объяснять сложные вещи простыми словами;
- Умение общаться на одном языке с аналитиками и с командой разработки;
- Умение глубоко и очень глубоко погружаться в детали предметной области;
- Быть проактивным;
- Не конфликтность;
Условия:
- Формат работы: 100% удалёнка.
- Трудоустройство: как самозанятый; как ИП;
- Оплата: обсуждается индивидуально. По уровню - выше рынка.
