Data Engineer

О проекте

Aspirity — студия веб- и мобильной разработки из Сибири, специализирующаяся на создании программных решений для международных стартапов и крупных компаний.

Среди клиентов — технологические компании Кремниевой долины, такие как Shoreline и Pinecone, а также лидеры рынков России, Европы и Азии: РУСАЛ, NGenix и Schibsted.

Мы развиваем направление outstaff-сотрудничества и формируем команды, которые работают в продуктах клиентов, оставаясь частью инженерной культуры Aspirity.

Задачи

• Разработка и оптимизация SQL-запросов
• Проектирование и развитие DWH (ODS, CDM, DM)
• Построение и поддержка ETL / ELT пайплайнов
• Обработка данных с использованием Python (Pandas, NumPy, PySpark)
• Работа с большими объемами данных и оптимизация производительности
• Участие в развитии архитектуры данных (Data Lake / Lakehouse)
• Взаимодействие с командами разработки, аналитики и ML

Требования (must-have)

• SQL — продвинутый уровень
  JOIN, подзапросы, CTE, оконные функции, оптимизация (execution plan, индексы, профилирование)
• Python
  Pandas, NumPy, PySpark, написание ETL-скриптов
• Реляционные БД
  PostgreSQL (приоритет) / Oracle / MS SQL Server
• DWH / архитектура данных
  ODS, CDM, DM, Data Lake / Lakehouse
• ETL / ELT pipelines
  опыт построения и поддержки
• Git
  базовые команды, понимание CI/CD
• Linux
  командная строка, shell-скрипты

Очень желательно (should-have)

• Apache Spark (PySpark): batch, оптимизация (DAG, shuffle, executor)
• Apache Airflow: оркестрация DAG
• Hadoop / Hive (HDFS, экосистема)
• ClickHouse
• Docker / Kubernetes (базово)
• Apache Kafka (базовое понимание)

Будет плюсом (nice-to-have)

• Greenplum, Data Vault 2.0
• dbt / Cosmos
• Java / Groovy
• MS BI (SSIS / SSAS)
• Облака: AWS / Azure / GCP
• Terraform
• Snowflake
• Мониторинг: Prometheus / Grafana / ELK
• Process Mining (Celonis / UiPath)
• LLMOPS / NLP / PyTorch
• REST / SOAP / BPMN / UML

Условия

• Удалённая работа
• Оформление: Официальное по ТК или ИП / самозанятость
• Современный стек и крутая команда единомышленников
• Минимум бюрократии, быстрые решения без лишних согласований
• Возможности для профессионального роста