Data Engineer, от middle (РФ)

Привет! Мы открываем новое направление!

Технократия цифровизирует бизнес: от небольших компаний до крупных корпораций. СИБУР Диджитал, Камаз Digital, Татнефть, Университет Иннополис — наши клиенты. А ещё внутренние продукты, которые мы выводим на рынок.

Мы – аккредитованная ИТ-компания, наши сотрудники могут пользоваться всеми преимуществами этого статуса. У нас прозрачные процессы, понятная система грейдов и прогнозируемый рост, культура наставничества, возможность влиять на проекты и быть услышанным.

Ищем DE инженера от мидла (есть удаленка, если ты в РФ), но если ты senior - будет вообще пушка, потому что, возможно, ты сможешь стать лидом нового направления).

Про направление проекта: разработка и оптимизация процессов выгрузки данных в крупнейшей судоходной компании в России.

Чем предстоит заниматься:

• Определением требований к ETL/ELT процессов обработки данных;
• Разработкой ETL/ELT процессов доставки и обработки данных;
• Разработкой небольших микросервисов на FastAPI;
• Будет плюсом общее понимание протоколов взаимодействия информационных систем (REST, HTTP, SMTP, IMAP и т.д.);
• Работать со стеком: Python, Airflow, Postgresql.

Требования:

• Уверенное знание Python;
• Опыт работы в роли Data Engineer от 2 лет в проектах, связанных с обработкой больших объемов данных;
• Знание основ ООП, классических структур данных и алгоритмов;
• Опыт работы с системами оркестрации данных, такими как Apache Airflow;
• Понимание и опыт работы с архитектурами потоковой обработки данных, такими как Kafka;
• Опыт работы с SQL и PostgreSQL, включая оптимизацию сложных запросов, работу с большими объемами данных и проектирование высокоэффективных структур данных;
• Опыт работы с FastAPI (или другими web-фреймворками для создания API) для взаимодействия с другими сервисами;
• Опыт парсинга файлов различных форматов (XLSX, CSV, JSON, XML);
• Умение писать чистый код (SOLID, KISS, DRY);
• Навыки работы с Git;

• Опыт работы в команде (Code Review)

Будет плюсом:

• Знание английского языка;
• Опыт работы с библиотеками для анализа данных, такими как Pandas и NumPy;
• Опыт работы с NoSQL (MongoDB, Clickhouse);
• Понимание принципов контейнеризации и умение работать с Docker.

Стек технологий:

Python, SQL, PostgreSQL, Airflow, Spark, Scrapy, Hadoop, Kafka, Docker, Git, MongoDB, CI/CD, NumPy, Pandas