з/п не указана
Томск
От 3 до 6 лет
В новую цифровую платформу с большим количеством интеграций ищем Data Engineer/Backend Python разработчик . Мы не строим DWH, мы собираем данные из большого количества API. Опыт с ETL Apache Airflow от 3 лет обязателен!
Обязанности:
- Разбор внешних API или парсинг данных и подготовка новых Dags в Airflow для загрузки данных
- Поддержка существующих Dags в Airflow -оптмизация и рефакторинг. Работа с высоконагруженными микросервисами
- Мониторинг и обработка ошибок в существующих интеграциях
- Формирование таблиц для BI системы из внутренних источников данных
- Работа по Data Quality загружаемых данных
- Работа с PostgreSQL
- Работа с шиной сообщений (NATS) для интеграции с внешними системами
- Участие в выработке технических решений по ETL , декомпозиция бизнес и системных требований
Требования:
- 4+ лет опыта в сфере Data Engineering.
- Опыт работы с разнородными внешними API (Rest, GraphQL, парсинг данных)
- Глубокие знания Python Продвинутый уровень SQL (PostgreSQL)
- Опыт работы с ETL/ELT пайплайнами в production на Apache Airflow 3+ лет обязателен!
- Опыт оптимизации Dags Airflow для высоконагруженных интеграций
- Опыт работы с Data Quality данных
- Опыт работы с шинами данных ( Kafka/Nats)
- Желательно знание Golang
- Понимание основных подходов проектирования ETL процессов и стека BigData
- Опыт работы с Gitlab
- Опыт использования Apache Spark
- Опыт проектирования аналитических витрин
- Понимание принципов и опыт работы с контейнеризацией (Kubernetes, Docker) CI/CD
- Готовность решать сложные задачи, предлагать оптимальные архитектурные решения, работать с высоконагруженными системами.
Условия:
- Удаленный формат работы
- Живой продукт с большим количеством интеграций (внешние площадки, агрегаторы)
