Технократия цифровизирует бизнес: от небольших компаний до крупных корпораций. СИБУР Диджитал, Камаз Digital, Татнефть, Университет Иннополис — наши клиенты. А ещё внутренние продукты, которые мы выводим на рынок.
У нас прозрачные процессы, понятная система грейдов и прогнозируемый рост, культура наставничества, возможность влиять на проекты и быть услышанным.
Ищем DE инженера в новое направление от мидла (есть удаленка), но если ты senior - будет вообще пушка, потому что, возможно, ты сможешь стать лидом нового направления).
Чем предстоит заниматься:
-
Мониторинг, поддержка, оптимизация ETL-процессов;
-
Интеграция данных из различных источников (преимущественно batch-загрузки из SQL баз данных)
-
Разработка коннекторов из внешних систем, включая SAP-системы (ERP, BW, MKT) к Hadoop
-
Разработка интеграций в SAP Data Services
-
Написание и постановка на расписание заданий для расчета витрин данных
-
Создание расчетов для новых витрин данных
-
Разработка новых и оптимизация существующих загрузок/выгрузок из Hadoop и ЯО
Наши ожидания:
-
Опыт работы от 2 лет
-
Глубокое знание экосистемы Hadoop, включая HDFS, MapReduce, YARN, Hive, Spark и других компонентов (Airflow)
-
Опыт работы с инструментами для обработки и анализа больших данных, такими как Apache Kafka и другими
-
Понимание основ работы с NoSQL и реляционными базами данных, знание SQL
-
Глубокие знания Python
-
Опыт разработки в Grafana будет преимуществом
Будет плюсом:
- Знание английского языка;
- Опыт работы с библиотеками для анализа данных, такими как Pandas и NumPy;
- Опыт работы с NoSQL (MongoDB, Clickhouse);
- Понимание принципов контейнеризации и умение работать с Docker.
Стек технологий:
Hadoop (HDFS, Hive, YARN, Spark, Kafka), БД Oracle, SAP Hana, Clickhouse, Postgres, MySQL, Airflow, ETL Spark, Python/Scala, SAP DS
