Sibedge — международная IT-компания с 18-ти летней историей, специализирующаяся на разработке программного обеспечения на заказ на российском и международном рынке, а также мы занимаемся продуктовой разработкой. За нашими плечами более 350+ счастливых клиентов, которым мы помогли достичь лучших результатов в бизнесе. Наш фокус в части разрабатываемых продуктов: финансовый сектор, медицина, системы управления обучением, безопасность.
Проект:
Совместно с компанией заказчика разрабатываем инновационный и полезный для потребителей продукт по цифровизации в сфере производства и реализации товаров. Продукт высоконагруженной и масштабной системы, где действительно можно поработать с большими объёмами данных и крутыми технологиями. Уже сейчас система обрабатывает миллиарды транзакций ежедневно и оперирует петабайтами данных на скоростях десятки тысяч запросов в секунду. Наши данные в цифрах: поток > 20k RPS, > 900 млрд. фактов, > 10Пб данных в HDFS.
Система построена на микросервисной архитектуре и работает в кластерах Kuber, расположенных в собственных дата-центрах. Для хранения петабайт данных о товарах и их перемещении по стране используются HBase и Cassandra. Обмен сообщениями осуществляется через Kafka, а интерфейс для работы с данными создан на базе ELK. Аналитические функции реализованы с помощью Spark и Clickhouse. Также в работе применяются Prometheus, Grafana, Kibana и Graylog, Rancher, Helm и GitLab.
Стек:
Хранение данных: Hbase, YTsaurus, Clickhouse, PostgreSQL;
ETL: Airflow, Python/Java, YQL, Spark;
BI: Apache Superset, Jasperserver.
Чем предстоит заниматься:
-
Разработкой архитектуры доставки, хранения и обработки данных;
-
Проектированием модели данных, построением аналитических витрин для операционной аналитики и интерактивных дашбордов;
-
Оптимизацией существующих процессов обработки данных, решением проблем, связанных с задержками доставки данных.
Что ожидаем от кандидата:
-
2+ года опыта работы в сфере BigData на позиции Data Engineer;
-
3+ лет опыта работы с Python или Java;
-
Опыт разработки процессов загрузки и обработки данных из распределённых хранилищ с использованием Apache Airflow;
-
Уверенные знания SQL: агрегации, джойны, вложенные запросы, оптимизация запросов, а также знание NoSQL;
-
Опыт работы с различными моделями хранилищ данных, таких как Data Vault, Anchor или hNhM;
-
Понимание принципов CI/CD, опыт работы с Kubernetes, Docker, GitLab;
-
Опыт проектирования аналитических моделей, дашбордов и отчетов в BI системах;
-
Практический опыт использования одного из фреймворков Apache Spark(Streaming)/ Apache Flink/ Apache Beam.
