Кутузовский проспект 32
КОМПАНИЯ «АЙ-ТЕКО» — ведущий российский системный интегратор (аутстаффинг IT-специалистов) и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России. Мы аккредитованы в Минцифры.
Задачи:
-
Разработка и поддержка сервисов сбора и обработки данных о состоянии кластеров Hadoop/GreenPlum (метаданные, fsimage, логи).
-
Интеграция с внутренними системами: Service Manager, SDP Control, СФД, Kafka (тракты данных).
-
Реализация механизмов автоматического запуска проверок по триггерам (например, при изменении статуса в SDP Control).
-
Оптимизация производительности обработки больших объёмов данных (логи, метрики, очереди Yarn, утилизация HDFS).
-
Построение и доработка дашбордов (аналитика, визуализация трендов).
-
Разработка ETL-процессов для наполнения отчётной БД.
Ожидания от кандидата
Общие требования:
-
Высшее образование.
-
Опыт коммерческой разработки от 4 лет.
-
Опыт работы с Linux и Bash.
-
Готовность к гибриду (офис на Кутузовском проспекте).
Технические требования:
-
Python 3.9+ (уверенное знание языка, типизация, асинхронность).
-
SQL (сложные запросы, агрегации, работа с большими таблицами).
-
Опыт обработки и парсинга больших объёмов данных (логи, fsimage, метрики).
-
Работа с форматами данных: JSON, Avro, Parquet, CSV.
-
Умение проектировать ETL-процессы.
Базы данных
-
Опыт работы с реляционными БД (PostgreSQL / GreenPlum).
-
Понимание устройства отчётных БД (OLAP-нагрузки).
-
Опыт работы с Redis.
Интеграции и инструменты:
-
Опыт работы с Kafka (или другими брокерами сообщений) для работы с трактами данных.
-
Опыт написания интеграций через REST API.
-
Системы контроля версий: Git (GitLab).
Навыки и компетенции:
-
Умение проектировать архитектуру модулей сбора и обработки данных.
-
Понимание принципов работы распределённых систем (Hadoop / GreenPlum будет плюсом).
-
Опыт оптимизации запросов и обработки данных для сокращения времени выполнения.
-
Умение работать с большими объёмами информации (Big Data).
Формат работы: гибрид в Москве (Кутузовский проспект, 32)
О проекте:
Проект в крупном банке.
Cluster Discovery — технический справочник для администраторов платформы УСКАП, который автоматически обновляется. Проект входит в направление «Аналитические инструменты надежности DataOps». Его задача — автоматизировать сбор и предоставление информации о кластерах больших данных (Hadoop, GreenPlum): их конфигурации, загрузке, очередях, пользователях и физическом расположении оборудования в ЦОД.
Команда разрабатывает систему, которая собирает данные из разных источников (логи СФД, fsimage, Service Manager, SDP Control), проверяет состояние кластеров и показывает результаты в виде дашбордов и отчётов.
Мы предлагаем
-
Работу в стабильной, надежной компании;
-
Полностью «белую» заработную плату и оформление по ТК РФ с первого рабочего дня;
-
Расширенный социальный пакет;
-
Возможности для профессионального развития: обучение, внутренние и внешние курсы;
-
Активную корпоративную культуру: мероприятия, клубы по интересам и многое другое;
-
Снабжаем современной техникой для работы.
