з/п не указана
Москва
От 3 до 6 лет
Мы — команда разработки внутреннего решения для хранения и поиска данных. Наше решение обеспечивает выполнение требований безопасности ряда сервисов VK.
С нашим решением интегрированы 8 крупных продуктов VK, но нужно подключить еще десятки сервисов. В хранилище для горячих поисковых запросов уже порядка 800 ТБ данных, и объёмы стремительно растут.
Сейчас мы в поиске Go-разработчика, который будет принимать участие в поддержке и доработке существующих решений для data lake и dwh, а также в новых интеграциях с другими командами.
Основные обязанности будут включать в себя разработку новых ETL-процессов, организацию потоков данных, написание генераторов тестовых данных, улучшение наблюдаемости систем ETL.
Задачи
- Настройки и анализ дашбордов мониторинга системы (метрики мониторинга по сервисам передачи данных: полнота, процент потерь) и постановка задач на подготовку дополнительных дашбордов
- Анализ логов компонент системы для выявления проблем на различных участках интеграций
- Доработка/уточнение внутренних спецификаций на передачу данных (исправление ошибок в описании контрактов интеграций)
- Разработка новых ETL-процессов
- Организация потоков данных
- Написание генераторов тестовых данных
- Улучшение наблюдаемости систем ETL
- Работать с логами в ELK, graylog
Требования
- Желание и умение разбираться в функциональности нового продукта
- Опыт анализа метрик по данным на дашбордах Grafana или в аналогичном инструменте визуализации метрик
- Опыт анализа логов в Kibana или аналогичном инструменте визуализации логов
- Опыт работы c Git
- Скрупулёзность и внимательность к деталям
Будет плюсом
- Знакомство с дизайн-паттернами интеграций (контракт по данным, контракт по API)
- Знакомство с архитектурными стилями организации межсервисного взаимодействия (REST, gRPC, MQ)
- Опыт работы с брокерами сообщений (Kafka, RabbitMQ или аналоги)
- Опыт работы в кросс-функциональных продуктовых командах
