Data Engineer

Обязанности:

• проектирование и реализация парсеров контента;
• загрузка и сохранение медиаконтента;
• отчистка и предобработка данных;
• настройка мониторинга (логирование, дашборты);
• настройка алертов при падении источников или аномалиях в потоке данных;
• менторство 2 junior-разработчиков (помощь с парсерами, обработкой медиа, тестирование);
• фиксация решений и форматов данных в базе знаний.

Требования:

• языки: Python (продвинутый: asyncio, aiohttp, httpx, многопоточность);
• сбор данных: опыт работы с Telegram API (Telethon/Pyrogram), RSS-парсерами, веб-скрапингом (Playwright/Selenium/BeautifulSoup), API новостных сервисов;
• очереди: RabbitMQ / Kafka / Redis Pub/Sub;
• LLM и промпт-инжиниринг: опыт вызова LLM API для задач очистки текста, приведения к единому формату, суммаризации;
• работа с медиа: загрузка изображений, видео, аудио из различных источников; базовое понимание форматов и конвертации (ffmpeg);
• дедупликация: алгоритмы поиска дубликатов (SimHash, MinHash, векторное сходство текстов и изображений);
• базы данных: PostgreSQL, проектирование таблиц для хранения сырых и унифицированных данных;
• мониторинг ETL: опыт настройки метрик сбора данных (количество обработанных сообщений, лаг, ошибки), алертинг при сбоях;
• логирование: опыт построения структурированного логирования (JSON-логи, корреляционные ID) для отслеживания пути новости через систему.

Условия:

• конкурентный уровень з/п (обсуждается индивидуально);
• дневная рабочая неделя 5/2 (ненормированная);
• работа в крупной и стабильной компании – в структуре самой большой ОЭЗ в Европе;
• релокация в г. Елабуга, Республика Татарстан;
• транспорт до работы из г. Елабуга, г. Набережные Челны, г. Нижнекамск;
• полис добровольного медицинского страхования;
• предоставление платного жилья для иногородних;
• гарантия профессионального роста;
• амбициозная, проектно-ориентированная команда;
• командные и спортивные игры, реализация нестандартных задач;
• карьерный рост при наличии и обретении в процессе работы необходимых компетенций.