Data Engineer (Инженер данных)

Дата размещения вакансии: 11.10.2024
Работодатель: ФБУН НИИ СБМ Роспотребнадзора
Уровень зарплаты:
от 100000 до 140000 RUR
Город:
Москва
Научный проезд 18
Требуемый опыт работы:
От 1 года до 3 лет

Лаборатория цифрового мониторинга здоровья человека НИИ Системной Биологии и Медицины Роспотребнадзора ищет инженера данных. Мы занимаемся созданием сервиса для анализа и визуализации больших объемов биомедицинских данных в реальном времени. Проект находится на стыке биологии, медицины и современных компьютерных технологий. Уже создан полностью функционирующий прототип системы, который вызывает большой интерес у заказчиков. Вам предстоит вывести процессы интеграции данных на новый уровень и расширить функциональность системы.

Основные задачи:

  • Разработка, обновление и поддержка пайплайнов для очистки, стандартизации и интеграции данных от партнеров.

  • Мониторинг и поддержка процесса интеграции данных, исправление ошибок и взаимодействие с партнерами для устранения проблем.

  • Поиск и интеграция данных из открытых источников, связанных с экологией, демографией и здравоохранением.

  • Моделирование схем баз данных для эффективного хранения и обработки больших объемов данных.

Наш стек:

  • Python, Pandas (опыт работы с Polars будет плюсом), PostgreSQL, Clickhouse, Django, Celery, Redis, Docker, SQLAlchemy

Требования:

  • Уверенные навыки работы с Python, опыт работы с библиотеками для обработки данных (Pandas). Опыт работы с Polars будет плюсом.

  • Опыт работы с большими и гетерогенными массивами данных: интеграция, стандартизация и подготовка данных.

  • Навыки моделирования данных: оптимизация схем баз данных для улучшения производительности.

  • Опыт работы с ETL-процессами и мониторингом интеграционных пайплайнов.

  • Минимум 2 года опыта в аналогичной роли.

  • Навыки работы в команде, способность к эффективной коммуникации и аккуратное ведение документации.

Что мы предлагаем:

  • Участие в крупном проекте, имеющем значение для здоровья населения.

  • Амбициозные задачи на стыке биологии, медицины и технологий.

  • Возможность для профессионального роста и развития.

  • Дружелюбная и открытая атмосфера в команде профессионалов.

  • Конкурентная заработная плата.