з/п не указана
Москва
От 3 до 6 лет
Стек технологий, с которым работаем: Python, Hadoop, HDFS, Spark, PostgreSQL, GreenPlum, MongoDB, S3 Minio, Airflow, GitLab.
Чем предстоит заниматься:
- писать, оптимизировать и сопровождать программный код для систем больших данных, включая реализацию ETL/ELT процессов, обработку потоковых и пакетных данных;
- проводить плановые работы по улучшению производительности и масштабируемости программного кода и архитектуры систем;
- разработкой и поддержкой модульных и интеграционных тестов (Unit Tests, Integration Tests) для обеспечения стабильности решений;
- участвовать во внедрении лучших инженерных практик, стандартов качества и процессов CI/CD для повышения эффективности разработки;
- анализом и устранением дефектов в разработанных приложениях, обеспечивая стабильную работу систем;
- оценкой трудозатрат и планировании разработки новых функциональностей;
- тесно сотрудничать с другими техническими и бизнес-подразделениями для создания решений, отвечающих требованиям компании;
- созданием и поддержкой актуальной документации, описывающую архитектуру, алгоритмы и процессы обработки данных.
Пожелания к твоему опыту:
- опыт работы на позиции Инженера больших данных или смежной от 3 лет;
- уверенные знания Python 3;
- опыт работы с планировщиками задач - Airflow или аналоги;
- глубокое понимание архитектуры больших данных: принципы построения масштабируемых и отказоустойчивых систем;
- понимание архитектуры и опыт реализации ETL/ELT процессов;
- знание принципов моделирования данных (нормализация, денормализация);
- понимание методов оптимизации производительности кода и инфраструктуры;
- знание основ безопасности данных и управления доступом;
- высшее техническое образование.
