Data engineer в Финтех

Финтех — одно из самых смелых и активных направлений Яндекса. Мы создаём удобные платёжные сервисы и инструменты для управления личными финансами многомиллионной аудитории Яндекса. Придерживаемся data-driven-подхода.

Мы работаем с большими объёмами данных, и делать это надо быстро и правильно. Для этого нам нужно создать большую, безопасную и удобную аналитическую платформу. Мы ищем Дата-инженера в нашу команду, чтобы вместе разрабатывать DWH.

Какие задачи вас ждут

• работать с базами данных SQL и NoSQL, масштабировать и шардировать их;
• обрабатывать массивы данных с учётом eventual consistency и других аспектов ACID;
• проектировать модели данных;
• продумывать отказоустойчивость системы: хранилище должно пережить всё, включая падение дата-центра и вторжение инопланетян;
• развивать собственный data quality фреймворк
• вместе с лидом команды проектировать архитектуру хранилища.

Мы ждём, что вы

• пишете код на Python;
• работали с базами данных SQL и NoSQL;
• знакомы с брокерами сообщений (Kafka, RabbitMQ или что-то подобное);
• работали с инструментами Hadoop.

Будет плюсом, если вы

• работали со Spark или Spark SQL;
• работали с Greenplum;
• умеете разрабатывать DAG для Airflow.