Главный ETL разработчик с Hadoop (Отчетность РБ)

Вместе с нами Вам предстоит:

• Проектирование и реализация ETL-потоков, сборка, тестирование, отладка витрин;
• Оптимизация работы БД (создать партиции, изменение структур, уменьшить или увеличить блок хранения своей же витрины и тд);
• Разработка документации и спецификаций к витринам данных;
• Разработка и оптимизация spark tasks, выполняющих etl на Hadoop;
• Разработка и оптимизация airflow dags;
• Оптимизация ad-hoc запросов, работающих на Hadoop.

Мы ждем от Вас:

• Знания принципов построения систем хранения и обработки данных;

• Опыт работы с аналитическими хранилищами, знание БД, хорошее знание SQL;

• Наличие опыта работы с Hadoop/Spark/Airflow/Python - ОБЯЗАТЕЛЬНО;

• Опыт промышленной разработки ETL Apache AirFlow;

• Понимание методологий Agile и DevOps;

• Оконченное высшее либо средне-специальное образование;

• Готовность работать на территории РФ.