Мосфильмовская улица 74Б
О задаче:
Мы монетизируем SMS-трафик. Экономика считается до копейки. Нужен человек, который держит этот контур ежедневно: сторожит экономику, ставит эксперименты вместо споров и не даёт принять решение по цифре, которая ещё не дозрела.
Что делать:
● Вести очередь гипотез. Формулировать, оценивать в рублях до запуска, приоритизировать, доводить до «внедрили» или «закрыли». Гипотезы приходят не сверху — вы их находите сами, глядя в данные.
● Доводить вопрос до числа и отвечать за это число. Точно сформулировать, что и на какой выборке считать, получить расчёт — своими руками или чужими — и проверить его прежде, чем принять решение. Цена непроверенного числа здесь — миллионы в месяц.
● Проектировать А/Б. До запуска: метрика, размер выборки, длительность, критерий остановки, что считаем успехом. Конверсия у нас 0.15% от доставки — эксперименты нужно уметь считать на редких событиях.
● Читать результаты честно. Поправка на дозревание конверсий, разделение сигнала и шума, отлов ложных срабатываний. Умение сказать «данных пока не хватает» ценится выше умения показать рост.
● Быть мостом с разработкой. Превращать гипотезу в ТЗ, обсуждать цену реализации, принимать результат, проверять что выкатили именно то.
● Держать ежедневный контроль. Цена отправки, CTR, конверсия в оплату, средний чек — по операторам, сегментам и источникам. Изменение тарифа или падение конверсии должно всплывать в тот же день, а не спустя недели.
● Сторожить методику. Ловить заглядывание вперёд, отбор по будущему, выжившего и парадокс Симпсона — в чужих расчётах и в своих. Это главная защита от дорогих ошибок.
● Считать пороги для переговоров. Безубыточная цена канала, порог отказа от сегмента, цена задержки обновления — чтобы разговор с поставщиком шёл цифрами, а не ощущениями.
Обязательно:
● Постановка расчёта. Сформулировать задачу так, чтобы результат можно было проверить: какой период, какой срез, как именно считается метрика. Число без происхождения не принимается.
● Проверка чужого результата. Сверить итог с известной величиной, посмотреть на сырые строки, пересчитать другим способом. Знать типовые способы, которыми расчёт врёт: взят не тот срез, по дороге поменялось определение метрики, ноль подставился вместо пропуска, в признак попали данные позже замера.
● Смещения в данных. Заглядывание вперёд, отбор по будущему, выживший, Симпсон. Умение построить признак строго «по состоянию на дату» и объяснить, почему это не то же самое, что фильтр по дате.
● Статистика для А/Б. Мощность и размер выборки, доверительные интервалы, редкие события, множественные сравнения. Понимание, когда ноль конверсий — это сигнал, а когда просто мало наблюдений.
● Юнит-экономика. ROI, CPA, ₽ на номер, порог окупаемости, маржинальность канала. Умение за полчаса посчитать, при какой цене канал перестаёт платить себя.
● Атрибуция и лаги. Конверсия приходит позже показа — уметь измерить кривую дозревания и поправлять на неё свежие срезы.
● Постановка задач разработке. Внятное ТЗ, приёмка, чувство технической стоимости решения.
Будет плюсом:
● SQL руками: оконные функции, ASOF и интервальные джойны, агрегаты по сотням миллионов строк — быстрее проверять чужой расчёт и спорить с ним
● ClickHouse конкретно: партиции, FINAL у ReplacingMergeTree, джойн-алгоритмы
● CPA, арбитраж, лидогенерация: постбэки, офферы, витрины, сабы
● SMS и телеком: операторы, альфа-имена, тарифы, доставляемость
● Python/pandas для того, что неудобно в SQL
● Опыт переговоров с поставщиками трафика по цене
● Свой инструмент мониторинга метрик, который вы довели до рабочего состояния
