Почему команды снова и снова ошибаются в метрике активации
Я видел этот сценарий не один раз, и каждый раз он разворачивается примерно одинаково. Команда изолированно выбирает метрику активации. Останавливается на том, что я называю «действием настройки» — то есть на том, что пользователь должен настроить или создать, прежде чем продукт начнёт приносить хоть какую-то пользу. Это легко посчитать, и это происходит на раннем этапе. Затем кто-то привязывает к этой же единице тарифную сетку. В бесплатном тарифе — пять, в платном — пара сотен, в корпоративном — безлимит. Все соглашаются. Продукт выходит.
Дальше — тишина. Конверсии нет, команда решает, что проблема была в продукте или в наборе функций, и все переключаются на следующую задачу. Мы в маркетинговом агентстве Dragon Farm регулярно сталкиваемся с такими кейсами, когда разбираем, почему лиды «активируются», но не доходят до реальной ценности.
Вот что никто не хочет слышать: ценность вашего продукта — это не то, что вы о ней думаете. Это то, что о ней думает ваш клиент, и разные клиенты находят её в совершенно разных местах. Поэтому метрика активации должна рождаться как гипотеза, а не как решение, особенно если она не привязана к ценообразованию. Вы фиксируете её только тогда, когда данные согласятся с вами, а не наоборот.
Активация — это не «ощущение». Это поведение, которое можно измерить.
Aha-момент, событие активации и результат: три разных понятия
Aha-момент — это момент, когда пользователь впервые осознаёт ценность продукта. Реальный, важный и абсолютно невозможный для отображения на дашборде.
Событие активации — это внутрипродуктовое поведение, которое вы используете как прокси для aha-момента, потому что вам необходимо что-то измерять.
Результат — это исход в мире клиента. Его можно измерить, но он медленный и замусорен сотней вещей, которые вы не контролируете.
Большинство проблем в этой дисциплине возникает из-за смешения второго и третьего понятий — либо из-за выбора такого «второго», которое вообще никак не связано с первым.
Почему setup-действия — плохая метрика активации
Вернёмся к команде, которая ошиблась. Они выбрали метрику, которая представляла собой конфигурацию, действие настройки, измерявшее усилия, которые клиент вложил в продукт, а не ценность, которую он из него получил.
Подсчёт такой работы говорит вам лишь о том, что кто-то начал. Он не говорит о том, что этот кто-то получил то, за чем пришёл.
Поэтому я параллельно отслеживал вторую метрику. Пока я следил за согласованным показателем, я обращал внимание на то, где пользователи проводят больше всего времени и совершают больше всего действий. Оказалось, это было не конфигурационное действие, а то, что шло после него, — инсайты, с которыми они могли работать в своём мире. Это первый момент, когда продукт что-то делает для них. Пользователь больше не настраивает продукт, он получает ценность. Если вы пытаетесь угадать, где живёт aha-момент, эта граница почти всегда является тем местом, куда стоит смотреть.
И вот что делало спор бессмысленным: ничего не было записано. Была метрика, поверх неё стояла модель ценообразования, но не было сформулированного утверждения о том, какие пользователи найдут ценность, из какого поведения и какой результат это поведение должно произвести. Без этого несогласие — это просто два человека с мнениями, у одного из которых должность выше.
Записывайте метрику активации как гипотезу
Форма проста:
Мы верим, что [персона] находит ценность в [продукте], потому что он помогает им [работа] для достижения [цели]. Мы ожидаем увидеть [поведение + количество + окно], что должно привести к [результат].
Вот и всё. Вставьте это в PRD, PRFAQ или даже в Jira-тикет. Ценность не в формате, а в том, что теперь у вас есть что-то фальсифицируемое, а не «ощущение», которое каждый тихо интерпретировал по-своему. Это нужно, чтобы выровнять всех и измерять то, что действительно важно, а не то, что кто-то запомнил со встречи месячной давности.
Разделение между поведением и результатом — та часть, которую все пропускают, и именно она выполняет всю работу. Поведение раннее, внутри продукта и исчислимое. Результат медленный, живёт в мире клиента и смешан с массой неконтролируемых факторов. Вам нужны оба. Поведение — это то, что вы инструментируете и оптимизируете. Результат — то, что говорит вам, правильно ли вы вообще выбрали поведение.
Чтобы автоматизировать сбор поведенческих данных и не утонуть в ручном анализе, имеет смысл рассмотреть внедрение ИИ-агентов и n8n воркфлоу, которые возьмут на себя рутинную обработку событий.
Два примера для одного вымышленного продукта
Возьмём инструмент для планирования и управления проектами.
Гипотеза 1: Мы верим, что менеджер проектов находит ценность в нашем инструменте, потому что он подсказывает, как сформировать команду под объём работ, чтобы завершать проекты быстрее. Мы ожидаем увидеть, что он применяет рекомендацию по численности к живому проекту в течение первой недели, что должно привести к сокращению среднего времени завершения проекта.
Гипотеза 2: Мы верим, что дата-сайентист находит ценность в нашем инструменте, потому что он помогает выявлять проблемы качества до того, как они накопятся, чтобы выпускать работу, которую можно защитить. Мы ожидаем увидеть, что он генерирует отчёты о качестве по крайней мере по двум проектам за первые две недели, что должно привести к меньшему числу отклонений на поздних этапах.
Заметьте, ни один результат нельзя измерить в первую неделю. Это нормально. Именно это и делает их результатами.
Откуда берётся целевое число
«Мы ожидаем сократить среднее время завершения проекта с 10 до 7 дней» — это гипотеза только в том случае, если вы действительно знаете, что сейчас оно равно 10. Без базового уровня вы не можете ошибиться, а утверждение, в котором нельзя ошибиться, не стоит тестировать.
Поэтому сначала измерьте текущее значение — пусть даже грубо, пусть даже на позорно маленькой выборке. Затем поставьте цель. Затем запишите, до того как получите какие-либо данные, какой результат скажет вам, что поведение было выбрано неверно.
Последнее важнее, чем кажется. Когда приходят плохие цифры, люди отлично умеют находить причины, почему они не считаются: маленькая выборка, странная когорта, один enterprise-клиент всё исказил, ретроградный Меркурий. Если вы заранее зафиксировали «порог отбраковки», вы не сможете сдвинуть его постфактум.
Важная оговорка: недостигнутая цель не убивает гипотезу. Она просто означает, что гипотеза не подтверждена. Что её убивает, так это проверка «лифта» — о ней ниже. Порог отбраковки должен состоять из двух условий, а не одного.
Допустим, вы предполагаете, что менеджеры проектов активируются, применяя рекомендацию по численности к живому проекту в первую неделю. Порог, записанный до запуска: если менее 30% новых аккаунтов применят рекомендацию в течение двух недель, и при этом те, кто применил, на 60-й день удерживаются примерно с той же частотой, что и те, кто не применил, — значит, применение рекомендации не является aha-моментом, и нужно искать другое поведение.
Окно наблюдения подбирайте под естественную частоту использования продукта. Для ежедневного продукта двух недель достаточно. Для еженедельного — берите четыре. Для ежемесячного вы обречены на квартал, нравится вам это или нет.
Когда ценообразование зависит от метрики активации
Отношение к метрике как к пересматриваемой величине критически важно, потому что ценообразование может тихо лишить вас этой возможности. Это вторая половина той истории, с которой я начал.
Если единица, которую вы лимитируете тарифом, — это то же самое поведение, которое вы назвали активацией, то пересмотр метрики означает пересмотр цен. Это превращает аналитический вопрос в вопрос выручки, и планка для смены мнения резко поднимается.
Ситуация усугубляется, когда эта единица — setup-действие, а не момент получения ценности. Пользователи упираются в лимит, ещё находясь на этапе настройки, до того как продукт показал им хоть что-нибудь, — и поздравляю, вы построили paywall, который наступает раньше, чем ценность.
Скажем, вы лимитируете количество мест в тарифе и называете добавление пользователей событием активации. Добавление пользователей — это рутина, которую кто-то выполняет перед началом настоящей работы. Команда может добавить пять человек, не сделать ничего полезного и выглядеть активированной. Другая команда может добавить двух человек, получить огромную ценность и выглядеть так, будто вообще не активировалась.
Решение — перестать делать их одной и той же единицей. Берите плату за то, что масштабируется вместе с ценностью, которую получает клиент, а активацию измеряйте по поведению, которое эту ценность доставляет. Иногда это действительно одно и то же, и если так — пусть это будет осознанным решением, а не случайностью, продиктованной тем, что было проще всего посчитать.
Один продукт, две персоны — единое определение
Вернёмся к двум гипотезам выше. Менеджер проектов и дата-сайентист хотят разного, совершают разные действия и получают разные результаты. Ни одна из гипотез не ошибочна. Но вы не можете управлять продуктом на двух метриках активации, которые никак не связаны между собой.
Выход — найти место, где персоны пересекаются. Если дата-сайентист помечает, что проект не проходит порог качества, проект стопорится. Это значит, что время завершения у менеджера проекта ухудшается. Разные измерения — один и тот же исход: никто не получает желаемое тогда, когда хочет.
Именно общий исход оправдывает составное определение. Персональные события активации, сведённые на уровень аккаунта: аккаунт активирован, когда менеджер проектов применил рекомендацию по численности, а дата-сайентист сгенерировал отчёт о качестве по тому же проекту — оба события в течение 30 дней. Если время завершения зависит от обоих, аккаунт, где активировался только один, не активирован. Он активирован наполовину, и на дашборде всё будет выглядеть нормально ровно до того момента, как перестанет.
Data-informed подход к метрикам активации
Всё, что описано выше, — это до запуска. Когда появились реальные данные, можно перестать спорить о том, что ценят пользователи, и просто посмотреть на цифры. Но для этого нужна настройка сквозной аналитики и лидгена, которая свяжет поведение с удержанием и выручкой.
Скажем, проектный инструмент живёт уже полгода. Выгрузите все аккаунты, зарегистрированные за это окно, и задайте по каждому два вопроса: что они делали в первые 30 дней и живы ли они на 90-й день?
Теперь выстройте кандидатов в поведении и сравните удержание между аккаунтами, которые совершали каждое действие, и теми, кто не совершал. Таблица может выглядеть так:
- Создание проекта: 34% удержания против 31%. Ничего.
- Приглашение коллеги: 41% против 30%. Что-то, возможно.
- Применение рекомендации по численности: 68% против 29%. Вот оно.
- Генерация отчёта о качестве: 45% против 33%. Реальный, но слабее.
Создание проекта не говорит ни о чём, и это логично: его делают все, и это setup-действие. А вот применение рекомендации выглядит настоящим сигналом. Разрыв в 39 процентных пунктов, и это поведение, в котором продукт что-то возвращает пользователю.
Дальше — шаг, который почти все пропускают. Эта таблица — корреляция, и она пронизана ошибкой выжившего, потому что вовлечённые аккаунты делают больше всего. Команды, которые и так собирались остаться, — это те же команды, которые случайно применили рекомендацию. Вы не доказали, что применение рекомендации что-то вызвало.
Поэтому проведите тест. Измените онбординг для рандомизированной половины новых аккаунтов, подталкивая их к применению рекомендации на первой неделе, а вторую половину оставьте как есть. Если подталкиваемая группа удерживается лучше на 90-й день — у вас настоящая метрика активации. Если они применяют рекомендации вдвое чаще, а удерживаются ровно так же, значит, применение рекомендации было симптомом вовлечённых команд, а не причиной, и вы возвращаетесь к таблице пробовать следующего кандидата.
И ещё одна вещь, которая вас укусит: уровень активации бессмыслен, пока вы не указали, процент от чего вы считаете. От регистраций? От квалифицированных регистраций? От аккаунтов? От мест? Один и тот же продукт может честно показывать и 20%, и 60% в зависимости от знаменателя, и существует постоянный тихий соблазн сузить знаменатель до тех пор, пока график не станет красивее. Выбирайте знаменатель до того, как посмотрите на результат.
Когда всё идёт не так — и что делать
Они достигают события и удерживаются. Ваш прокси работает. Теперь сокращайте time-to-value. Как быстро вы можете провести человека от регистрации к этому моменту и где именно по пути они отваливаются? Обычно это самая высокоэффективная работа из доступных, потому что всё, что ниже по воронке, усиливает эффект.
Они достигают события и всё равно отваливаются. Ваш прокси неверен. Они сделали действие, но этого оказалось недостаточно. Возвращайтесь к корреляционному анализу и ищите более сильного кандидата.
Они никогда не достигают события. Три возможные причины, и их нужно различать. Трение — путь запутан или слишком длинный. Неправильный онбординг — ничто не ведёт их туда. Или неправильные пользователи — вы привлекаете людей, которым эта ценность никогда не была нужна. Обычно одного дня просмотра сессионных записей упавших пользователей достаточно, чтобы понять, какая из причин перед вами.
Они очевидно получают ценность где-то в другом месте. Примите намёк. Если корреляция с удержанием снова и снова указывает на функцию, которую вы считали второстепенной, пользователи говорят вам, чем ваш продукт является на самом деле. Будьте готовы сдвинуться.
Только второй пункт — свидетельство того, что продукт должен быть ценнее. Всё остальное в списке дешевле исправить, и именно поэтому «у нас низкий уровень активации, давайте строить больше функций» — один из самых дорогих неверных поворотов из возможных.
Отдельно про отток: люди назовут вам множество причин ухода, и многие из них — вежливый вымысел, чтобы завершить неловкий звонок. Кто-то скажет brutally честно, и такие ответы на вес золота. Проблема в том, что по одному ответу вы не отличите одно от другого. Поэтому и важны поведенческие данные. Они показывают, где была потеряна ценность, а качественное исследование объясняет «почему» уже после того, как вы что-то зафиксировали. И ещё проверьте, какая доля оттока — это неудачные платежи, а не недовольство. Многие команды диагностировали проблему продукта, когда у них была проблема биллинга.
Прежде чем винить продукт, проверьте, откуда пришли пользователи
Никто не скажет вам, какой уровень активации хороший, а любой, кто предлагает бенчмарк, что-то продаёт. Настоящий тест — это лифт, а не абсолютное число. Если активированные пользователи удерживаются на 60%, а неактивированные — на 15%, вы нашли что-то реальное, даже если до активации доходит лишь четверть регистраций. Если активированные и неактивированные удерживаются примерно одинаково, ваш уровень активации может быть 90%, но метрика всё равно бесполезна.
Для самого уровня единственное полезное сравнение — внутреннее, и самый показательный разрез — по каналу привлечения.
Средневзвешенный уровень скрывает всё интересное. Канал, поставляющий людей, которые никогда не активируются, может спокойно сидеть внутри вполне приемлемого среднего, и вы три месяца будете переделывать онбординг, тогда как на самом деле проблема была в таргетинге. Пользователи, которые никогда не достигают aha-момента, возможно, ведут себя ровно так, как ожидалось, потому что они никогда и не были вашими пользователями.
Это становится структурным, когда маркетинг измеряют по объёму регистраций, а продукт — по активации. Два стимула смотрят в противоположные стороны, и большинство организаций разрешает это спорами на квартальных ревью вместо того, чтобы чинить. Решение — общая метрика. Сделайте маркетинг ответственным за активированные регистрации, а не за сырые, и споры в основном испарятся.
Игра в метрики не заканчивается
Метрика активации — это не число, которое вы выбираете однажды и потом два года защищаете на совещаниях. Это утверждение о ваших пользователях, которое вы записываете, инструментируете, тестируете и пересматриваете, когда данные с вами не согласны.
Пишите гипотезу до разработки. Инструментируйте до запуска. Сверяйте с удержанием, как только появится когорта. Меняйте мнение, когда ошибаетесь, и старайтесь не загнать себя в угол ценообразованием, при котором смена мнения становится слишком дорогой.
И перезапускайте корреляционный анализ каждый квартал или два, потому что метрики активации протухают. Меняется ваш продукт, сдвигается ICP, меняется структура каналов, и поведение, которое предсказывало удержание полтора года назад, сегодня может не предсказывать ничего. Большинство команд выбирают одну метрику и защищают её годами — именно так вы начинаете усиленно оптимизировать число, которое давно перестало что-либо значить.
Когда вы уверены, что люди добираются до заветного момента, следующий вопрос — возвращаются ли они к нему снова. Это уже привычка, и это совсем другая история. Продолжение следует.
