Продуктовая аналитика

Карта методов сегментации аудитории

Метрики продукта и метрики роста

Любой продукт – это магическая черная коробка, на вход которой подаются новые пользователи. Продукт их перерабатывает и выдает активных пользователей, деньги, запросы в службу поддержки и т.д.

Характеристики того, как продукт (черная коробка) перерабатывает новых пользователей, – это метрики продукта.

Конечный результат переработки (активная аудитория, доходы ит.д.) – это метрики роста.

Метрики роста = f(продукт, число новых пользователей)

Метрики роста – это функция от метрик продукта и числа новых пользователей, которые подаются на вход черной коробки:

• То, сколько людей было вылечено с помощью препарата, – это функция характеристик препарата (насколько он эффективно лечит людей от болезни) и числа людей, которые его принимали.
• Число бракованных изделий – функция характеристик ювелира(как часто он допускает брак) и того, сколько изделий он начал делать.
• Активная аудитория игры – это функция характеристик самойигры (Retention) и числа новых пользователей, которые в нее пришли.

Метрики продукта:

• Retention(как новые пользователи возвращаются в продукт)
• LTV - Lifetime Value(сколько средний новый пользователь приносит прибыли за всё время пользования продукта)
• Доля платящих(какая часть новых пользователей заплатит в продукте)
• Прибыль с платящего(сколько срдений платящий пользователь приносит прибыли за всё время пользования продуктом)
• конверсия новых пользователей в платящих пользователей
• ARRPU(Average revenue per paying user)
• CPI(cost per Install) - средняя стоимость за установку
• CAC(customer acquisition cost) - средняя стоимость привлечения пользователя

Метрики роста:

• DAU, MAU etc
• Revenue
• Time Spent per DAU(сколько времени средний активный пользователь проводит в продукте в день)
• New Users

Вопросы, на которые отвечают метрики роста и метрики продукта

И метрики роста, и метрики продукта важны. Просто отвечают они на разные вопросы.

Метрики роста отвечают на вопросы о текущем состоянии бизнеса в целом:

• Растут доходы или падают?
• Сколько людей пользуются продуктом?
• Какова динамика активной аудитории?

Метрики продукта характеризуют сам продукт, вокруг которого вы строите бизнес. Они отвечают на вопросы:

• Насколько хорошо продукт удерживает пользователей?
• Сколько денег средний новый пользователь тратит в продукте?
• Какая часть новых пользователей доходит до определенного места в продукте?

Как повлиять на ключевые показатели бизнеса (метрики роста)

Чтобы улучшить ключевые показатели бизнеса, то есть метрики роста, нужно:

• Увеличить число новых пользователей
• Или улучшить продуктовые метрики (через изменения в продукте)

Сравнивать два продукта или две разные версии одного продукта с помощью метрик роста бессмысленно. Это как сравнивать быстрое и горячее.

Единственный честный способ сравнить продукты – использовать продуктовые метрики.

Как один плохой продакт менеджер может убивать продукт, но выращивать метрики роста

Что впоследствии все равно приведет к смерти бизнеса

На метрики роста влияют две составляющие: продукт и продвижение. Следя за метриками роста, вы не можете просто отделить эти два фактора. В данном случае команда маркетинга эффективно наращивала MAU, и это скрывало тот факт, что прдукт становился всё хуже и хуже

Почему многие компании используют метрики роста для оценки продукта

Первая причина заключается в историческом наследии. Раньше основным источником информации о состоянии бизнеса были отчеты бухгалтерии, которые, по вполне понятным причинам, описывали бизнес в целом, а не продукт, вокруг которого он строится. В таких отчетах отражались только метрики роста:

затраты, доходы, прибыль, число новых клиентов и тому подобное.

Вторая причина, уже более релевантная технологическому бизнесу, в том, что почти все системы аналитики по умолчанию показывают метрики роста, а не метрики продукта. Более того, многие из них даже не дают возможности посчитать метрики продукта. Так аналитические продукты выступили в роли скрытого наставника – они приучили людей смотреть и делать выводы на основе того, что легко, доступно и показывается в системе аналитики, а не на основе того, что может дать ответы на правильные вопросы.

Третья причина в том, что работать с метриками продукта сложнее. Посчитать и сравнить DAU легче, чем посчитать и сравнить Retention. Из-за всего этого очень часто для сравнения двух версий продукта берутся метрики роста, которые для этого совершенно не подходят

Как метрики, нормированные на активную аудиторию, могут вводить в заблуждение

Метрики, где определенная активность в приложении нормируется (делится) на активную аудиторию, очень похожи на метрики продукта, но ими не являются.

Примерами таких метрик могут быть:

• Доля пользователей, делающих покупки, от дневной аудитории (отношение числа пользователей, сделавших покупку вопределенный день, к числу пользователей, запустивших приложение в определенный день)
• Доля пользователей, использующих умный саджест, от дневной аудитории

Особенность таких метрик в том, что в периоды, когда продукт находится в стабильном состоянии, они хорошо отражают характеристики продукта. Но когда продукт быстро растет или наоборот, приток новых пользователей резко сокращается, они могут вводить в заблуждение.

---

Example

Представьте, что вы работаете над мобильной игрой, где пользователи делают покупки только в первые два дня. Дальше они просто играют, но уже не покупают. Чтобы понимать, насколько хорошо продукт монетизирует пользователей, вы следите за долей дневной аудитории, которая делает покупки. Именно на эту метрику вы смотрите, когда анализируете сделанные изменения продукта. Пока у вас каждый день приходит плюс минус одинаковое количество пользователей, эта метрика хорошо описывает монетизацию продукта. Если вы улучшите монетизацию, вы заметите это на этой метрике.

Но представьте, что вы выпустили апдейт, который в реальности ни на что не повлиял. Но так совпало, что в день апдейта в приложение пришло намного больше новых пользователей, чем обычно. Так как пользователи платят только в первые дни, вы увидите резкий ростдоли платящих от дневной аудитории. Но дело не в изменении продукта, а в том, что доля новых пользователей в дневной аудитории резко выросла. А вы, смотря на эту метрику, можете подумать, что улучшили монетизацию продукта, хотя это не так.

---

Принципиальное отличие рассмотренных от настоящих метрик продукта

Принципиальное различие в том, что реальные метрики продукта нормируются на новых пользователей. Новые пользователи – это базовый материал, с которым работает продукт, то, что подается на вход черной коробки.

Метрики, рассмотренные в примере, нормируются на активную аудиторию. А активная аудитория представляет из себя смесь пользователей, использующих продукт в разное время. В активной аудитории есть новые пользователи, есть те, кто провел в продукте два дня, а есть те, кто использует его уже больше года.

Пусть есть задание, где вы прогнозировуете аудиторию приложения. В январе месячная аудитория состояла практически целиком из новых пользователей. При этом к октябрю доля новых в активной аудитории была меньше 50%. Состав активной аудитории значительно менялся от месяца к месяцу.

Так как новые пользователи отличаются от старых, при изменении долей новых и старых пользователей в активной аудитории метрики, нормированные на активную аудиторию, тоже меняются.

Нужно избегать неоднозначности формулировки метрики!

Формулировка “Конверсия в покупку” может быть:

• долей новых пользователей которые хотя бы один раз совершили покупку
• доля дневной аудитории, которая сделала покупку
• доля месячной активной аудитории, которая сделала покупку

Все эти метрики будут иметь разные значения. Все они характеризуют совершенно разные вещи. При этом нельзя сказать, что какая-то из этих метрик хорошая или плохая. Просто они отвечают на разные вопросы.

Поэтому, обсуждая с кем-то метрики и данные, всегда докапывайтесь до точного определения того, о чем вы говорите. Иначе велика вероятность, что вы будете называть одинаково разные вещи.

Retention

Retention показывает, как новые пользователи возвращаются в приложение.

• Дневной Retention, в частности, показывает, какая часть новых пользователей вернется в приложение на следующий день после первого запуска (Retention 1-го дня), на 2-й день после первого запуска (Retention 2-го дня), на день N после первого запуска (Retention N-го дня).

Rolling Retention и N-day Retention

N-day Retention, или просто Retention, показывает долю пользователей, которые вернулись в указанный день.

Rolling Retention показывает долю пользователей, которые вернулись в указанный день или в любой день после него.

Если N-day Retention 2-го дня приложения равен 50%, это значит, что 50% новых пользователей этого приложения возвращаются в него на 2-й день.

Если Rolling Retention 2-го дня приложения равен 50%, это значит, что 50% новых пользователей приложения вернутся в него во 2-й день или позже.

Главный минус Rolling Retention

Rolling Retention имеет один минус, из-за которого я рекомендую его использовать лишь в случаях, когда без него невозможно обойтись. Проблема этой метрики в том, что она может постоянно меняться.

Если какой-то пользователь вдруг первый раз вернется в приложение спустя 90 дней, он увеличит Rolling Retention всех предыдущих дней. При обычном Retention вы знаете точное значение Retention 1-го дня для пользователей, которые пришли в определенный день, уже спустя 24 часа. В случае же Rolling Retention значение для 1-го дня может измениться и 90, и 250 дней спустя.

Плато Retention

Только так вы можете предсказуемо и устойчиво растить продукт. Если Retention рано или поздно достигает нуля, вы через какое-то время упретесь в потолок активной аудитории продукта, так как на определенном масштабе будет невозможно компенсировать уход старых пользователей за счет новых.

Ориентиры Retention для разных категорий продуктов

Unit экономика

Существует два способа расчета юнит экономики:

Маржинальная прибыль: Этот подход основан на расчете маржинальной прибыли, которая представляет собой разницу между выручкой от продажи единицы продукции и затратами на производство/закупку и продажу этой единицы. Этот метод помогает понять, прибыльно ли предприятие продает единицы продукции или нет.

Коэффициент LTV/CAC: Данный подход основан на соотношении прибыли, принесенной клиентом за время его жизни, и затрат на приобретение этого клиента. Этот метод помогает понять, приносит ли клиент бизнесу больше прибыли, чем было потрачено на его приобретение.

Но ведь LTV – это доходы за Lifetime пользователя

C метрикой LTV есть сложность – она характеризует то, сколько принесет средний новый пользователь в продукте за все время. А мы только что посчитали данные лишь за первые 14 дней с момента прихода пользователей в приложение.Поэтому обычно говорят про LTV на день N, а в качестве дня N выбирают день, когда рост LTV уже замедляется. То есть, чтобы понимать, что происходит с монетизацией продукта, вы считаете LTV на первые N дней в продукте и используете именно эту метрику (LTV на день N).

Доска в Miro с наглядной структурой подсчета юнит экономики

ROI(ROMI) - Return on (Marketing) Investment

$$ROI=\frac{Валоваяприбыльизрекламногоканала-Затратынарекламныйканал}{Затратынарекламныйканал}$$

Валовая прибыль - разница между выручкой и себестоимостью реализованной продукции или услуги

Например, если вы продаете игру, то при расчете валовой прибыли вы не должны учитывать зарплаты команды, которая ее разрабатывает, так как они напрямую не влияют на стоимость одной копии продаваемой игры.

Альтернативно, можно использовать

$$ROI=\frac{LTV-CPA}{CPA}$$

где Знакомый LTV CPA(CAC) - Cost per Acquisition

$$CPA=\frac{затратынаканал}{числоновыхпользователейизканала}$$

Рекламные метрики

219. CPM (Cost per mille) – cколько стоит 1000 показов рекламного объявления.
220. CPC (Cost Per Click) – сколько стоит один клик по рекламе.
221. CTR (Click-through rate) баннера – конверсия баннера, то есть отношение числа кликов к числу показов.
222. Unique CTR баннера – отношение числа пользователей, которые кликнули по рекламе, к числу уникальных пользователей, которые ее увидели.
223. CR (Conversion rate) – конверсия страницы приложения в магазине приложений (какая доля пользователей, которые перешли на страницу приложения по рекламному объявлению, потом скачали приложение).
224. CPA (Cost per Acquisition) – стоимость привлеченного нового пользователя из рекламного канала.
225. CPI (Cost per Install) – стоимость установки приложения из рекламного канала.

Info

В случае мобильных приложений CPA и CPI – это почти одно и то же. В контексте мобильных приложений чаще употребляют термин CPI.

A/B тест

A/B-тест – это тест, где:

• Пользователи случайно делятся на две группы.
• Первая группа пользователей (А) получает текущую версию продукта.
• Вторая группа (B) получает измененную версию продукта.
• После сравниваются ключевые продуктовые метрики, посчитанные на основе пользователей из группы А и группы Б.
• На основе посчитанных метрик принимается решение о том, какая версия работает лучше.

A/B-тест – лучший способ сравнить две версии продукта

Главное преимущество A/B-тестирования состоит в том, что между полученными группами пользователей разница определяется только изменениями, которые были сделаны в продукте. Поэтому единственная причина значимого колебания метрик – это продуктовые изменения. Ведь всё остальное полностью идентично для обеих групп, так как пользователи распределяются по группам случайно.

У A/B-тестирования есть и минусы:

• Для проведения A/B-тестов нужна специальная инфраструктура, которой у большинства компаний нет.
• A/B-тестирование требует, чтобы одна версия приложения содержала в себе всё необходимое для работы обеих тестируемых версий, что создает сложности для разработки.

Когортный анализ

Когортный анализ – способ сравнить две версии продукта без A/B-теста

Суть когортного анализа заключается в сравнении продуктовых метрик старой и новой версии продукта, посчитанных на основе новых пользователей, которые в свое время пришли в каждую из сравниваемых версий приложения.Работает это следующим образом:

• Берутся новые пользователи, которые пришли в старую версию приложения.
• Считаются их продуктовые метрики.
• Аналогично берутся новые пользователи, которые пришли в новую версию приложения.
• Для них тоже считаются продуктовые метрики.
• Затем сравниваются метрики, полученные для каждой из версий.
• На основе этого сравнения делаются выводы.

Необходимые условия для использования когортного анализа

Для того, чтобы сравнить две версии продукта с помощью когортного анализа, должны быть выполнены следующие условия:

• Пользователи в когортах должны быть похожи. Мы не можем сравнивать две когорты, где в одной будут пользователи из Филиппин, а в другой – из США, так как различия в метриках будут связаны с тем, что сами анализируемые пользователи разные.
• Нет других факторов, которые могут повлиять на метрики пользователей, приходивших в разные версии приложения: сезонность, технические проблемы в одной из версий и т.д.

Формулы по статистике

226. Доверительные интервалы для подсчета конверсии

$$[T-1.96\ast \sqrt{\frac{T\ast (1-T)}{N}};T+1.96\ast \sqrt{\frac{T\ast (T-1)}{N}}]$$

где
	`N - число людей в выборке`
	`T - оценка конверсии`
	`P - уровень доверия доверительного интервала(по умолчанию 95% - 1.96)`
Больше [тут](https://people.richland.edu/james/lecture/m170/ch08-int.html)

227. Сравнение конверсий

$$conv2-conv1+-1.96\ast \sqrt{\frac{conv1\ast (1-conv1)}{N1}+\frac{conv2\ast (1-conv2)}{N2}}\ast$$

где
`conv1, conv2 - оценка конверсий`
`N1, N2 - число в выборке`

228. Размер выборки для получения доверительного интервала с заданной точностью

$$N=P^2\ast \frac{T\ast (1-T)}{confin{t}^2}$$

где
`P - уровень доверия(80, 95, 99% и их числовые выражения)`
`Т - оценка конверсии`
Если конверсия неизвестна, можно взять T = 50%, т.к. получим выборку достаточную для достижения заданной точности в середине интервала, а это максимально возможное значение -> точно не ошибемся в меньшую сторону по размеру выборки

229. Калькулятор Подсчета выборки для a/b теста

Оценки конверсий

[! Important] Оценки конверсий

1. Поисковая выдача: 1 позиция – 30% 2 позиция – 12% 3 позиция – 8% 4 позиция – 4% 5 позиция – 2%

2. Контекстная реклама в поисковиках - CTR показа в клик 2%

3. Контекстная реклама в поисковиках - CTR показа в клик 2%

4. Реклама в Facebook в ленте новостей - Средний CTR из показа в клик – 1%

5. Конверсия на странице приложения в App Store/Google Play из показа в скачивание: Для бесплатных игр медианное значение – 20% Для бесплатных приложений медианное значение – 30% 75% бесплатных игр Google Play имеют CTR выше (75% percentile) – 25% 75% бесплатных приложений в Google Play имеют CTR выше (75% percentile) – 40%

6. Конверсии email-рассылок Open rate = 20% Click rate = 2.5%

7. 1. Конверсия в платящего пользователя для бесплатных мобильных игр Средняя – 1-2% Хорошие игры – 3-5% Топовые игры – 5-10% 1. Конверсии в воронке SaaS сервисов Конверсия в использование триальной версии с лендинга– 10% Конверсия из триальной версии в платную – 15%

---

Навигация

• Назад: Продуктовые подходы
• Наверх: Шпаргалка по продакт-менеджменту
• Далее: Создание стратегии