4 апреля 2024

Блог

Аналитика и исследования

Как непрерывно развивать ИТ-продукт за счет инструментов аналитики?

Постоянный анализ ИТ-продукта – ключ к успеху его дальнейшего развития.

Допустим, перед вами стояла задача реализовать новый сценарий в приложении. Вы уже собрали информацию от бизнеса, зафиксировали цели, зафиксировали текущие показатели, сформулировали ряд гипотез, спроектировали сценарий, провели UX-исследование, скорректировали UX, разработали, протестировали сценарий и даже выпустили его в релиз.

Значит ли: «Всё, ура, мы достигли целей?» Ответ: «Пока что нет!».

Релиз – это прекрасно, но нам еще предстоит проанализировать результаты и при необходимости продолжить заниматься улучшением сценария, пока не добьемся поставленных целей. Более того, при достижении поставленных целей могут появиться новые вызовы, которые необходимо воплотить в жизнь.

Чтобы развивать решение эффективно и целенаправленно, необходимо смотреть на результаты комплексно, и в этом нам поможет процесс непрерывного развития, который можно представить в виде упрощенной схемы:

Аналитик

Ключевые шаги непрерывного развития:

  1. Постановка бизнес-целей
  2. Формирование гипотез
  3. Измерение текущего состояния
  4.  Разработка
  5.  Релиз
  6. Анализ результатов на основании данных
  7. Отчет о достигнутых результатов
  8.  Корректировка гипотезы на основании выводов, основанных на данных
  9.  Корректировка бизнес-целей

На какие данные важно опираться при анализе результатов:

  1. Бизнес показатели
  2. Технологические показатели
  3. Технические показатели
  4. Обратная связь от пользователей

Давайте чуть подробнее рассмотрим, чем данные группы показателей отличаются друг от друга.

Бизнес-показатели

Предоставляют информацию о пользовательском опыте, финансовом и коммерческом успехе ИТ-решения.

Примеры ключевых метрик:

  1. Конверсия: конверсия в покупки, регистрации, подписки, скачивания и т.д.
  2. Воронка: позволяет идентифицировать узкие места внутри сценария и выявить проблемные зоны с большим оттоком пользователей. Это помогает оптимизировать пользовательский опыт и увеличить конверсию
  3. Выручка: Общая выручка, средний чек, доход с одного пользователя (ARPU).
  4. Retention (удержание): процент пользователей, возвращающихся через определенный период времени (неделя, месяц, год)
  5. User Engagement Metrics: среднее время использования приложения, количество сеансов в день/неделю, глубина просмотра контента и т.д.
  6. Lifetime Value (LTV): средняя прибыль, которую приносит пользователь за все время пользования приложением
  7. Churn Rate: процент пользователей, прекративших использование приложения.
  8. ROI (Return on Investment): оценка возврата инвестиций в разработку и внедрение нового сценария
  9. И другие метрики

Какие инструменты можно использовать:

  1. BigQuery – система анализа больших данных от Google
  2. Looker studio – визуализация данных от Google
  3. Яндекс. Метрика – наглядная аналитика продукта в простых сценариях: карта кликов, отправка форм
  4. Matomo – серверное решение для веб-аналитики, данные остаются в компании
  5. Grafana - визуализация показателей и алертинг

Пример воронки, созданной в Looker studio.

Microsoft Teams Image (26)

Технологические показатели

Оценивают производительность и надежность приложения.

Примеры ключевых метрик:

  1. Ошибка и стабильность: количество ошибок, уровень стабильности приложения.
  2. Время загрузки страниц: время, необходимое для загрузки различных экранов приложения.
  3. Отклик интерфейса: время, проходящее от действия пользователя до реакции приложения.
  4. Crash Rate: процент сбоев приложения.
  5. Battery Usage: влияние нового сценария на расход заряда батареи устройства.
  6. App Size: размер приложения и его влияние на доступное пространство на устройстве.

Например, улучшение времени загрузки страниц может свидетельствовать об оптимизации нового сценария и привести к увеличению конверсии.

Технологические показатели

Какие инструменты используем:

  1. ElasticSearch, Logstash, Kibana - логирование действий пользователей
  2. Crashlytics - сбор данных о поломках, ошибках
  3. Grafana - визуализация показателей и алертинг
  4. Alertmanager – алертинг

Технические показатели

Аналитика продукта, содержащая информацию об использовании ресурсов приложения, таких как память, процессор и сеть, а также состоянии сетевой инфраструктуры. Изменения в показателях могут указывать на потенциальные проблемы с производительностью и возможности оптимизации.

Примеры ключевых метрик:

  1. Memory Usage: использование оперативной памяти устройства приложением
  2. CPU Usage: использование процессора устройства приложением
  3. API Performance: время ответа на запросы к внешним API
  4. Database Performance: время выполнения запросов к базе данных
  5. Network Performance: среднее время ответа сервера, скорость загрузки данных через сеть
  6. Uptime: время, в течение которого сеть работает при полном условии функционирования
  7. Downtime: период времени, в течение которого сеть не функционировала на полной мощности
  8. Availability: показатель насколько доступна была сеть для пользователей в течении определенного периода времени
  9. Packet Loss: потеря пакетов данных в процессе передачи

Например, увеличение использования процессора может указывать на неэффективное выполнение нового сценария.

Технические показатели

Какие инструменты используем:

  1. Prometheus, Victoriametrics - сбор и агрегирование данных по метрикам
  2. Zabbix - мониторинг метрик
  3. Grafana - визуализация показателей и алертинг
  4. Alertmanager – алертинг

Обратная связь от пользователей

Является ценным источником информации о пользовательском опыте. Изучение обратной связи помогает понять, как пользователи воспринимают новый сценарий, выявить проблемы или недостатки, а также определить потенциальные улучшения или новые гипотезы.

Примеры ключевых метрик:

  1. Отзывы и оценки: содержание отзывов, количество положительных и отрицательных оценок
  2. Опросы и интервью: результаты опросов пользователей, обратная связь из интервью с пользователями
  3. User Satisfaction Score: общая оценка удовлетворенности пользователей с помощью методов NPS, CSAT и т.д.

Обращу внимание, что метрик намного больше, и в рамках этой статьи мы привели примеры наиболее часто используемых.

Чтобы в обилии метрик не потерять главную суть, для каждой фичи, сценария или ИТ-продукта в целом, жизненно необходимо определить ключевую метрику: North Star Metric (NSM или метрика Полярной звезды), которая будет отражать его основную ценность. В зависимости от целей продукта это могут быть совершенно разные метрики, например:

  • Количество купленных продуктов в месяц
  • Количество просмотренного контента
  • Количество данных, внесенных в систему
  • Количество покупок на одного посетителя
  • Количество новых активных пользователей
  • И т.д.

 Метрик

Аналитика продукта в разрезе этих четырех категорий показателей позволит получить всестороннее представление о воздействии нового сценария на пользователя и приложение в целом и принять обоснованные решения относительно его дальнейшего развития.

Узнать больше про то, как мы работаем с аналитикой в компании:

Аналитика в IT: виды и как они вляют на успех продукта

Работа с целеполаганием и продуктовыми метриками в аналитике