Инструмент подбора наилучших идей для продукта

Допустим, вы управляете продуктом, который помогает бизнесу работать со своими клиентами. Вы хотите улучшить уровень вовлеченности и удержания пользователей. У вас возникло две идеи:

* Дашборд, который позволяет отслеживать статистику и тенденции взаимодействия с пользователями.

* Чат-бот, который помогает владельцу бизнеса автоматизировать коммуникацию с пользователями.

Идея создания дашборда возникала в процессе переговоров с клиентами и вы чувствуете, что у нее есть потенциал, но существует риск того, что ее будут использовать только продвинутые пользователи. Чат-бот — это то, что нравится всей компании, и управление выглядит довольно простым, это похоже на классный проект.

Какую из идей выбрать?

Вопросы приоритезации лежат в основе управления продуктом. И наказание за выбор неправильного приоритета может быть довольно высоко: стоимость разработки + стоимость развертывания + стоимость обслуживания + альтернативные издержки + другие остаточные затраты.

Мы часто испытываем соблазн принять решение, основанное на таких слабых сигналах, как: большинство голосов или мнение топ-менеджмента (Hippo — highest-paid person opinion), тренды в индустрии и т.д., но такие решения похожи скорее на азартные игры.

В этом посте описан лучший способ найти выигрышные идеи.

Он состоит из трех частей:

• ICE Score
• Уровень уверенности
• Инкрементная валидация идей

ICE Scores

ICE Scores — это метод приоритезации, разработанный Шоном Эллисом, который известен за работу над продуктами DropBox и Eventbrite. Показатели ICE первоначально были предназначены для определения приоритетов growth hacking экспериментов, но также используется для проверки регулярных проектных идей.

Формула расчета:

ICE Score = Воздействие (impact) * Уверенность (confidence) * Простота реализации (ease)

* Воздействие — это оценка того, насколько идея положительно повлияет на ключевой показатель, который вы пытаетесь улучшить.

* Простота (реализации) — это оценка того, сколько усилий и ресурсов потребуется для реализации идеи.

* Уверенность показывает, насколько мы уверены в воздействии, и в некоторой степени, в простоте внедрения.

Три значения оцениваются по относительной шкале от 1 до 10. Каждая команда может выбрать, что означает 1-10. В конечном итоге цель состоит в том, чтобы ваш банк идей выглядел так:

Рассмотрим, как это работает на нашем примере:

Первый шаг — ICE Scores

Вы решили рассчитать баллы ICE для двух идей: дашборда и чат-бота. На раннем этапе вы используете грубые значения.

* Воздействие — вы предполагаете, что дашборд значительно увеличит retention, но только для некоторого количества ваших клиентов. Вы даете 5 баллов из 10. Чат-бот, может полностью изменить ситуацию, поэтому вы даете ему 8 из 10.

* Простота — вы оцениваете, что на разработку дашборда будет затрачено 10 человек-недель, на чат-бот — 20 человек-недель. Позже вы получите более точные сроки от команды. Используйте простую таблицу (см. ниже) для преобразования вашей оценки в Простоту:

Таким образом, дашборд получает значение Простоты 4 и чат-бот 2 из 10.

Вычисление уверенности

Существует только один способ рассчитать уверенность — поиск подтверждающих доказательств. Для этого используем инструмент, показанный ниже. В нем перечислены общие типы тестов и доказательств, а также уровень уверенности, который они предоставляют. При его использовании учитывайте: какие показатели у вас уже есть и сколько еще требуется для получения большей уверенности.

Вернемся к примеру, чтобы увидеть инструмент в действии.

* Доказательства для чат-бота: самоуверенность (вы считаете, что это хорошая идея), поддержка рынка (индустрия думает, что это хорошая идея) и мнения других (ваши менеджеры и коллеги считают это хорошей идеей). Это дает чат-боту общее значение уверенности 0.1 из 10 или почти нулевой показатель (Near-Zero). Данный инструмент явно не считает мнения — надежным индикатором.

* Доказательства для дашборда: самоуверенность (вы думаете, это хорошая идея) и вспомогательная поддержка (несколько клиентов попросили об этом). Это фактически повышает значение уверенности до 0.5 из 10, что все еще является низким уровнем. К сожалению, клиенты плохо прогнозируют свое будущее поведение.

Показатели ICE:

Оценка реализации

Вы рассмотрели обе идеи с командой. Оба проекта кажутся выполнимыми на первый взгляд. Тимлид предоставил грубую оценку требуемых усилий: дашборд займет 12 человек-недель до запуска, а чат-бот — 16 человек-недель. В соответствии с вашей шкалой Простоты это даст оценки 4 и 3 соответственно.

Параллельно вы делаете некоторые вычисления и находите, что идея с дашбордом выглядит немного менее перспективной и получает оценку воздействия 3. Чат-бот по-прежнему держится на 8.

Использование инструмента уверенности показывает, что обе идеи теперь проходят тест оценки и проверку выполнимости и получают дополнительную уверенность. Теперь дашборд перемещается на 0.8, чат-бот на 0.4.

Чат-бот сократил пробел. Тем не менее уровень уверенности остается низким, поскольку числа были взяты «из воздуха» и вы знаете, что вам нужно собрать больше доказательств.

Рыночные данные

Вы отправляете существующим клиентам опрос, предлагая им выбрать одну из 5 возможных новых функций, включая чат-бот и дашборд, получаете сотни ответов. Результаты очень позитивны для чат-бота — это функция №1 в опросе, 38% респондентов выбирают ее. Дашборд занимает 3-е место с 17% голосов.

Показатель чат-бота поднимается до 1.5. Дашборд также повышает показатель уверенности, но только на 1 балл.

Чат-бот сильно продвинулся вперед. Кажется, что ваши коллеги и отрасль доказали свою правоту. Стоит сейчас «нажимать курок»? Наверное нет, проект довольно дорогостоящий и у нас только средне-низкий уровень уверенности. К сожалению, даже результаты опроса не дают достаточно сильного сигнала. Нужно продолжать работать!

Доказательство от клиентов

Чтобы узнать больше, вы запускаете пользовательское исследование с 10 существующими клиентами, показывая им интерактивные прототипы обеих функций. Параллельно вы проводите телефонные интервью с 20 участниками опроса, которые выбрали одну из двух функций.

Исследование показывает более точную картину:

* 8/10 участников исследования нашли дашборд полезным и сказали, что будут использовать его не реже одного раза в неделю. Их понимание этой функции хорошо коррелировало с тем, что вы представляли, и у них не было проблем с использованием. Телефонные интервью подтвердили понимание и желание использовать в среднем один раз в неделю.

* 9/10 участников исследования сказали, что они будут использовать чат-бот. Уровень энтузиазма был очень высоким — каждый сразу понял, чем чат-бот может быть полезен, и многие попросили реализовать его как можно скорее. Однако были проблемы с удобством использования, а некоторые клиенты высказывали озабоченность по поводу прописанных бот-ответов.

Это качественное исследование дает вам немного пищи для размышлений. Дашборд оказался более популярным, чем вы ожидали. Чат-бот теперь больше напоминает проект с высоким уровнем риска. Рассматривая инструмент уверенности, вы даете дашборду и чат-боту оценки 3 и 2.5. Подстраиваете воздействие на 6 для дашборда и на 9 для чат-бота. Наконец, основываясь на исследовании юзабилити, вы понимаете, что для получения UI для чат-бота потребуется больше работы — вы уменьшаете Простоту до 2.

Таблицы снова изменились, теперь лидирует идея дашборда. Строго основанная на оценках ICE, дашборд должен быть объявлен победителем, с другой стороны, показатели доверия обеих идей далеки от высоких. Не желая отпускать потенциально хорошую функцию, команда решает продолжить тестирование.

Заключительные тесты и победитель!

Вы решаете начать с создания первоначальной версии чат-бота — разработка занимает 6 недель. Вы запускаете эту версию для 200 респондентов, которые дали добро на тестирование. 167 включились в тестирование, но использование чат-бота резко падает с каждым днем, и к концу двух недель у вас всего 24 активных пользователя. В последующих опросах и вызовах появляется четкая картина — чат-бот сложнее использовать и он гораздо менее полезен, чем ожидали участники, и, что еще хуже, он отталкивает клиентов, которые ценят личный контакт. Анализируя результаты, вы пришли к выводу, что запуск первоначальной версии чат-бота, который будет соответствовать ожиданиям клиентов, потребует не менее 40-50 дополнительных человек-недель (Простота 1) и будет иметь высокий риск. Также стало ясно, что гораздо меньше клиентов найдут эту функцию полезной, чем ожидалось ранее. Таким образом, вы уменьшаете воздействие на 2. Это существенно изменяет функцию, поэтому вы больше не можете доверять проведенным результатам исследования, вы уменьшаете уверенность до 0.5.

Первоначальная версия дашборда запускается в течении 5 недель для других 200 пользователей. Результаты очень хорошие. 87% участников используют эту функцию ежедневно. Обратная связь в подавляющем большинстве позитивна. Вы понимаете, что воздействие выше, чем вы ожидали — 8 баллов. Команда разработки оценивает, что потребуется еще 10 недель для запуска пробной версии панели задач в полном объеме, поэтому простота — 4 балла. В соответствии с инструментом уверенности вы чувствуете себя комфортно, устанавливая значение 6.5 из 10.

Выводы:

1. Прекратите инвестировать в плохие идеи

Этот пример иллюстрирует, насколько рискованно делать ставки на функции, основанные на чувствах, мнениях, тенденциях рынка и т.д. Большинство идей больше похожи на чат-бот, чем на идею дашборда — они неверно показывают влияние и требуют гораздо больше ресурсов, чем мы думаем. Единственный реальный способ найти выигрышные идеи — это проверить их и снизить уровень неопределенности.

2. Беспокоиться о результатах, а не о процессе

Это может показаться трудоемким и медленным способом создания продуктов, но на самом деле — это намного эффективнее альтернатив. Процесс расчета уверенности не только устраняет большую часть потраченного впустую усилия на плохие идеи, но и фокусирует команду на коротких и ощутимых этапах с немедленными измеримыми результатами, а это улучшает фокус и скорость. Благодаря этому процессу мы много узнаем о продукте, потребителях, рынке и в конечном итоге получаем лучший конечный продукт, который уже был протестирован пользователями.

3. Планирование

На самом деле зачастую нам приходится выбирать между десятками идей, а не двумя. Ограничивая усилия, которые мы вкладываем в каждую идею, основанную на нашем уровне уверенности в ней, мы позволяем себе параллельно тестировать многие идеи. Как это лучше и продуктивнее планировать, можно изучить подробнее на GIST planning.

4. Привлеките своих менеджеров и заинтересованные стороны

Как заставить менеджеров и стейкхолдеров поверить в проект? Вы будете удивлены. Менеджеры предпочитают не принимать решения по продукту, но они чувствуют себя вынужденными участвовать, поскольку команда представляет им слабые варианты. Является вариант слабым или сильным, конечно, зависит от взгляда, но если вы не представите обзор с реальными доказательствами и четкими уровнями уверенности, то переговоры пройдут легче. С другой стороны, в следующий раз, когда ваш Генеральный директор удивит вас своей новой идеей, попробуйте показать ему как оценить эту идею. Сколько воздействия, усилий и уверенности мы можем дать, как ее ICE показатели относятся к показателям других идей, и как мы можем провести тестирование для получения большего показателя уверенности. Это хороший способ запуска нового проекта.