Фидбэк всемогущий: как edtech платформе работать с обратной связью от пользователей

Успех EdTech проекта — это всегда совокупность нескольких факторов. От выбранной образовательной модели и системы мотивации до интерфейса и IT-инфраструктуры платформы. Однако главной метрикой эффективности остается уровень удовлетворенности пользователей.

Универсальной системы его оценки в EdTech пока не придумали. Безусловно, есть объективные показатели: количество занятий на человека и их средняя продолжительность, retention — процент возврата пользователей после первой тренировки. Проблема в том, что понятия «нравится — не нравится — надо улучшить» остаются субъективными. Здесь на помощь разработчикам приходит работа с обратной связью от пользователей.

Почему support — это не показатель

Первое правило — не делать выводов о продукте только на основе данных от службы поддержки. Саппорт был и остается точкой концентрации максимального негатива. Довольные пользователи практически никогда не пишут в поддержку. До 99% обращений — это жалобы на технические сбои, проблемы с управлением подписками и так далее. Зачастую это точечные проблемы, которые решаются в оперативном режиме.

Есть и более необычные кейсы. Некоторые пользователи после длительного перерыва в занятиях требуют вернуть streak — показатель времени непрерывного обучения. Его шкала автоматически обнуляется, когда человек перестает заниматься. Есть и те, кто путает службу поддержки с репетиторами и терзает сотрудников просьбами объяснить то или иное грамматическое правило.

Таким образом, оценивать работу онлайн-школы только по службе поддержки — это все равно, что оценивать агрегатор такси по жалобам на водителей. Исправить конкретные недочеты, конечно, поможет, но представления об удобстве и классе сервиса все равно не даст.

Собираем обратную связь

Пользователи редко выступают инициаторами обратной связи (опять-таки если речь не о гневных жалобах). Здесь на первый план выходят две основные задачи. Первая — максимально упростить взаимодействие и дать пользователям возможность выбирать способ связи с поддержкой. Помимо e-mail это могут быть чат-боты и формы в приложении, чат-боты в мессенджерах.

Вторая задача — мотивировать пользователей оставлять фидбэк. Самый простой вариант — предложение поставить оценку пройденному уроку или оценить уровень сложности материала. Вариант продвинутый — более подробные опросы с оповещениями через email-рассылки или пуши в приложении. Повысить response rate (долю ответов) помогают дополнительные инструменты мотивации, например, скидки, бонусы или промокоды на бесплатное занятие.

Отдельное внимание необходимо уделить проработке самих опросов. Мы стараемся избегать формулировок вроде «хотелось бы вам иметь возможность» или «было бы вам интересно». Людям свойственно отвечать на такие вопросы утвердительно даже в тех случаях, когда они сомневаются или смутно представляют, о чем идет речь. Соответственно результаты таких опросов зачастую вообще не отражают реального положения дел. Так что мы концентрируемся исключительно на оценке имеющегося опыта — с какими проблемами сталкивался пользователь, какие функции приложения или элементы учебной программы понравились, а какие нет.

Обработку результатов мы всегда начинаем с поиска «общих мест» в ответах. Если таких пересечений нет, стараемся откалибровать ответы и ищем в них определенные зависимости, которые затем анализируем. Бывает, что находятся и какие-то яркие инсайты с потенциалом для масштабирования.

При работе с негативным фидбэком мы дополнительно перепроверяем, пытался ли пользовать как-то исправить беспокоившую его проблему. Если никаких шагов предпринято не было, возможно, поиск решения был не так уж и важен.

Что волнует пользователя

Сбор обратной связи должен охватывать разные категории пользователей. С одной стороны, необходимо работать с теми, кто учится давно и успешно. Таких студентов мы обычно спрашиваем, что мотивирует их продолжать учиться. С другой стороны, мы активно работаем с пользователями, которые ушли с платформы.

Вопросы условно можно разделить на продуктовые и методологические. В первом случае нас интересует все, что касается самого приложения и технических нюансов. Во втором – то, насколько эффективна образовательная методика и «слабые места», на которых сыпятся наши студенты.

Технические моменты

• Проблемы с работой приложения. Мы контролируем работу серверов, но полностью застраховаться от технических накладок практически нереально. Например, приложение или сайт могут «виснуть» при соединении через отдельных провайдеров. Проследить это самостоятельно без фидбэка — фактически нереально. 
• Сложности с оплатой. Эта проблема стала особенно актуальной в последние пару лет в связи с релокацией части пользователей. В частности, не всегда могут проходить оплаты по карте в приложении из-за рубежа. Решение таких проблем — это всегда индивидуальная история.

Контент и обучение

• Нерегулярность занятий. Проблема абсолютного большинства студентов — недостаток внутренней мотивации. Сам продукт, модель, принципы обучения таких пользователей обычно полностью устраивают. Но миссия «просто сесть и уделить занятию хотя бы 15 минут в день» все равно остается для них невыполнимой. Вне зависимости от того, как они учат язык — в онлайн-школе, с репетитором, самостоятельно по книгам и сериалам.
• Дисбаланс сложности. Материал должен отвечать уровню подготовки пользователя. И слишком сложный контент, и слишком легкий рано или поздно рискуют обернуться потерей мотивации. Просто в первом случае человек сломается «психологически», а во втором — утратит интерес.
  
• «Травмирование грамматикой». Типичный барьер в изучении английского для многих пользователей с постсоветского пространства — то, что мы называем «травмирование грамматикой». Даже во взрослом возрасте люди нередко вспоминают школьные уроки английского с содроганием. Мысль о том, что придется опять зубрить грамматику вообще вселяет практически священный ужас и отбивает желание заниматься. При этом они не сразу понимают, что учить грамматические правила можно совершенно по-другому. Например, просто запоминать конструкции нативно или вообще не переживать, когда не получается разобраться с каким-то правилом.
  
• Отсутствие плана. Пользователи часто верят, что добьются лучшего результата, если сами смогут выбирать что и в каком объеме учить. Вот только в реальности большинству людей нужен четкий пошаговый план обучения. Как показывают тесты: чрезмерная свобода выбора зачастую оборачивается фрустрацией, а не успехами.
  

Пользователь как генератор идей

Работа с обратной связью важна не только в плане решения проблем, но для анализа идей, которые предлагают пользователи. Как в области технических моментов, так и образовательного контента.

В Lingualeo мы всегда прислушиваемся к пожеланиям пользователей по поводу тем в английском, которые им бы хотелось добавить в программу. Это могут быть разделы грамматики или подборки лексики определенной тематики. Например, идея добавления грамматических подсказок в тренировках принадлежит именно нашим пользователям. С помощью этой функции студент может уточнить, в каком времени подается материал. Наглядность усиливает логические связи и помогает нативному запоминанию грамматики.

Пользователь как тестировщик

Самым активным и лояльным пользователям можно предложить поучаствовать в тестировании новых функций. Например, перед тем как внедрить обновление мы всегда «обкатываем» его на закрытой группе реальных пользователей, собираем и анализируем их отзывы. Обратную связь от пользователей важно не просто анализировать саму по себе, но обязательно в контексте базовых показателей эффективности:

1. количество занятий на пользователя
2. retention или количество возвратов пользователей после первого контакта с продуктом
3. среднее проведенное на платформе время.

Каждый из этих компонентов дополняет друг друга и помогает разобраться в причинах изменений пользовательского поведения. Почему пользователи стали заниматься активнее? В чем причина сокращения времени на платформе? Только благодаря всесторонней коммуникации с пользователями разработчики получают максимально объективную картину их удовлетворенности продуктом и понимание того, куда двигаться дальше. Какие моменты нужно срочно исправлять, а какие — развивать.