Считается, что пользовательская вовлеченность напрямую связана с монетизацией. Создатели мобильных приложений ее часто измеряют и обсуждают цифры. И только кажется, что все исследуют ее одинаково. На самом деле, все намного интереснее.

Очень длинная статья содержит обзор подходов, методов и результатов исследований вовлеченности пользователей мобильных приложений. В ней не будет простых и быстрых «топ-10» советов по гарантированному повышению DAU, MAU, ARPU и др. Вместо этого, попробуем разобрать виды вовлеченности и прийти к пониманию, что и когда лучше измерять, а что измерять не имеет смысла. Сложные моменты разберем «на пальцах». В дополнение посмотрим на несколько переведенных методик измерения вовлеченности из научных рецензируемых журналов.

Статья может оказаться полезной создателям мобильных приложений, менеджерам продуктов, аналитикам, исследователям, UX-специалистам.

Я решила вынести выводы в начало.

Самые короткие выводы из статьи
1. Что хотите исследовать?
1) Как пользователь относится к продукту/бренду: исследуйте маркетинговую вовлеченность.
2) Насколько пользователь вовлекается в использование приложения: исследуйте пользовательскую вовлеченность.
2. Как определяют вовлеченность: Таблица 1.
3. Через что исследуют вовлеченность: Таблица 2.
4. Как измерять уровни вовлеченности: Таблица 3.
5. Что исследовать для разных типов приложений и вовлеченности: Таблица 4.
6. Как выбрать метод на разных стадиях развития продукта: Таблица 6.
7. Какие анкеты используют исследователи: см. Приложения.

А теперь, я напишу, как это все появилось.

Все началось не просто так. Более двух лет назад я придумала идею SAAS сервиса для автоматизации рекрутинга и оценки, нашла инвестора, наши компании в партнерстве создали сервис и запустили его в работу. Кроме прочего, я занималась маркетингом, исследованиями и следила за тем, как пользователи воспринимают и покупают продукт. Об одном из таких исследований я писала в прошлой статье .

На тестирование маркетинговых ходов уходили время и деньги. Мы следили за изменением спроса и стали замечать, что наши маркетинговые усилия и доработки продукта под запросы клиентов не особенно влияли на изменение их поведения. Глобального прироста спроса и вовлеченности из-за этих изменений не происходило. И тогда мы отошли от метрик и маркетинга, перестали дорабатывать юзабилити и стали разбираться, что еще влияет на поведение клиентов. Здесь и оказалось, что метрики, которые мы использовали, в принципе не помогали нам понять, что нужно пользователям, и отвлекали внимание на суету с аналитикой.

Сейчас мы разрабатываем мобильное приложение для оценки профессиональных компетенций. Чтобы снова не потерять время, я решила с самого начала разобраться, как измеряется вовлеченность в мобильных приложениях и как ее можно повышать. Статьи описывают, в основном, метрики типа DAU, MAU, retention, ARPU. Но до того времени, как эти метрики смогут мне что-то сказать, будет уже много потрачено.

Поэтому я задумалась об измерении вовлеченности всерьез, обложилась научными статьями и новыми исследованиями и попыталась найти в этом какую-то систему. В статье я шаг за шагом покажу, как я отстраивала эту систему и как в итоге у меня получилось 3 вида вовлеченности, 3 группы приложений и 5 таблиц для того, чтобы выбрать метод и все это хорошо исследовать.

1. Что такое вовлеченность

Здесь я расскажу, как определяют вовлеченность. Затем мы столкнемся со сложностями и узнаем хорошую новость. Если вас не интересуют тонкости определений, этот раздел можно пропустить. Но тогда вы не узнаете, насколько по-разному определяют вовлеченность, и к каким двум видам вовлеченности все сводится.

Действительно, а что такое вовлеченность? Все интуитивно понимают, что это. И активно ее исследуют. Но определение дают редко. И это вызывает замешательство. Вовлеченность – это особое состояние во время использования приложения, или общая лояльность к продукту, или готовность с ним активно взаимодействовать и рекомендовать другим, или что-то еще?

Для моего приложения по оценке компетенций что можно считать вовлеченностью пользователей? Перед тем, как применять метрики, я хочу разобраться, чего именно я хочу от пользователей и что буду считать успехом приложения.

Раз мы говорим об исследовании вовлеченности, то этап концептуализации (определения, что она такое с точки зрения конкретного продукта) пропустить нельзя. Поэтому сейчас будет немного занудства и работы со словарями.

Часто в исследованиях понятие вовлеченности сужается только до эмоций, которые испытывает пользователь по отношению к продукту, или бренду компании. Иногда речь ведется только об исследовании реальных поступков пользователей. В исследовании вовлеченности игроков упоминается погруженность, психологическая поглощенность, состояние потокаи диссоциация [21]. В обзоре M. Lamas с соавторами перечислены подходы к исследованию вовлеченности через анализ позитивных эмоций, сфокусированного внимания, достижимости и контроля, новизны и др. [1] Я нашла несколько определений, сделала посильный перевод и прилагаю оригиналы. Если у вас будут рекомендации по улучшению перевода здесь и далее, буду рада им в комментариях.

Таблица 1. Варианты определений пользовательской вовлеченности.


Итак, разделяют подходы к вовлеченности, как к результату (пользователь вовлекся и стал больше нажимать / рекомендовать / покупать), и как к процессу (пользователь вовлечен в данный момент, его внимание поглощено приложением). В первом случае часто встречаются пересечения с понятиями удержания, возврата и лояльности пользователей.

Краткий итог раздела
Вовлеченность пользователя понимают в разных исследованиях, как:
– положительные эмоции, fun,
– любопытство, интерес,
– отношение, аттитюды,
– предпочтение,
– мотивацию,
– поведение,
– привычку,
– концентрацию внимания,
– диссоциацию,
– поглощенность,
– состояние потока.

Отсутствие единственного определения – это хорошая новость. Теперь можно подбирать удобное определение под задачи исследования, под тип приложения и – в конечном итоге – под этап развития продукта.

Уже сейчас явно видны два типа вовлеченности:
Пользовательская вовлеченность – вовлеченность в деятельность в приложении: состояние, при котором пользователь поглощен взаимодействием с приложением и испытывает удовольствие от этого взаимодействия.
Маркетинговая вовлеченность – вовлеченность в бренд: интенсивность потребительской заинтересованности в товаре.

Разберем на пальцах.


Рисунок 1. Виды вовлеченности на пальцах.

Как это применить к моему приложению?
Когда мне нужно будет понять, насколько пользователям хорошо в моем приложении, нравится ли им процесс, удобно ли им – я буду изучать пользовательскую вовлеченность. Когда я буду заинтересована в том, как пользователи воспринимают приложение, как реагируют на бренд, насколько они знают о нем и лояльны к нему, я буду изучать маркетинговую вовлеченность.
Дальше я покажу, как можно измерять каждый тип вовлеченности, как подобрать вовлеченность под тип приложения и как выглядит третий тип вовлеченности.

2. Как операционализируется вовлеченность

Здесь обсудим операционализацию – то есть, через какие конкретные измеримые проявления можно изучить вовлеченность. Узнаем 2 истории, когда продолжительность сессий в приложении показала себя с неожиданной стороны. В результате станет понятно, что нужно измерять для каждого типа вовлеченности. Третий тип вовлеченности (деятельностный) еще не откроется в этом разделе. Если вы ищете только его – переходите дальше.


Если я узнаю, что в мое приложение пользователи часто заходят. Или узнаю, что они остаются в нем подолгу. Это хорошие показатели? Вроде, да. Какой из них лучше? А что, если я узнаю, что при открытом приложении пользователь ничего не делает – что это будет значить с точки зрения вовлеченности?

Я обнаружила в литературе 2 подхода к операционализации вовлеченности:
1. Вовлеченность как состояние пользователя.
2. Вовлеченность как метрика продукта.

1. Вовлеченность как состояние пользователя
Здесь исследователи пытаются понять, какие внутренние силы лежат в основе вовлеченности и движут интересом, лояльностью и поведением пользователей.

В обзоре M. Lamas перечислены такие способы операционализации вовлеченности [1]:
1. Сфокусированное внимание. Для вовлечения пользователи должны быть максимально сфокусированы. Для измерения сфокусированности и вовлеченности используются нарушения в субъективном восприятии времени.
2. Позитивные эмоции. Эмоции, переживаемые пользователем, являются внутренними мотиваторами. Эмоциональный «крючок» может вызвать желание разобраться в приложении и участвовать в предлагаемых активностях.
3. Эстетика. Сенсорное, визуальное оформление интерфейса стимулируют пользователя и приводит к фокусировке внимания.
4. Долговечность. Люди запоминают приятный и полезный опыт и хотят его повторить. Характеристика выражается в готовности людей порекомендовать продукт другим людям.
5. Новизна. Характеристика касается любопытства пользователей, тяги к новизне, необычности. Новизна пробуждает любопытство и провоцирует повторяющееся вовлечение.
6. Доступность и контроль. Доступность обеспечивает рост активности пользователей, а контроль отвечает за то, какого уровня активности могут достичь пользователи.
7. Репутация, доверие и ожидания. Доверие – необходимое условие для вовлечения пользователей. Существует негласный контракт между пользователями и продуктами, который выходит за рамки технологических требований.
8. Мотивация, интересы, стимулы и награды.

2. Вовлеченность как метрика продукта.
Здесь никто не копается в мотивах и состояниях пользователей. Оценивается только их поведение по отношению к продукту (количество новых пользователей, DAU, WAU, MAU, возвраты, «stiсky factor» и др.).

Для измерения пользовательской вовлеченности на стороне продукта в 2008 году Forrester описали подход «4I» [цит. по 1].
Вовлечение (Involment). Присутствие пользователя. Измеряется количеством посещений, временем сессий и т.д.
Взаимодействие (Interaction). Активность пользователя. Измеряется CTR, on-line действиями, загружаемыми фото и видео.
Близость (Intimacy). Привлечение, или отвращение пользователя. Измеряется рейтингами удовлетворенности, анализом настроений в блогах, комментариями, опросами.
Влияние (Influence). Вероятность того, что пользователь станет промоутером. Измеряется репостами, количеством приглашений, рассылаемых друзьям.

Компании AppLift и Localytics оценивают вовлеченность по одной метрике: через среднее время, проводимое пользователем в приложении в течение месяца (ASL). Самой большой вовлеченностью, продолжающей расти от года к году, по их оценкам, обладают новостные приложения со средней продолжительностью сессий 6 минут и среднемесячным временем 90 минут (2015 г.). На втором месте оказались развлечения: 8 минут и 77 минут соответственно [2].

Оценка вовлеченности через продолжительность сессий часто встречается и в анализе игр. Например, в недавнем большом исследовании влияния создаваемых разработчиками и пользователями дополнений на вовлеченность игроков (2017) [9]. Но с продолжительностью сессий все не так прозрачно и связано несколько интересных моментов.

2 истории о том, как сбоила продолжительность сессий.

История 1: Отличие usability-эффективности и ux-вовлеченности.
С одной стороны, чем больше пользователю нравится приложение, тем больше времени он в нем проведет. С другой стороны, если пользователю нужно быстро решить задачу, то длительность его работы в приложении, наоборот, будет говорить о неудаче, о том, что он не разобрался с функциями, путается в интерфейсе и др.
Возникает вопрос: в каких случаях для монетизации нужна большая продолжительность сессий, а в каких маленькая? И что делать, например, с приложениями-магазинами: если покупатель проводит много времени в приложении – это хорошо, или плохо? Он вовлечен, или дезориентирован?

Франция, 2017 [19].
В исследовании пользователей цифровой камеры исследователи пришли к интересным наблюдениям. Чем дольше пользователи справлялись с задачей, тем ниже они оценивали камеру по шкале удовлетворения прагматических потребностей. Но, интересно, тем выше они оценивали ее, как стимулирующий удовольствие объект. То есть, пользователям было интересно вовлекаться в решение задачи, разбираться в функциях, хотя с точки зрения эффективности выполнения задачи они проигрывали.

История 2. Отличие истинной и формальной вовлеченности.
Второй пример сбоя метрики продолжительности сессий – это формальное присутствие пользователя в приложении при отсутствии реального взаимодействия с ним. Так бывает, если пользователи «взламывают» механики вовлечения и используют их, не вовлекаясь в процесс по-настоящему.

Португалия, 2015 [16].
Гейм-аналитик компании «Miniclip» R. Vladimiro описал ситуацию, когда аналитика игры (гонки) показывала в целом хороший уровень возврата игроков, но его насторожила продолжительность сессий. Он обнаружил 2 группы игроков: первые возвращались в игру по 3-4 раза в день и играли в среднем по 6 минут, вторые приходили в игру в среднем 1 раз в день, но не выходили из приложения часами. Он начал анализировать поведение игроков и понял, что вторые игроки просто пассивно накапливают валюту для обновления автомобиля, но не участвуют в гонках. То есть, в сущности, не играют. В статье он написал, что вовлеченность логично увеличивает удержание, но высокое удержание игроков не обязательно означает их высокую вовлеченность: «Вовлеченность – это удовольствие от игры, а удовольствия не может быть без осмысленного взаимодействия».

Получается, перед оценкой продолжительности сессий (кликов, переходов, посещений) нужно хорошо представить пользовательские сценарии, при которых высокие показатели вовлеченности могут указывать на недостатки продукта, или нежелательные взаимодействия с ним.

Краткий итог раздела
1. Два типа операционализации вовлеченности почти полностью соответствуют двум типам определения вовлеченности: маркетинговую вовлеченность чаще всего измеряют через метрики продукта, а пользовательскую вовлеченность – через состояния пользователя. Есть и пересечения, о них мы поговорим в следующем разделе.

2. Классические метрики аналитики в некоторых приложениях могут давать противоречивые результаты из-за нарушения сценариев взаимодействия (при затруднениях пользователей, формальной вовлеченности, взломе правил и др.).

3. Чтобы не напутать с измерением вовлеченности, нужно продумать сценарии, которые могут быть у пользователей в приложении, а затем выбрать поведенческие примеры, лучше всего отражающие эти сценарии. Тогда получится избежать неверных выводов из-за использования неподходящих метрик.

Таблица 2. Варианты операционализации пользовательской вовлеченности.


Разберем на пальцах


Рисунок 2. Виды опрационализации на пальцах.

Как это применить к моему приложению?
Теперь я знаю, какими показателями измерить маркетинговую и пользовательскую вовлеченность моего приложения. Раньше я спрашивала: хорошо ли иметь большую продолжительность и частоту сессий? Теперь я могу предположить: если пользователь долго проходит оценку компетенций в моем приложении, он либо увлечен, либо испытывает затруднения. Чтобы это понять, я смогу посмотреть эффективность выполненной задачи (как много пользователей доводят оценку до конца и получают результат). Если он заходит часто, он либо часто проводит собеседования, либо часто тестирует себя и готовится к собеседованиям. Это я смогу оценить по анализу времени дня, в которое пользователь заходит в приложение.

Но у меня остается замешательство: слишком много показателей. Какие из них выбрать и чем одни лучше других? Чтобы в этом разобраться, пойдем дальше.

4. Уровни вовлеченности

Оказывается, можно не выбирать, какой показатель изучать, а использовать их последовательно, измеряя вовлеченность по уровням. Здесь узнаем, какие уровни бывают у маркетинговой и пользовательской вовлеченности. И установим, где их измерения все-таки пересекаются.

Некоторые исследователи не выбирают один концепт вовлеченности, а представляют ее разные виды, как иерархию состояний.
Например, L.C. Vieira и др. (2016), [12] различают уровни:
– вовлечение,
– поглощение,
– погружение.
И только последний уровень – погружение – они считают истинным состоянием потока, называя предыдущие состояниями микро-потока (рис. 3).


Рисунок 3. Уровни вовлеченности и эмоции игроков согласно L.C. Vieira и др. [12].

В маркетинге используют такие уровни вовлеченности:
– осведомленность о продукте/ бренде,
– удовлетворенность продуктом/ брендом,
– лояльность к продукту/ бренду,
– вовлеченность в продукт/ бренд.
На последнем уровне происходит активное взаимодействие с брендом (совместное создание продукта), социальное включение (привлечение других людей к продукту, распространение информации о нем).

Краткий итог раздела
Вовлеченность можно измерять по уровням.
Попробуем совместить варианты операционализации с уровнями вовлеченности (Таблица 3). Теперь выбор метрик становится понятнее. В таблице я соотнесла уровни вовлеченности с вариантами операционализации и выделила курсивом, когда их методы пересекаются.

Таблица 3: Варианты операционализации для каждого уровня маркетинговой и пользовательской вовлеченности.


Еще раз проговорим это на пальцах.

Рисунок 4. Уровни маркетинговой и пользовательской вовлеченности «на пальцах».

Как это применить к моему приложению?
Теперь я смогу следить, на каком уровне вовлеченности находятся мои пользователи, отслеживать, какой процент доходит до глубоких уровней вовлеченности и фиксировать, на каком уровне я теряю больше всего пользователей. А по состоянию потока и активному созданию контента я смогу понять, насколько глубоко мое приложение способно вовлекать людей на пользовательском уровне.
Остается вопрос: все ли пользователи ведут себя одинаково и справедливо ли смотреть аналитику в общем, не выделяя в ней разные группы пользователей? Похоже, что нет, не справедливо. О том, к чему это может привести, узнаем прямо сейчас.

4. Вовлеченность разных групп пользователей.

Здесь узнаем 4 истории о том, как индивидуальные различия пользователей повлияли на аналитику приложений и запутали все карты.

Если исследовать пользователей и собирать аналитику продукта в общем, не сегментируя пользователей и не разделяя показатели на группы, могут получиться неприятные, сбивающие с толку смещения. Об этом 4 истории.

История 1. Недовольные максимайзеры.
В маркетинге есть разделение покупателей на максимайзеров и сатисфайеров. Первые долго выбирают, изучают характеристики и читают отзывы. Вторые просто находят наиболее подходящий вариант и покупают, не тратя много времени на выбор. С точки зрения аналитики поведение максимайзеров будет показывать отличные данные: они часто приходят, быстро возвращаются и проводят много времени в приложении. Но с точки зрения бизнес-целей эти метрики оказываются бессмысленны. Для таких пользователей будет уместно только измерять деньги, которые они в итоге потратят в приложении.

США, 2013 [18].
Исследование поведения и удовлетворенности этих групп показало, что длительность использования приложения не связана с большим доходом. Сатисфайеры быстро выбирают и покупают, а максимайзеры могут много раз возвращаться и долго выбирать, но в итоге ничего не купить, или вернуть покупку. Максимайзерами чаще являются люди более молодого возраста, а также люди, имеющие больше денег и больше власти. Кроме того, максимайзеры способны значимо больше времени потратить на возврат покупки и написание негативных отзывов [18].

История 2. Постоянные интроверты.
Связана ли вовлеченность в использование фитнес-устройств с личностными, демографическими и культурными особенностями? Какие сегменты пользователей можно выделять, чтобы тоньше рассматривать аналитику по фитнес-приложениям?

США, 2017 [10].
В исследовании участвовало 700 студентов. Им раздали браслеты Fitbit Charge HR и попросили регулярно надевать браслеты и синхронизировать данные.
Исследователи включили в анализ десятки переменных: пол, раса, образование, родители, социальное положение, психическое здоровье, физические параметры, личностные качества, друзья, сиблинги, даже данные телефонных звонков и политические взгляды и др. Оказалось, что значимую связь с регулярностью использования браслетов имели только личностные качества «Большой пятерки» и измерения самого браслета (продолжительность сна и подвижность).
Оказалось, что больше склонны следовать условиям эксперимента и регулярно носить и синхронизировать девайс люди:
1) интровертированные,
2) менее открытые новому опыту,
3) с более низким уровнем невротизма,
4) дольше спящие,
5) в общем более подвижные.
Авторы объясняют это тем, что экстраверты, готовые пробовать новое, быстро отвлекаются, меняют интересы и забывают надевать браслет. В то же время, низкий невротизм тоже помогает не отвлекаться и не страдать депрессией, тревогой и одиночеством. Люди, которые в общем заинтересованы здоровьем, больше спят и больше двигаются, по мнению авторов, логично чаще надевают браслет.

История 3. Женщины без браслетов.
Если в предыдущем исследовании не было показано связи между полом и вовлеченностью в использование фитнес-браслетов, то другое исследование, тоже проведенное в 2017 году, показало, что гендерные различия все-таки есть. Возможно, различия получились из-за разных методов. Если прошлое исследование было лонгитюдным и вовлеченность регистрировалась аппаратно с помощью носимых устройств, то в этом исследовании вовлеченность оценивалась с помощью опроса.

Великобритания, 2017 [8].
A.E. Whitehead и др. опросили 578 взрослых мужчин и женщин. Оказалось, что женщины гораздо реже использовали фитнес-устройства и реже считали, что есть причины для их использования.

История 4. Щедрые киллеры.
Хорошо видны индивидуальные различия вовлеченности в играх, где можно сегментировать игроков по поведению в игре и отследить характерные метрики.

Россия, 2015 [17].
Самое распространенное деление игроков – на персоны Бартла – показывает существенные различия в метриках вовлеченности в зависимости от типажа игрока. «Cоциальные» игроки проводят меньше всего времени в игре, но больше других приводят в игру друзей (у них высокий social ratio — коэффициент привлечения). Они могут привести «киллеров», которые приносят в игру больше всего денег. На втором месте по тратам «карьеристы». Максимальный «retention 28-го дня» у «исследователей» – они самые преданные, но приносят в игру меньше денег, чем остальные игроки.

Краткий итог раздела
Разные люди ведут себя по-разному. Иногда по-разному ведут себя большие группы пользователей. Поэтому простая аналитика может давать сбои. Чтобы их уменьшить, можно сегментировать пользователей (выделять разные группы по поведению и потребностям, называть персоны).

Разберем на пальцах.

Рисунок 5. Различия в поведении разных типов пользователей «на пальцах».

Как это применить к моему приложению?
Теперь перед тем, как собирать аналитику и исследовать в общем поведение моих пользователей, я разделю их на группы. Затем я смогу анализировать, как отличается поведение разных групп, какая группа больше вовлечена и для какой группы нужно что-то переделать, или усилить вовлечение. Но мне еще не понятно, какие сегменты / персоны нужно выбрать, как их найти и назначить. Об этом поговорим дальше.

5. Три типа приложений и виды вовлеченности.

Здесь подберемся к модному Jobs-to-be-done и когда-то забытой, но теперь вспоминаемой теории деятельности. После, наконец, поговорим о третьем виде вовлеченности. И разберемся, как разделить все приложения на 3 группы, чтобы понять, какую вовлеченность нужно исследовать.

Чтобы точнее исследовать вовлеченность и верно сегментировать пользователей, нужно понимать, какая деятельность стоит за использованием приложения. Является ли приложение посредником, инструментом для хорошо знакомой пользователю деятельности, или содержит в себе новые цель и мотив деятельности. И здесь довольно хорошо вписывается подход Jobs-to-be-done и, в более широком смысле, деятельностный подход и теория деятельности А. Леонтьева.

Поэтому исследовать факторы вовлеченности пользователей мобильных устройств стоит вместе с факторами вовлеченности в деятельность, которую эти устройства обеспечивают. Другими словами, вовлеченность пользователей приложений социальных сетей напрямую связана с вовлеченностью в общение в социальных сетях, а вовлеченность пользователей on-line магазинов связана с вовлеченностью в совершение покупок.

В сущности, в зависимости от целей и деятельности, все приложения можно разделить на 3 типа. Я назвала их так: самозадачные приложения, процессные посредники и результатные посредники. Подробное описание в таблице 4.

Таблица 4. Типы приложений и вовлеченности.


Разберем типы приложений на пальцах.


Рисунок 6. Типы приложений «на пальцах».

Как это применить к моему приложению?
Теперь я могу определить, к какому типу относится мое приложение, а значит, определить, какой тип вовлеченности стоит для него измерять.

Приложением будут пользоваться, когда нужно будет оценить профессиональные компетенции. Это задача вне приложения. Ее решают и закрывают приложение. Значит, мое приложение относится к результатным посредникам. Меня будут интересовать только измерения маркетинговой вовлеченности, так как вовлеченность в приложение и состояние потока в данном случае не имеют смысла.

Теперь вернемся к моим группам пользователей. Задача, которую они будут решать в приложении: оценить компетенции и получить характеристику. Это может быть интересно рекрутерам, руководителям команд и соискателям. Рекрутеры будут использовать приложение периодически, непродолжительно и часто возвращаться (в рабочие дни, в дневное время, во время собеседований). Руководители команд тоже будут его использовать во время собеседований, непродолжительно, но возвращаться реже (когда вакансии будут появляться в их команде). Соискатели будут использовать приложение вначале часто и подолгу, пытаясь разобраться в вопросах и вариантах ответа, понять логику и просмотреть как можно больше вопросов, чтобы потренироваться. Но затем, по мере насыщения, будут оставлять приложение и редко возвращаться к нему.

Благодаря анализу деятельности моих пользователей и Jobs-to-be-done приложения я начинаю понимать, какие метрики мне стоит ожидать от каждой группы пользователей, а что вовсе не имеет смысла исследовать.
Теперь мне становится интересно, смогу ли я увеличивать не только вовлеченность в бренд, но и вовлеченность в деятельность. Какие механики вовлечения мне применять, чтобы они сработали? Начинаем об этом говорить прямо сейчас.

6. Как связаны вовлеченность в приложение и вовлеченность в деятельность.

Здесь будут рассуждения и не будет классификаций. Раздел посвящен тому третьему типу вовлеченности, который долго от нас ускользал. Поговорим о том, почему длительная вовлеченность похожа на отношения. И еще немного узнаем о том, когда вовлечение в приложение способно убивать вовлеченность в деятельность.

Отдельный анализ вовлеченности в приложение, как таковое, без анализа стоящей за ним деятельности, будет оценивать эстетичность, геймификацию, юзабилити и другие внешние признаки приложения, но мало расскажет о мотивах пользователя и его вовлеченности в деятельность, которая стоит за приложением. За деревьями можно будет не увидеть леса.

В случае, когда приложение выполняет роль посредника, качества его дизайна становятся необходимыми и достаточными условиями, чтобы привлечь пользователя и не отпугнуть его. А последующая мотивация зависит от того, насколько пользователь заинтересован в деятельности.
Это как молоток с удобной ручкой. Дизайн инструмента – это необходимое и достаточное условие. Мы будем его использовать дольше из-за удобной ручки. Но только из-за ручки мы не будем с ним работать – в основе его использования лежит деятельность (стройка, ремонт, творчество). И если эта деятельность нас достаточно увлекает, то мы будем выбирать между удобными молотками. Но если не увлекает, то удобство ручки молотка нас не заставит заниматься ремонтом. Или все-таки заставит?

Бывает ли повторное вовлечение в деятельность из-за вовлечения в приложение?

Бывают случаи, когда качественно прописанные игровые механики могут повторно вовлекать в деятельность через геймификацию, создание позитивной обратной связи, соревновательность, полезный контент, включение в сообщества, признание и др. Это качество используется при разработке социально-полезных приложений. Сейчас такие приложения начинают использоваться не только для обучения и фитнеса, но и для медицины, коррекции поведения, диеты и др.

Вовлечь пользователя в off-line деятельность за счет хорошей стратегии вовлечения в приложение – задача сложная. Скорее всего, она выполнима только для некоторых видов деятельности (вряд ли, казалось бы, пользователь начнет больше ездить только из-за того, что ему удобен навигатор, хотя вовлекающие методы перевозчиков типа Uber и сервисов бронирования типа Booking показывают, что и здесь могут быть варианты).

В исследованиях вовлечения в длительное использование приложений чаще всего используются теории из области психологии взаимоотношений. Одна из них – инвестиционная модель отношений – получила больше всего эмпирических подтверждений (Rusbult, Drigotas, and Verette 1994). По этой модели, вовлеченность в длительные отношения усиливается, если пользователь ощущает:
1) увеличение выгоды от взаимодействия (например, от полезной информации, или развлечения),
2) снижение личных затрат,
3) увеличение личных вложений в систему,
4) уменьшение числа достойных альтернатив.

Когда разрабатывается стратегия повторного вовлечения в деятельность, важно, чтобы механики вовлечения были релевантны деятельности, в которую они вовлекают, и не были формальными. Другими словами, вовлекая в on-line магазин, нужно продумать мотиваторы, связанные непосредственно с покупательской деятельностью, а не с использованием приложения.
Важно, чтобы «внешняя» мотивация приложения не убила «внутреннюю» мотивацию деятельности и не произошло сдвига мотива на цель (термин из теории деятельности).
Один из таких примеров – про игроков, получавших монеты в гоночках, – мы уже обсуждали в разделе 2. Здесь расскажу еще про 2 таких примера, упомянутые в статье A. Weston [11].

Англия, США, 2007.
Исследования эффективности геймификации, проведенные Baker et al. показали, что иногда дети учатся играть в игру, созданную для обучения математике, типа Zombie Division, показывают хорошие успехи в игре, но не начинают лучше разбираться в математике (рис. 2).

Рисунок 2: Кадры из игры Zombie Division (Источник)

США, 2010 [20].
T. Bickmore с соавторами провели лонгитюдные исследования влияния виртуального помощника на вовлеченность пользователей в использование фитнес-сервиса (рис. 3). Каждый день участники должны были вносить в систему количество пройденных шагов и получали обратную связь от виртуальной помощницы Лауры. Для разных экспериментальных групп Лаура либо вступала в коммуникацию, либо была молчаливой, либо вовсе не использовалась в системе. Оказалось, что участники более высоко оценивали качество взаимодействия с разговорчивой Лаурой и были больше к ней привязаны. Но при этом удовлетворенность и вовлеченность в общение с Лаурой не влияла на увеличение количества шагов.
Другое лонгитюдное исследование – с помощницей Карен – должно было показать, насколько вариативность обратной связи влияет на вовлеченность и успешность деятельности (количество шагов). На этот раз исследование показало, что, чем более разнообразными были фразы от Карен, тем больше участники вовлекались в общение с ней, но тем меньше шагов они проходили за день. Здесь уже вовлеченность в сервис снижала вовлеченность в деятельность, ради которой оно было создано [20].

Рисунок 3: Виртуальный помощник из исследований T. Bickmore [20].

Краткий итог раздела
Вовлеченность в приложения типа «посредники» взаимосвязана с вовлеченностью в деятельность вне приложений: вовлеченность в деятельность может усиливать и ослаблять вовлеченность в приложение. Но и вовлеченность в приложение может усиливать и ослаблять вовлеченность в деятельность.
При создании механик вовлечения пользователей важно не допустить «сдвига мотива на цель», когда пользователи вовлекаются в приложение и отвлекаются от основной деятельности.


Рисунок 7. Различия внешней и внутренней мотивации «на пальцах».

Как это применить к моему приложению?
Теперь я буду внимательнее относиться к советам по вовлечению пользователей и использованию геймификации. Я не буду использовать мотиваторы, связанные только с приложением (ачивки, звездочки и монетки за пройденные вопросы, а также уровни, звания, награды). Я хочу, чтобы моим приложением пользовались для работы, но не заигрывались с ним. Мне важно, чтобы вовлеклись не в приложение, а в деятельность, которой оно помогает. Еще я подумаю, стоит ли подключать опцию «поделиться результатом» в соцсетях. С одной стороны, это может мотивировать моих пользователей проходить оценку и привлечь их друзей. С другой стороны, это может превратить рабочий инструмент в игрушку и обесценить его экспертность. Это еще нужно исследовать.
Наконец, что я могу использовать, чтобы с помощью приложения побуждать рекрутеров и руководителей команд чаще использовать профессиональные вопросы с вариантами ответов при оценке компетенций (а значит, и мое приложение)? У меня появилась идея создания базы результатов, добавления функции вычисления средних результатов по отрасли и по должности и чего-то еще такого же профессионально-полезного. Эти опции могут создавать дополнительную ценность для рекрутеров и руководителей и повторно вовлекать их в приложение.
Мне уже хочется узнать, какими методами исследовать эффект от моих идей и как это делают другие. Сейчас посмотрим.

7. Подходы к измерению вовлеченности

И вот теперь, когда получены определение, операционализация и виды вовлеченности, можно выбрать методы ее исследования. Обсудим подробнее некоторые подходы, посмотрим на примеры и подойдем уже совсем близко к алгоритму выбора метода.

In-app / Web-аналитика
Об этом сегменте исследований написано большинство статей о вовлеченности пользователей. Аналитика помогает оценить только видимое поведение пользователей в приложении и дает информацию при больших выборках. Метрики не помогают понять, почему пользователи ведут себя таким образом, но могут давать быструю и недорогую обратную связь при изучении поведения пользователей в динамике и при сравнении похожих продуктов.

Когда используют аналитику, говорят об интрасессионном и интерсессионном вовлечении [1]. Первое показывает, насколько долго продукт способен удерживать пользователя во время одного сеанса (продолжительность сессий). Второе оценивается через возвращения пользователя (количество сессий, динамика возвратов) и в конечном итоге может быть измерено через Lifetime value («пожизненная стоимость клиента», размер чистой прибыли, которую компания получает от клиента за все время, которое клиент использует продукт).

Испания, США, 2012 [3].
J. Lehman с коллегами подчеркивали, что в зависимости от назначения ресурса вовлеченность пользователей нужно понимать и измерять по-разному. И не стоит сравнивать едиными метриками вовлеченности ресурсы разной направленности. Они предложили другую классификацию метрик вовлечения. Ее логика хорошо подходит для анализа мобильных приложений:
Популярность (общее количество пользователей, количество визитов, количество кликов).
Активность (количество просмотренных страниц за один визит, время, потраченное за один визит).
Лояльность (количество дней, в течение которых пользователь заходит на сайт, количество визитов, общее время, проведенное на сайте).

Таблица 5. Модели пользовательской вовлеченности для разных видов сервисов (согласно J. Lehman и др.).


Исследования с самоотчетами
Эти методы помогают оценить отношение пользователя, его знания о приложении, ожидания, предубеждения, осознаваемые эмоции, готовность к определенному поведению. Здесь применяются опросники, интервью, дневниковые методы и другие исследования, основанные на рассказах пользователей.

Литва, 2017 [5].
A. Tarute с соавт. в операционализации разделили вовлеченность на привычные для социальных исследований аспекты анализа (когнитивный, эмоциональный и поведенческий) и добавили социальный аспект.
1. Когнитивный аспект. Проявляет ли пользователь интерес к товару, или бренду?
2. Эмоциональный аспект. Испытывает ли пользователь воодушевление, или гордость от использования продукта, или сопричастности с брендом?
3. Поведенческий аспект. Вероятно ли, что пользователь предпримет какое-то действие навстречу бренду, или товару, сделает покупку и др.
4. Социальный аспект. Взаимодействует ли пользователь с брендом в социальном окружении, вовлекает ли других людей, участвует ли в совместном создании продукта?

Затем исследователи выделили четыре основных качества мобильных приложений, от которых, по их мнению, зависит вовлеченность. Они решили проверить, как вовлеченность связана с этими качествами, а также насколько она влияет на использование мобильного приложения в будущем.

1. Функциональность (доступный пользователю набор функций: камера, определение месторасположения, мультитач, распознавание голоса, дополненная реальность, виртуальное зеркало, мобильное видео и мобильные платежи и др.).
2. Дизайн (эстетическое оформление приложения, не юзабилити, а эмоции, которые у пользователя вызывает дизайн интерфейса).
3. Взаимодействие с пользователем (контент, генерируемый пользователем, персонализация контента (тегирование), фолловинг, возможность оценить контент, поделиться им и прокомментировать).
4. Качество информации (возможность получить своевременную и релевантную информацию, качественный контент).

Для исследования были случайным образом отобраны активные пользователи мобильных приложений. Средний возраст 25 лет, 42.5% мужчин и 57.5% женщин. Участников просили выбрать мобильное приложение, которое они используют чаще всего, и отвечать на вопросы анкеты, имея в виду это приложение.

В результате факторного анализа были отобраны 27 вопросов анкеты (см. Дополнения, № 4). Анкета оценивала вовлеченность, готовность продолжать использование приложения, а также четыре качества мобильных приложений. Интересно, что в итоговую версию анкеты в блок оценки вовлеченности вошли только 4 вопроса про эмоции и 1 про поведение. Авторы хоть и упоминали когнитивный и социальный аспекты вовлеченности, но не использовали их в диагностике.

Большинство участников исследования (61,3%) сообщили, что чаще всего используют мобильные приложения социальных сетей (Facebook Messenger, Instagram, Viber, WhatsApp). Кроме приложений социальных сетей, наиболее используемыми оказались приложения для навигации (Trafi, Busas Kaunas, Here WeGo Maps), банкинга (Swedbank, DNB bank, SEB bank), обучения (Duolingo, Todoist, MyStudyLife) и здоровья (e.g. Endomondo Sports tracker, Noom Walk, WaterDrink). Их называли в 14,1% случаев.

В результате проверки гипотез оказалось, что только дизайн приложения и качество контента были статистически значимо связаны с вовлеченностью пользователей. Функциональность приложения и возможности для взаимодействия не влияли на вовлеченность. Вовлеченность пользователя имела позитивное влияние на его готовность продолжать использование приложения в будущем.

В этом исследовании большое влияние на результат оказало предварительное условие: выбрать наиболее используемое приложение. Так как ими чаще всего оказывались приложения социальных сетей, сложно теперь выделить, где оценка приложений связана в общем с приложениями, а где – с социальными сетями.

США, 2013 [4].
Y. H. Kim с соавторами предложили теоретическую модель вовлечения пользователей мобильных устройств (MoEN) (рис. 4).

Рисунок 8: Модель вовлечения пользователей мобильных устройств согласна Y. H. Kim с соавторами.

Они изучали вовлеченность, как аттитюд (социальную установку, тип убеждения, влияющий на поведение) и также использовали разделение на три аспекта: когнитивный, аффективный (эмоциональный) и конативный (поведенческий).

Дополнительно Y. H. Kim и коллеги ввели конструкт мотивации пользователей мобильных устройств и разделили ее на 3 группы:
– функциональная (эффективность, простота использования, экономия времени),
– гедонистическая (радость, наслаждение, приятные эмоции),
– социальная (желание быть связанным и делиться эмоциями и информацией с другими).

Модель исследует взаимодействие мотивации пользователей и пользовательскую вовлеченность по стадиям использования продукта: на стадии знакомства – когнитивной стадии – пользователем движут утилитарные мотивы и воспринимаемая ценность приложения, на аффективной стадии подключается гедонистическая мотивация и удовлетворенность, социальная мотивация проявляется между когнитивной и аффективной стадиями и, наконец, на поведенческой стадии включается пользовательское вовлечение.

Для проверки модели исследователи разработали опросник (см. Приложения, №3). В основном исследовании приняли участие 297 студентов (50,3% мужчин и 49,3% женщин). Модель подтвердилась, подробнее: [4].

Испания, 2017 [13].
В этом исследовании снова все параметры – от простоты использования до вовлеченности – измерялись опросником (см. Дополнения, №6). В исследовании участвовало 750 испанских студентов (16–35 лет). Авторы хотели проверить, как бесплатный доступ, простота использования и тип контента влияют на удовлетворенность сервисом. И как удовлетворенность, в свою очередь, влияет на лояльность, вовлеченность, взаимодействие и желание рекомендовать сервис.
Оказалось, что только простота использования была связана с удовлетворенностью. А удовлетворенность оказалась связана с лояльностью и вовлеченностью и – меньше – с желанием рекомендовать и взаимодействием (рис. 9).

Рисунок 9. Модель влияния качеств приложения на удовлетворенность и вовлеченность.

Эксперимент

Италия, 2015 [11].
В исследовании в приложении была запрограммирована функция случайного разделения пользователей на контрольную и экспериментальную группы. Контрольной группе предлагалось пройти тест о здоровом образе жизни в начале и в конце исследования. А экспериментальная группа на время исследования получала доступ к расширенному тесту и push-уведомления на почту, вовлекающие проходить тест и знакомиться с его материалами. И хотя доказательства различий вовлеченности авторы построили только по 2 участникам исследования (из 29), заполнившим равное количество вопросов теста с разной успешностью, их метод экспериментального исследования вовлеченности заслуживает внимания.
Авторы намеренно измеряли вовлеченность двумя способами: 1) вовлеченность в приложение – через количество заполненных вопросов теста и 2) вовлеченность в проблему – через кривую научения (по количеству ошибок в тесте).

Эксперименты на вовлеченность иногда проводятся и в естественных условиях. И признаки вовлеченности могут быть тоже естественными, как в домашнем эксперименте моего знакомого (рис. 10).

Россия, 2017.
Скорее всего, сохранившиеся пельмени стали бы показателем более глубокого уровня вовлеченности.

Рисунок 10. Пост моего знакомого о жизни, водке и женщинах.

Комбинированные исследования
В этом подходе используется сразу несколько методов: сочетается аналитика и опросные методы, или физиологические и опросные методы, или используются специальные методики. Принято считать, что комбинация методов может дать более объемное представление о предмете, в том числе, за счет проверки гипотез с разных сторон.

США, 2017 [6].
Д. Леджер и Д. МакКафри провели анализ фитнес-устройств и выделили факторы, которые обеспечивают долгосрочную вовлеченность пользователей. Авторы измеряют вовлеченность просто, как длительность использования устройства, но все же обратили внимание на психологические условия для ее возникновения. Они сравнили устройства по 9 техническим и 3 психологическим условиям создания вовлеченности. По мнению авторов, даже если одно условие не будет соблюдено, вовлечение может не состояться. 3 психологических условия напрямую связаны с назначением устройств и могут быть применимы только к ограниченной группе приложений. Так, для фитнес-устройств психологическими факторами вовлечения являются: формирование привычки, социальная мотивация и подкрепление целей. На картинке представлен результат сравнения 8 устройств.

К сожалению, мне не удалось найти методологию назначения баллов по каждому условию (возможно, это был метод опроса экспертов). Тем не менее, графическое сравнение выглядит любопытно и дополняется подробным описанием каждого условия с примерами (рис. 7). Отчет находится в открытом доступе в Интернете [6].

Рисунок 11. Сравнение фитнес-устройств по фактором долгосрочной вовлеченности пользователей.

США, 2017 [7].
S. Asimakopoulos с коллегами продолжили исследование вовлеченности пользователей фитнес-устройств и обратились к мотивации и теории самодетерминации. Они решили уточнить, как с мотивацией и долгосрочной вовлеченностью связано ощущение самоэффективности пользователей.

Методы:
– заполнение on-line дневников дважды в неделю в течение 4 недель (см. Дополнения, №5),
– опросник самоэффективности «Healthcare Technology Self-efficacy (HTSE)» с 7-ступенчатой шкалой Лайкерта (от «полностью не согласен» до «полностью согласен»),
– участники присылали исследователям фотографии интерфейсов мобильного приложения, которые мотивируют их.

Выборка: 34 пользователя фитнес-трекеров Fitbit и Jawbone. Исследование показало, что на мотивацию пользователей больше всего влияют 3 аспекта: данные, геймификация и контент.

Методы без участия пользователя
Хотя исследование вовлеченности без пользователей кажется экзотичным подходом, именно его чаще всего используют.

Создатели приложений часто все решают сами, а при вопросах об исследовании пользователей ссылаются на высказывания Г. Форда («Если бы я спросил людей, чего они хотят, они бы попросили более быструю лошадь»), С. Джобса «Создавать продукт, опираясь на фокус-группы, по-настоящему трудно. Чаще всего люди не понимают, что им на самом деле нужно, пока сам им этого не покажешь» и А. Лебедева («Ответ одного дурака с улицы никого не волнует. Но ответы сотни дураков называются результатом исследования фокус-группы и продаются за деньги»).

В принципе, все верно: какие фокус-группы могут быть на этапе создания идеи? Тут нужны совсем другие методы. И группа методов без участия пользователя – только небольшая часть из них.
К этой группе относятся разные методики генерации идей и мозгового штурма, варианты экспертного опроса, бенчмаркинг, применение дизайнерских эвристик. И, в общем, при умелом использовании они способны давать хорошие результаты.

Физиологические измерения
Их логично использовать при исследовании процессной пользовательской вовлеченности, когда речь идет об изменении внимания, интереса, эмоций и др. С одной стороны, физиологические методы дают более объективные, непосредственные данные об изменении состояния игрока. С другой стороны, их применение часто связано с использованием дополнительной измерительной техники, которая может влиять на эти самые эмоции.
Обзор таких методов в исследовании пользователей требует отдельной статьи. А пока, можно посмотреть англоязычные обзоры из списка источников [1, 12, 13].

Португалия, 2017 [21].
Исследователи решили проверить, насколько применимы программы по распознаванию эмоций в изучении вовлеченности игроков компьютерных игр. Оборудованием служила камера, снимающая лицо игрока, и программное обеспечение: скрипт, написанный Ergo VR Laboratory c использованием Affdex SDK для Unity от Affectiva.
Проверка прошла удачно. Распознанные программой эмоции соответствовали тому, что выражали игроки, и хорошо отражали затруднения, которые испытывали некоторые пользователи во время игры (рис. 12).

Рисунок 12. Различия эмоций 2 игроков в одинаковых ситуациях игры.

Как это применить к моему приложению?
Скорее всего, я буду смотреть на эти примеры, когда буду выбирать методы и проводить исследования. Но сейчас я только создаю прототип приложения. Собирать метрики и проводить эксперименты мне еще рано. А понять пользователей хочется как можно раньше. Стоит ли мне уже что-то исследовать? И какие методы тогда можно использовать? Я нашла ответ и на этот вопрос.

7. Как выбрать метод на разных этапах разработки продукта.
Все, путешествие заканчивается. Здесь мы обсудим еще один подход к выбору метода исследования: подход с позиции стадий развития продукта. Разговаривать почти не будем – сразу перейдем к таблицам, в которых представлены все выводы.

Все, что мы обсуждали до этого, касалось исследования готовых приложений. А как прогнозировать вовлеченность на этапе поиска идеи, или тестирования прототипа? Для этого я составила еще одну таблицу.

Я использовала такие стадии развития продукта: Поиск идеи – Оценка прототипа – Оценка MVP (минимально жизнеспособного продукта) – Оценка полной версии – Оценка обновления. А затем отметила, какие методы уместно использовать на каждой стадии развития продукта.

Таблица 6. Выбор методов исследования для разных этапов развития продукта и типов приложений.


Еще раз разберем на пальцах самые распространенные методы исследования.


Рисунок 13. Самые распространенные методы исследования на разных стадиях развития продукта «на пальцах».

Как это применить к моему приложению?
Я прошла стадию разработки идеи и использовала на ней дизайнерские эвристики и бенчмаркинг. Теперь у меня есть набор методов для каждой стадии развития моего приложения.

На случай, если вы пропустили выводы в начале статьи:

Самые короткие выводы из статьи
1. Что хотите исследовать?
1) как пользователь относится к продукту/бренду: исследуйте маркетинговую вовлеченность.
2) насколько пользователь вовлекается в использование приложения: исследуйте пользовательскую вовлеченность.
2. Как определяют вовлеченность: Таблица 1.
3. Через что исследуют вовлеченность: Таблица 2.
4. Как измерять уровни вовлеченности: Таблица 3.
5. Что исследовать для разных типов приложений и вовлеченности: Таблица 4.
6. Как выбрать метод на разных стадиях развития продукта: Таблица 6.
7. Какие анкеты используют исследователи: см. Приложения

Надеюсь, мое расследование и придуманные классификации помогут в понимании и исследовании вовлеченности. Буду рада вашим дополнениям.

Полезные источники
1. Measuring user engagement / M. Lamas, H. O’Brien, E. Yom-Tov. – 2013. – Презентация.
2. Media & Entertainment Apps: A World of Engagement [Infographic] / T. Sommer. – 2015.
3. Models of User Engagement / J. Lehmann [et al.] // Lecture Notes in Computer Science. – 2012. – Vol. 7379. – P. 164–175.
4. A study of mobile user engagement (MoEN): Engagement motivations, perceived value, satisfaction, and continued engagement intention / Y. H. Kim, D. J. Kim, K. Wachter // Decision Support Systems. – 2013. – 56. – P. 361–370.
5. Mobile Application Driven Consumer Engagement / A. Tarute, S. Nikou, R. Gatautis // Telematics and Informatics. – 2017.
6. How The Science of Human Behavior Change Offers The Secret to Long-Term Engagement / D. Ledger, D. McCaffrey. – 2014.
7. Motivation and User Engagement in Fitness Tracking: Heuristics for Mobile Healthcare Wearables / S. Asimakopoulos, G. Asimakopoulos, F. Spillers // Informatics. – 2017, 4(1), 5.
8. Mobile Technology Usage Mediates Gender Differences in Physical Activity / Whitehead, A.E. [et al.] // International Journal of Sport Psychology – 2017.
9. If You Let Them Build It, They Will Stay! An Empirical Study of Add-on Content and User Engagement / I. Kanat [et al.] // Hawaii International Conference on System Sciences. – 2017.
10. Exploring Compliance: Observations from a Large Scale Fitbit Study / L. Faust [et al.] // Proc. of Social Sens. – 2017.
11. Measurements of engagement in mobile behavioural interventions? / A. Weston // Digital Health. – 18 — 20 May 2015. – 8 p.
12. Assessment of fun in interactive systems: A survey / L.C. Vieira, F.S. Corr^ea da Silva // Cognitive Systems Research. – 2017.
13. Exploring technology satisfaction: An approach through the flow experience / C. Calvo-Porral, A. Fa'in~a-Med'in, M. Nieto-Mengotti // Computers in Human Behavior. – 2017. – 66. – P. 400–408.
14. The development and evaluation of a survey to measure user engagement / H. L. O'Brien, E. G. Toms // Journal of the american society for information science and technology. – 2010. – № 61. – P. 50–69. 
15. Measuring emotion: The self-assessment manikin and the semantic differential / M.M. Bradley, P.J. Lang // Journal of Behavior Therapy and Experimental Psychiatry. – Vol. 25, Iss. 1. – 1994. – P. 49–59.
16. The Tale of High Retention, Low Engagement Game / R. Vladimiro //https://ongamesndata.wordpress.com/2015/08/04/engagement-101.
17. Психотипы Бартла и балансировка аудитории / Сахнов К. // https://habrahabr.ru/company/mailru/blog/263839/.
18. Maximizers and Satisficers: A Look into Consumer Regret and Dissatisfaction / T. Correia // Poster presented at the McDonough Undergraduate Research Symposium on November 7th, 2013.
19. Lab Testing Beyond Usability: Challenges and Recommendations for Assessing User Experiences / C. Lallemand, V. Koenig // Journal of usability studies. – Vol. 12, Iss. 3. – 2017. – P. 133–154.
20. Maintaining engagement in long-term interventions with relational agents / Bickmore, T., Schulman, D., and Yin, L. // Applied Artificial Intelligence. – 2010. – № 24, 6. – Р. 648–666.
21. Potentialities of a Face Reading Tool to a Digital Game Evaluation and Development: A Preliminary Study / Y. Trindade, F. Rebelo, P. Noriega // Advances in Ergonomics in Design. – 2017. – P. 371–381.

8. Приложения. Несколько переведенных методик.
Не то, чтобы эти методики были образцовыми. Большинство из них, кроме №2, я не стала бы применять без редакции. Размещаю их для знакомства, так как выше мы обсуждали исследования, построенные на их использовании.

1. Шкала оценки эмоций PANAS (Positive and Negative Affect Schedule)
Насколько каждое слово отражает ваши чувства в данный момент (1 = совершенно не отражает; 2 = в малой степени отражает; 3 = умеренно отражает; 4 = довольно точно отражает; 5 = совершенно точно отражает). Пункты рекомендуется давать не по порядку.
Позитивные пункты: заинтересован, взволнован, уверен, чувствую энтузиазм, горд, вдохновлен, активный, внимательный, бдительный, решительный.
Негативные пункты: огорчен, расстроен, чувствую вину, испуган, чувствую враждебность, чувствую стыд, нервничаю, чувствую страх, готов поддаться панике, чувствую раздражение.

2. Методика самооценки эмоций Self-Assessment Manikin (SAM) [15].
Довольно старая методика (1994 г.). Она помогает оценить эмоции визуально. Участник исследования последовательно выбирает по 1 карточке в каждом ряду, чтобы лучше описать эмоцию, которую он испытывает: 1 ряд – модальность эмоции, 2 ряд – уровень возбуждения, 3 ряд – доминирование, сила эмоции. Методика хороша тем, что обходит лингвистические барьеры и позволяет проводить исследования с детьми и представителями разных культур.
При этом, результаты замеров можно кодировать в числовые значения и переводить в количественные измерения, как это сделали авторы методики, сравнивая ее показания с показаниями семантического дифференциала [15].



1. Анкета для измерения вовлеченности пользователей мобильных устройств [4].
Вопросы оце