все записи автора
Артем Тинчурин,
Генеральный директор
Tiburon Research |
Все знают, что онлайн-исследования – это в первую очередь онлайн-панель (online access panel). Качество панели действительно критично для качества собираемых данных, но только ли оно? Любой опрос – это люди и то, как мы этих людей опрашиваем. Если за «качество» людей отвечает организатор панели, то за качество процесса опроса – тот, кто пишет анкету и, в случае онлайн-опроса, тот, кто ее программирует.
От чего зависит качество онлайн-анкеты и зависит ли вообще? Для того, чтобы ответить на этот вопрос мы провели
параллельный тест и сравнили данные полученные при помощи «хорошей» и «плохой» анкет.
Предыстория
Все началось с заботы о собственной панели. Отслеживая базовые показатели удовлетворенности участников панели InternetOpros.ru, мы пришли к выводу, что не все анкеты одинаково полезны:
|
Иностранные анкеты
|
Локальные анкеты
|
Законченных анкет (от тех, кто прошел отбор)
|
80%
|
92%
|
Удовлетворенность панелистов опросом (top-2, 4-балльная шкала)
|
82%
|
93%
|
Невооруженным глазом видно, что российские анкеты панелистам нравятся больше. У иностранных анкет много проблем и это
не только язык и релевантность тем опросов, но и, как ни странно, сравнительно низкое качество программирования (форматирование, переходы, логика работы вопросов и т.д.).
Т.к. качество программирования анкет вещь субъективная, мы решили проверить, есть ли под нашими субъективными оценками реальная база и провели натурный эксперимент.
Дизайн эксперимента
Для исследования мы выбрали нейтральную и популярную тему – новостные сайты, написали анкету на заданную тему и запрограммировали ее двумя способами: «плохо» и «хорошо». Причем с точки зрения формулировок вопросов, комментариев к вопросам и вариантов ответов обе анкеты были абсолютно идентичны. Различались они только визуальным представлением.
Сами анкеты можно посмотреть здесь:
«Плохая» анкета
«Хорошая» анкета
Справедливости ради нужно сказать, что даже «плохая» анкету у нас получилась бодрым рыночным середнячком, далеко не дотягивающим до «лучших достижений» в области программирования плохих анкет.
Всего было опрошено 500 человек в возрасте 20-40 лет по всей России. Выборки были сбалансированы по полу, возрасту, географии и опыту участия респондентов в панели InternetOpros.ru. Базовые показатели обоих опросов были близки:
|
«Плохая» анкета
|
«Хорошая» анкета
|
Отклик (response rate)
|
41%
|
45%
|
Достижимость (прошли отбор)
|
75%
|
79%
|
Законченных анкет (от тех, кто прошел отбор)
|
95%
|
96%
|
Медианная длительность
|
17.7 минуты
|
17.5 минуты
|
Ниже мы приводим основные различия в программировании и сопутствующие им различия в результатах.
Оценка анкеты панелистами
На общих оценках (мы просили респондентов оценить уровень их удовлетворенности анкетой) различия в программировании сказались следующим образом:
% ответов «отлично» + «хорошо»
|
«Плохая» анкета
|
«Хорошая» анкета
|
Дизайн
|
89%
|
89%
|
Легкость заполнения
|
95%
|
99%
|
Понятность
|
97%
|
98%
|
Интересность
|
89%
|
95%
|
Длина анкеты
|
91%
|
93%
|
Видно, что различия не драматические, но они есть. Причем, значимые отличия наблюдаются по таким ключевым для качества данных параметрам как легкость заполнения и интересность (= вовлеченность).
Список марок (влияние логотипа)
Задавались вопросы: знание площадок понаслышке, посещение более одного раза, регулярное посещение.
Отличия между анкетами:
· >В «хорошей» анкете показывались логотипы новостных площадок в виде таблицы
· >В «плохой» анкете показывался список из адресов соответствующих площадок
«Хорошая» анкета |
«Плохая» анкета |
 |
 |
Влияние на данные:
|
Знают
|
|
Были более 1 раза
|
|
Бывают регулярно
|
Плохая
|
Хорошая
|
Плохая
|
Хорошая
|
Плохая
|
Хорошая
|
news.mail
|
74
|
86
|
57
|
68
|
43
|
51
|
news.yandex
|
72
|
88
|
62
|
73
|
48
|
54
|
Vesti
|
77
|
75
|
37
|
36
|
17
|
13
|
Gazeta
|
75
|
63
|
37
|
21
|
13
|
8
|
Lenta
|
77
|
61
|
53
|
41
|
25
|
24
|
Kommersant
|
60
|
70
|
18
|
19
|
6
|
5
|
news.rambler
|
62
|
61
|
38
|
40
|
20
|
24
|
Izvestia
|
51
|
68
|
12
|
14
|
3
|
2
|
Kp
|
43
|
71
|
26
|
31
|
10
|
12
|
Rbc
|
49
|
53
|
30
|
26
|
19
|
15
|
Mk
|
39
|
62
|
12
|
24
|
3
|
4
|
Vedomosti
|
35
|
50
|
13
|
10
|
2
|
2
|
echo.msk
|
29
|
54
|
7
|
12
|
1
|
3
|
Rian
|
21
|
61
|
11
|
26
|
4
|
11
|
Источник: данные Tiburon Research (панель InternetOpros.ru), 500 интервью, март 2010 года.
Знание площадок по логотипу ожидаемо выше, чем знание только по адресу площадки. В тоже время, чем больше опыт респондента с площадкой (посещение, регулярное посещение), тем меньше наблюдаемые различия между анкетой с логотипами и без. Это логично, т.к. «свою» площадку респонденты узнают в любом виде – с логотипом или без. Менее же знакомые площадки узнаются респондентами по адресу значительно хуже, чем по логотипу. Причем разрыв тем больше, чем площадка менее популярна.
Также показателен большой разрыв в знании между двумя анкетами для таких популярных новостных площадок как «news.mail» и «news.yandex». Они безошибочно распознаются по логотипу, но в списке адресов теряются – респондентам просто не хватает внимания отыскать знакомые названия в длинном монотонном списке.
Имидж марок
Респондентам предлагалось выбрать, каким из новостных площадок подходит то или иное имиджевое высказывание. Традиционно такой вопрос задается в виде таблицы (высказывания в строках, шкала - в столбцах), что, на наш взгляд, является не вполне удачным решением для онлайн-анкеты.
Отличия между анкетами:
· >В «плохой» анкете вопрос задавался в виде таблицы на одном экране: высказывания - по строкам, площадки – по столбцам.
· >В «хорошей» анкете высказывания предъявлялись одно за другим (одно высказывание на экране в момент времени), а новостные площадки представлялись логотипами.
«Хорошая» анкета |
«Плохая» анкета |
 |
 |
Влияние на данные:
Результаты анализа соответствий для «хорошей» и «плохой» анкет на примере нескольких площадок представлены в таблицах ниже. Статистически значимые связи «марка - высказывание» указаны цветом.
«Плохая» анкета:
Стандартизованные остатки
|
kp.ru
|
lenta.ru
|
news.mail.ru
|
news.yandex.ru
|
rbc.ru
|
vesti.ru
|
Много раздражающей рекламы
|
0.6
|
1.6
|
0.9
|
-2.3
|
-1.2
|
-0.5
|
Постоянно развивается / улучшается
|
-1.1
|
0.3
|
-1.1
|
0.5
|
1.3
|
0.0
|
Удобно пользоваться
|
-0.6
|
0.3
|
-0.8
|
0.2
|
0.5
|
0.1
|
Много интересных новостей
|
-0.6
|
0.8
|
-1.2
|
0.1
|
1.4
|
0.1
|
Объективная информация / можно доверять
|
-0.6
|
-0.7
|
-2.3
|
1.2
|
1.6
|
2.1
|
Есть информация о всех сферах жизни
|
0.6
|
0.3
|
-1.4
|
1.2
|
0.0
|
-0.2
|
Много хороших фото-видео материалов
|
1.1
|
0.1
|
-1.1
|
0.1
|
0.7
|
-0.2
|
Желтая пресса, негатив, чернуха
|
2.5
|
0.5
|
1.2
|
-1.5
|
-1.9
|
0.2
|
На сайте есть цензура
|
1.7
|
0.4
|
-0.7
|
-0.2
|
0.0
|
1.5
|
Можность обсудить новости / пообщаться
|
-0.9
|
-1.4
|
3.5
|
-0.1
|
-1.7
|
-1.8
|
Возможность найти друзей / единомышленников
|
-1.0
|
-1.4
|
3.9
|
-0.4
|
-1.6
|
-1.3
|
Низкаю культура общения на сайте
|
-0.3
|
-0.7
|
2.6
|
-1.3
|
-2.0
|
-0.6
|
«Хорошая» анкета:
Стандартизованные остатки
|
kp.ru
|
lenta.ru
|
news.mail.ru
|
news.yandex.ru
|
rbc.ru
|
vesti.ru
|
Много раздражающей рекламы
|
0.6
|
-1.0
|
2.4
|
-0.8
|
-0.3
|
-1.5
|
Постоянно развивается / улучшается
|
-1.6
|
0.3
|
-0.8
|
-0.1
|
1.3
|
0.9
|
Удобно пользоваться
|
-1.2
|
1.2
|
-0.2
|
0.5
|
-0.2
|
0.1
|
Много интересных новостей
|
-0.4
|
0.8
|
-1.3
|
0.7
|
0.6
|
-0.2
|
Объективная информация / можно доверять
|
-0.3
|
1.5
|
-2.7
|
-1.0
|
3.9
|
1.0
|
Есть информация о всех сферах жизни
|
0.5
|
0.1
|
-1.5
|
0.5
|
0.8
|
-0.6
|
Много хороших фото-видео материалов
|
-0.5
|
1.7
|
-1.4
|
0.8
|
-1.1
|
2.2
|
Желтая пресса, негатив, чернуха
|
4.1
|
-0.5
|
0.4
|
-1.6
|
-1.6
|
-1.1
|
На сайте есть цензура
|
0.6
|
-1.1
|
-0.7
|
-0.3
|
1.4
|
2.4
|
Можность обсудить новости / пообщаться
|
-0.2
|
-1.1
|
2.1
|
0.8
|
-2.3
|
-1.6
|
Возможность найти друзей / единомышленников
|
0.0
|
-1.8
|
3.1
|
-0.1
|
-1.9
|
-1.7
|
Низкаю культура общения на сайте
|
0.8
|
-1.6
|
2.7
|
-0.9
|
-1.9
|
-1.0
|
Видно, что при общей схожести профилей «хорошая» анкета выявляет больше статистически значимых связей между площадками и имиджевыми высказываниями (10 против 6), т.е. «хорошая» анкета дает более выраженный имидж марок. С нашей точки зрения это является следствием двух вещей:
· >Высказывания предъявляются по одному – легче сосредоточится
· >Площадки представлены логотипами – более сильный стимул, больше эмоций, больше имиджевого окраса
Отношение к категории (согласие с высказываниями)
Респонденту предлагалось выразить свое согласие или не согласие с высказываниями из списка, использую стандартную шкалу согласия.
Отличия между анкетами:
· >В «хорошей» таблица была разбита на две равные части – часть высказываний показывались на одной странице, часть – на другой. Респондент видит меньше высказываний на экране без необходимости прокрутки.
· >В «плохой» анкете все высказывания выводились на одном экране одним длинным списком. До нижних высказываний нужно было страницу прокручивать.
«Хорошая» анкета |
«Плохая» анкета |
 |
 |
Влияние на данные:
В этом вопросе мы пытались поймать панелистов на невнимательности или небрежности. С этой целью были добавлены проверочные вопросы: две пары противоположных по смыслу высказываний и строка «В этой строке отметьте «Скорее НЕ согласен». Проценты ошибочных ответов приведены в следующей таблице:
% ошибок
|
«Плохая» анкета
|
«Хорошая» анкета
|
% ошибочных ответов в строке "В этой строке отметьте "Скорее НЕ согласен"
|
10.1%
|
5.2%
|
% согласия с обоими высказываниями: "Интернет должен контролироваться государством" / "Государство не должно контролировать Интернет"
|
7.1%
|
5.4%
|
% согласия с обоими высказываниями: "Я обращаю внимание на рекламу в Интернете" / "Я игнорирую рекламу в Интернете"
|
5.3%
|
3.6%
|
Общая тенденция (в «хорошей» колонке все три показателя ниже) такова, что на «хорошую» анкету респонденты действительно отвечают более вдумчиво. Причем цифры в «хорошей» колонке находятся на уровне средней отбраковки анкет в панели InternetOpros.ru (3-5% анкет), а цифры в «плохой» колонке существенно выше средних показателей для нашей панели.
Выводы
Главный вывод – то, как анкета запрограммирована, имеет значение и, с нашей точки зрения, ничуть не меньшее, чем качество панели. В конечном итоге от качественной анкеты выигрывают все: конечный клиент получает более адекватные данные, панельный провайдер – лояльность панелистов и меньшую роль денежной мотивации, сами панелисты – большую удовлетворенность от процесса участия в исследованиях.
Спорить о том, что такое хорошо и что такое плохо в программировании онлайн-анкет можно долго. Главное – чтобы Ваш поставщик имел на этот счет свою точку зрения, умел аргументировано ее отстаивать и имел достаточно гибкие инструменты для ее воплощения в Ваших анкетах.
Артем Тинчурин, Генеральный директор Tiburon Research
