Случайны выбор дневника Раскрыть/свернуть полный список возможностей


Найдено 865 сообщений
Cообщения с меткой

обратная связь - Самое интересное в блогах

Следующие 30  »
Demetrius

Восемь грехов человечества

Среда, 21 Сентября 2016 г. 20:31 (ссылка)
etheroneph.com/socium/414-v...estva.html

Искусство и развитие личности - от философии и психологии до науки и авангарда.
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Ошибки анкетных опросов. 2 ошибка: формулировка анкеты. 13 случаев непонимания и манипуляций в опросе (1 часть)

Среда, 31 Августа 2016 г. 15:56 (ссылка)

Я продолжаю делиться опытом ошибок и находок в анкетных исследованиях. В первой статье я рассказала, как можно привлечь релевантных респондентов и увеличить возврат заполненных анкет.



Читать первую статью Ошибки анкетных опросов. 1 ошибка: смещение выборки. 8 способов привлечь нужных респондентов







В этой статье я расскажу, почему проблема понятности анкеты для участников опроса гораздо важнее, чем кажется на первый взгляд. Рассмотрим также примеры манипуляции мнением респондентов, фальсификации результатов опроса и использования опросов в маркетинговых целях.



Преимущество анкетных опросов – большой охват и быстрый результат – становится и их основным недостатком. Теряя возможность коммуникации с конечным респондентом, мы вынуждены делать дорогое допущение: «все респонденты понимают смысл анкеты и заполняют ее корректно». Если сделать это допущение, можно выдохнуть и работать с результатами опроса, как с релевантными фактами и мнениями. А если такое допущение не сделать, исследование может превратиться в череду перепроверок и согласований и в итоге полностью парализоваться.



Если честно, пройдя через сложности привлечения респондентов и возврата анкет, меньшее, чего хочется исследователю – это сомневаться в том, что анкеты заполнены корректно. Но еще грустнее – осознать, что анкеты испорчены из-за неверного понимания участниками инструкции, или вопросов. И чтобы оградить себя и заказчика от этих сомнений, можно соблюсти ряд подготовительных этапов, которые значительно повысят доверие к исследованию. Мы рассмотрим эти этапы в следующей статье. Вначале разберемся, где могут крыться сложности понимания, и к чему это может привести.



Можно выделить, как минимум, следующие части анкетного исследования, где может возникнуть непонимание:



1. Непонимание слов и специальных терминов.

2. Непонимание инструкции.

3. Непонимание направленности опроса.

4. Непонимание формулировки вопросов.

5. Непонимание критериев оценки.


1. Непонимание слов и специальных терминов



Здесь все просто. Респонденты, действительно, часто не понимают значение слов, которые кажутся исследователю очевидными. И это не всегда касается профессионального сленга. Иногда, казалось бы, обычные слова русского языка вызывают затруднения у участников опроса, но у экспериментатора редко появляется возможность узнать об этом.





На картинке: комментарий пользователя к анкетному опросу, опубликованному на сайте (источник: pikabu.ru)



Пример: Мы проводили исследование людей разного социального статуса и разных возрастных групп. В числе исследовательских методик использовался тест Т. Лири – авторитетный психологический тест, адаптированный для русскоязычных респондентов, применяемый десятилетиями для оценки личности и отношений. Тысячи исследований проведены в России с использованием этого теста. В нашем исследовании уже приняло участие несколько сотен человек, когда мы пришли опрашивать студентов престижного вуза. Студенты заполняли анкеты прямо в аудитории. Через несколько минут они стали поднимать руки и говорить, что не понимают значение некоторых слов из теста. Вот список этих слов: мягкотелый, самобичующий, деспотичный, тщеславный, покладистый, легко расположен, легко впадает впросак, черствый. Для нас это стало открытием. Оказалось, адаптация классического авторитетного теста уже устарела для некоторых респондентов этого возраста и статуса. Собранные к тому времени сотни анкет от респондентов других возрастов и статусов тоже оказались под сомнением: люди не уточняли у нас значения слов, значит – либо понимали их, либо стеснялись спросить и отвечали наугад.


Вторая угроза исходит от употребления в анкетах сленга, который может либо не пониматься участниками, либо раздражать их. Такое может случиться, если исследователь пытается заигрывать с целевой аудиторией и употребляет в анкете их сленг, не являясь носителем этой культуры.



Пример 2: Когда мы исследовали коммуникацию между отделами в одной ИТ-компании, несколько ее разработчиков рассказали на интервью, что их очень злит, когда HR-менеджеры, проводя внутренние опросы, или делая рассылки, копируют особенности языка и вставляют англицизмы. Хотя сами разработчики часто этим грешили, их раздражало, когда сотрудники, не включенные в контекст их работы, перенимали этот сленг.


2. Непонимание инструкции



Непонимание инструкции – самый очевидный пункт в этой статье и, казалось бы, бесполезный. Почти все исследователи проясняют во введении к анкете, на что направлено исследование, и как стоит заполнять бланк. Почти все респонденты уже имеют опыт участия в каких-нибудь опросах, и сейчас редко можно услышать взволнованные вопросы, которые нам задавали лет 8 назад: «А в квадратик нужно ставить плюсик, или галочку?» и «А можно зачеркнуть ответ, если я передумал?».







На картинке: Анкета с неточными инструкциями для соискателей (источник: pikabu.ru).



Несмотря на опытность обычного респондента, вопрос юзабилити анкет снова возникает, если исследователь пробует новые формы (например, on-line опросы и анкетирование на мобильных устройствах с неочевидными инструкциями или невозможностью пропустить ответ), забывает про опцию «один вариант ответа/ несколько вариантов ответа», или забывает дать корректную инструкцию к сложным вопросам (например, вопросам с ранжированием, или попарным сравнением). И для исследователя большая удача, когда получается узнать о затруднениях участника, как в примере на картинке ниже.





На картинке: комментарий пользователя к анкетному опросу, опубликованному на сайте (источник: pikabu.ru)



То, что кажется очевидным исследователю и большинству респондентов, может представлять сложности для менее опытных участников.





На картинке: Анкета с неточными инструкциями, не адаптированная для участника опроса (источник: adme.ru).



Пример 1: Мы проводили исследование сотрудников компании, имеющей филиалы в маленьких городах и поселках. Представители филиалов съехались на обучение в столицу, поэтому опросить их всех после обучения показалось хорошей идеей. Мы выступили перед сотрудниками, дали инструкции и раздали опросники, пообещав выслать результаты на e-mail каждому участнику, или принести на следующий день. Опросник был довольно большой, люди в тишине заполняли его. Как только первый участник отдал заполненную анкету, в конце комнаты поднялась женщина и направилась к двери. Когда мы спросили, где ее анкета, она ответила: «Я не понимаю, что такое имейл, и не понимаю, куда и что вы мне хотите выслать. Лучше я пойду». Оказалось, она просидела больше получаса, так как не поняла наши слова, но стеснялась уточнить инструкцию. Для нас это был вопиющий случай: мы узнали, каких масштабов может достичь непонимание инструкции. А при удаленных и on-line опросах у исследователя обычно не появляется возможности понять, что пошло не так: анкеты либо не возвращаются, либо заполняются некорректно.



Пример 2. Однажды мы организовали большое тестирование людей разных возрастов с использованием психологических опросников, которые включали шкалу лжи. По правилам таких тестов, запрещено интерпретировать результаты, если показатель лжи превышает установленный порог. Одна из участниц получила критический балл по шкале лжи и, когда мы отказались анализировать результаты, была крайне удивлена, сказав, что всегда старается говорить правду и уж точно не стала бы врать в психологическом тесте. Мы взялись с ней разбирать ответы, среди которых было, например: «Я всегда перехожу дорогу на зеленый свет», «Я всегда говорю правду» и другие очевидные вопросы на социальную желательность. На все она ответила «Да». Тогда я спросила:



– Ну, а если задуматься, за всю жизнь вы точно ни разу не перешли дорогу на красный?

– Было, конечно. Но я же старалась отвечать так, как считаю правильным себя вести, а не как веду. А так – в жизни разное бывает.




Оказалось, подробная и четкая инструкция к тесту все-таки была осмыслена женщиной по-своему.



Пример 3: Во время исследования стилей поведения в служебных отношениях среди директоров предприятий, как всегда, нам удалось привлечь намного больше женщин, намечался сильный перекос выборки, и потому мы очень обрадовались, когда узнали, что завтра поступит сразу несколько анкет от мужчин, директоров крупных гос. организаций. Мы были готовы на следующий день приступить к обработке, но вечером мне позвонил один из директоров. Он бодро сообщил, что с несколькими директорами заполняет наши анкеты и хотел бы получить пояснения по некоторым ситуациям из теста, так как у них возникли споры в выборе вариантов ответа. Оказалось, директора, приехав на повышение квалификации, решили совместить общение и заполнение интересного теста, и принялись заполнять наши анкеты вместе в номере гостиницы, бурно обсуждать каждую ситуацию, спорить и убеждать друг друга. Индивидуальное исследование личных стилей поведения превратилось в групповое принятие решений, все анкеты оказались заполнены одинаково и потеряли всякую ценность для нашего исследования.


3. Непонимание формулировки вопросов



В создании анкеты, или планировании интервью есть одно правило: «Вопрос – это уже почти ответ». Информативный ответ можно получить только при очень хорошо продуманном вопросе. Для того, чтобы создать такие вопросы, проводится большая подготовительная работа (в следующей части статьи я расскажу про этапы этой подготовки).



Но наш опыт общения с исследователями показывает, что на такую подготовку почти никто не обращает внимания. Ответственность за ответ часто возлагается на респондента, делается существенное предположение, что респонденты имеют сформулированное мнение по нашему вопросу и очень хотят высказать его. Часто это совершенно ошибочное предположение. Не только проблемы исследователей, но язык их вопросов часто не воспринимаются респондентами.





На картине: Кадр из фильма «Автостопом по галактике».



Википедия: «Окончательный Ответ на величайший вопрос Жизни, Вселенной и Всего Такого (…): «Сорок два». Реакция была такой:

— Сорок два! — взвизгнул Лунккуоол. — И это всё, что ты можешь сказать после семи с половиной миллионов лет работы?

— Я всё очень тщательно проверил, — сказал компьютер, — и со всей определённостью заявляю, что это и есть ответ. Мне кажется, если уж быть с вами абсолютно честным, то всё дело в том, что вы сами не знали, в чём вопрос.

— Но это же великий вопрос! Окончательный вопрос жизни, Вселенной и всего такого! — почти завыл Лунккуоол.

— Да, — сказал компьютер голосом страдальца, просвещающего круглого дурака. — И что же это за вопрос?»



Пример 1: Однажды со мной поделилась идеей исследования ТОП-менеджер производственной компании. В тот момент она заканчивала обучение в MBA и заинтересовалась изучением мотивации рабочих на производстве. Исследование мотивации – сложная тема, мы спросили, какие методы она будет использовать. «А какие тут нужны методы? – удивилась она. – Раздам им бумажки с вопросом «Что вас мотивирует?» и соберу ответы». Жаль, общение с ней не продолжилось, и мы не узнали, как рабочие завода восприняли ее анкеты, и как она использовала результаты такого исследования.




Пример 2: Второй пример несоответствия языка исследовательских анкет языку заполнявших их людей тоже из производства. HR-директор крупного производственного холдинга как-то похвастался нам в личной беседе, что ему за несколько лет удалось увеличить вовлеченность персонала на 12% (!). Рабочий персонал и средний менеджмент заводов – специфическая группа для исследований. Как он изучал их вовлеченность? Оказалось, опросником от компании «Gallup».



Тут нужно пояснить. Самый большой недостаток использования опросника – не столько расплывчатые и неадаптированные для людей рабочих специальностей формулировки вопросов (например, вопросы №5, 6, 8), сколько его применение в качестве теста с подсчетом интегрального числового показателя вовлеченности. Другими словами, даже если у участников возникнет непонимание формулировок анкеты, исследователь не проанализирует ответы отдельно, не проследит за выбросами, а подсчитает суммарный показатель. Текст опросника приведен на картинке.




На картинке: Один из вариантов русскоязычного перевода опросника вовлеченности персонала от компании «Gallup» (Источник: antropos.ru).



Нам не удалось найти ссылки на публикации с адаптацией и валидизацией опросника «Gallup» (обязательными этапами при использовании переводных методик). Тем не менее, можно найти несколько вариантов его вольного перевода, много рекомендаций его применения в бизнес-изданиях и еще больше предложений от консалтинговых компаний, которые используют 12 невалидизированных и неадаптированных вопросов, как единственный инструмент для измерения вовлеченности персонала.



Естественно, когда клиент видит в отчете только обобщенные показатели вовлеченности и – еще лучше – рост таких показателей, он редко спрашивает о методах, которыми они были получены.



4. Непонимание направленности опроса



Непонимание направленности вопроса – куда более сложная и распространенная ошибка в анкетных исследованиях. Иногда и предположить нельзя, как человек может интерпретировать, казалось бы, однозначно сформулированный вопрос.



Для этой проблемы есть изящное решение, которое мы обсудим в следующей части. А пока, можно поговорить о случаях, когда исследователи намеренно прячут истинный смысл вопроса, или вносят путаницу в формулировки, чтобы получить желаемый ответ.



Иллюзия выбора. В практике социальной манипуляции есть такой ход: предоставление собеседнику иллюзии выбора, при которой любой его ответ будет выгоден манипулятору. Классический пример иллюзии выбора из продаж сетевых ресторанов быстрого питания: При заказе клиентом кофе официант спрашивает: «Вы к кофе возьмете маффин, или пирожок?» (вопрос «Не желаете ли что-нибудь к кофе?» считается куда менее эффективным с точки зрения продаж). Такой ход часто применяется в анкетных опросах, когда организатор исследования заинтересован в определенных ответах.





Пример: Несколько лет назад наша компания выступала организатором корпоративной игры для менеджеров среднего и высшего звена известного завода. Незадолго до этого контрольный пакет акций этого завода был куплен немецкой компанией, которая сразу начала внедрение корпоративных стандартов поведения. Стандарты эти на русском языке представляли не вполне корректно переведенный и не всегда понятный для русского менталитета свод правил, и перед нами поставили задачу организовать игру так, чтобы менеджмент усвоил эти стандарты. На игру отводилось всего несколько часов, и мы сразу объяснили, что за такое время нельзя сформировать поведенческие паттерны и нельзя даже развить принятие и согласие с чуждыми нормами. Сошлись на том, что целью игры будет уменьшить эмоциональное напряжение, которое вызывали новые стандарты. Итак, мы разработали игры и конкурсы, в основе которых было взаимодействие с каждым правилом, сделали акцент на вовлечении, групповой работе и положительных эмоциях.



Игра прошла хорошо, все руководители вовлеклись и расходились довольными. А через несколько дней HR-служба компании попросила нас провести опрос удовлетворенности игрой, чтобы предоставить отчет руководству. Мы понимали, что новые нормы не были усвоены сотрудниками и, тем более, не перешли в привычки. Но цель свою – уменьшить напряжение – мы выполнили. Поэтому, наша анкета была сосредоточена исключительно на положительных эмоциях после игры (см. рисунок).




На картинке: Фрагмент анкеты обратной связи для участников игры.



Вопросы 5, 6 и 9 – вопросы с иллюзией выбора. Они выглядят довольно полно. Но, если присмотреться, любой вариант ответа либо отражает положительную оценку, либо перекладывает ответственность на заполняющего (по принципу «это не игра была плохая – это я все еще не понимаю стандарты поведения, которые мне объясняют уже несколько месяцев», или «я и так хорошо понимаю суть стандартов»).



Последний вопрос – образец вопроса с иллюзией выбора. Все его варианты положительные. Формулируя его, мы знали, как результаты будут выглядеть в отчете: как в диаграммах будут смотреться положительные эффекты, заданные нами заранее в анкете, и как приятно руководителю будет рассматривать их. Когда человек просматривает такой отчет, у него редко появляется вопрос, были ли предусмотрены анкетой негативные варианты ответов.



Расстановка акцентов



Если заказчик исследования не интересуется исходным текстом анкеты и не уточняет, какие варианты были предоставлены участникам, организаторы могут подменить смысл результатов, расставив акценты.



Пример: Недавняя публикация результатов исследования общественного мнения россиян вызвала бурное обсуждение в Интернете (см. рисунок). В основном, обсуждение крутится вокруг термина «удовлетворительно». А для нашей статьи интересно, как результаты опроса преобразились в заголовке статьи за счет игры слов русского языка. В заголовке значится «половину россиян удовлетворяет экономика страны», в то время как в расшифровке статьи сказано, что только 6% оценили экономику положительно. Если бы в отчете были представлены только «существенные» результаты и был упущен вариант с положительной оценкой, то, благодаря богатству смыслов языка, понятие «удовлетворяет» воспринималось бы, как очень хороший результат опроса (а не как оценка «на троечку»).




На картинке: фрагмент новости о результатах соцопроса (источник: www.solidarnost.org).



Пример 2: Еще один веселый пример расстановки акцентов. Если ввести в поисковике фразу «почти половина россиян не доверяет полиции», выдаются ссылки на источники vedomosti.ru, rbc.ru, echo.msk.ru и др. А если ввести “почти половина россиян доверяет полиции», выдаются ссылки на ria.ru, news.sputnik.ru, www.business-gazeta.ru, ridus.ru (последний источник – на удивление, в отличие от скриншота).






На картинке: скриншот новостной ленты – расстановка акцентов разными изданиями (источник: joyreactor.cc)



Подмена понятий. По сути, практика защиты перед заказчиком одних только результатов исследования без предварительного рассмотрения сырых данных и способов их сбора, оставляет огромное поле для подделки данных и манипуляции результатами без всякой подделки. В таких случаях важно обращать внимание на логику и направленность вопросов в анкете перед тем, как анализировать ее результаты.



Поэтому особенно забавно смотрятся предложения обучающих и консалтинговых компаний самостоятельно оценить эффект от обучения персонала, или проведенных внедрений, и предоставить заказчику отчет о возврате на инвестиции. В анкетах обратной связи подрядчики могут спрашивать сотрудников совсем не о том, а в итоговом отчете подменять понятия. Но заказчики обычно с готовностью принимают такие отчеты, так как они выглядят вполне авторитетно, и не требуют усилий со стороны внутренних служб.



Пример: Недавно нам представили компанию, оказывающую PR-услуги. Представили, с гордостью пояснив, что эта компания – одна из немногих в отрасли, дающая четкий отчет по KPI (ключевым показателям эффективности) своей деятельности в процентах. Действительно, оценить эффективность маркетинговых и PR-кампаний, очистить замеры от всех влияющих условий рынка, непросто. Мы заинтересовались методикой. И, когда мы спросили, как именно проводится измерение эффективности PR-деятельности и вычисляются проценты, выяснилось, что в качестве единиц измерения используется план (например, «написать 10 статей в отраслевых изданиях»), а в качестве отчета – подсчет выполнения этого плата (по логике этой компании, если написано 9 статей, то KPI по PR выполнены на 90%). Конечно, существует разделение на процессные и фактические KPI и есть бизнесы, где важно именно четкое выполнение процесса. Но это не касается тех сфер, где процесс не имеет значения, если не достигнут результат. И у меня есть подозрение, что, предоставляя заказчику отчет об эффективности PR-кампании в численных показателях, эти подрядчики совершали грубую подмену понятий.


Наводящие формулировки. Тональность вопроса в анкете, или его направленность могут наводить участника на определенный ответ. Выгода организатора исследования от таких ответов заключается в подтверждении собственной позиции (например, при фальсификации теорий, или оправдании управленческих решений).



Пример: Хорошо этот эффект иллюстрирует «Теория перспектив» А. Тверски и Д. Канемана об экономии интеллектуальных затрат (за исследования иррациональной природы принимаемых людьми решений они получили Нобелевскую премию).



В одном из экспериментов по исследованию принятия решения в зависимости от контекста подаваемой информации, известном как «Азиатская болезнь», участникам предлагалось решить задачу: «Представьте, что Соединенные Штаты Америки готовятся к вспышке эпидемии неизвестной «азиатской болезни», вследствие которой, как ожидается, погибнет 600 человек. Для борьбы с этой болезнью предложены две альтернативные программы. Какую из них стоит выбрать?» Далее двум разным группам участников сообщалась одна и та же информация, но в разных формулировках (с позитивным и негативным фокусом). Авторы эксперимента доказали, что, стремясь сэкономить усилия при принятии решения, люди предпочитают полагаться на интуицию, прошлый опыт и более простые и оптимистичные варианты.






На картинке: Формулировки «программ» эксперимента «Азиатская болезнь» и предпочтение ответов участниками.



Еще один распространенный пример из исследований Д. Канемана: если одну группу испытуемых спросить: «Дожил ли Ганди до 114 лет? В каком возрасте он умер?», а другую: «Дожил ли Ганди до 35 лет? В каком возрасте он умер?», то первая группа оценит жизнь Ганди как гораздо более долгую, чем вторая.



Так, удачно формулируя вопросы анкеты, делая акцент на положительных вариантах, или используя наводящие цифры, исследователи создают «эффект привязки» и могут манипулировать ответами участников.



Второй вариант, при котором применяется техника наводящих формулировок, — это постепенное изменение убеждений участника исследования с помощью анкеты. В этом случае от вопроса к вопросу создается канва, при которой респондент вынужден отвечать определенным образом, сталкивается со своими ответами, как с новыми представлениями, и постепенно меняет точку зрения. Продолжением такого метода являются вопросы, создающие потребность (см. следующий пункт).



Пример: Однажды я сама стала жертвой жесткого манипулятивного опроса. Его проводила авторитетная организация, предлагая пройти on-line анкетирование людям со всего мира. Исследование подавалось под видом «Оцените, насколько правильно вы питаетесь». Начало анкеты было стандартным, задавались вопросы о разных продуктах, но постепенно анкета стала сужаться до фильтрующих вопросов о мясе (употребляете ли мясо, сколько раз в неделю, и т.д.). После моих ответов следующие вопросы анкеты стали предлагать мне просмотреть фотографии и видео о том, как умертвляют животных на фермах, как разделывают туши, как утилизируют отходы и др. И уже совсем скоро вопросы приобрели такой характер: «Зная, как страдают животные на фермах, вы по-прежнему будете регулярно употреблять мясо?» и «Не считаете ли вы, что стоит предпочесть растительные белки, такие же полезные и питательные, чтобы прекратить издевательство над животными?». Эти вопросы сыпались градом: никто уже не интересовался моим рационом. Казалось, завершить этот поток можно, только отвечая в духе «я все осознал и пойду теперь убеждать всех, кого встречу на пути». Впервые у меня был такой травматический опыт от заполнения анкеты. Я прекратила отвечать на вопросы, и мне потребовалось время, чтобы снова укрепиться в своих представлениях о питании, которые оказались под большим влиянием из-за этого опроса.


Опросы, создающие потребность. Создание у участников нужных потребностей с помощью правильно сформулированных вопросов – еще одна тактика манипуляций и продаж. И анкетные опросы в этом мероприятии оказывают хорошую поддержку продающим компаниям.



Никого уже не обманут псевдо-социологические опросы в стиле «Правильно ли вы ухаживаете за кожей?», или «Все ли вы знаете об очищении организма?», где после третьего вопроса появляется: «Знакомы ли вы с продукцией компании N?». Лет десять назад в нашей стране эти опросы были очень популярными.



Сейчас тактику создания потребностей используют более тонко. Первый вариант – это скрытое информирование участника с помощью анкеты об ассортименте и новых продуктах компании, что рождает осведомленность и вызывает любопытство (см. рисунок).





На картинке: фрагмент анкеты, рекомендованной Минздравом для определения группы риска по употреблению наркотиков подростками. Среди вопросов были также такие: «Сколько раз, если такое случалось, вы нюхали ингаляты – клей, аэрозоль, бензин – специально, чтобы получить «необычные ощущения»?». Анкеты предлагалось раздавать детям 10-13 лет, что вызвало бурное возмущение родителей. (Источники: Ridus.ru, RG.ru).



Второй вариант создания потребности – предложить клиенту анкету, якобы помогающую сориентироваться в том, какого вида услуга (товар) на самом деле ему нужна. Нельзя сказать, что это однозначная «политика зла». Такие анкеты, действительно, помогают уточнить потребности клиента, но они и очень хорошо помогают продавать.



Суть продажи заключается в том, что под видом опроса:



а) респондента подводят к мысли, что у него чего-то нет, или что-то используется неэффективно (вызывают чувство тревоги),

б) информируют о новых услугах (товарах, опциях), которые помогут решить его проблему (о которой он не знал до начала опроса).



Примерный алгоритм анкеты, создающей потребность:



1. Вводные нейтральные вопросы по теме, «айс-брейкеры».

2. Вопросы об актуальном состоянии респондента, которые постепенно подводят его к идее, что у него чего-то не хватает, или что-то устарело.

3. Вопросы, уточняющие, понимает ли респондент, какие последствия имеет эта нехватка, и чем она может обернуться лично для него или его бизнеса.

4. Вопросы о том, знаком ли респондент с некоторыми решениями (товарами, услугами, технологиями).

5. Вопросы, информирующие респондента, как именно эти решения помогают справиться с его проблемой.

6. Вопросы, наводящие на мысль о покупке (информирующие о цене, скидке, условиях).

7. Вопросы, подтверждающие, что при покупке этого решения проблемы респондента будут решены, и он получит дополнительную выгоду.



Пример: Если бы я хотела продать эту статью с помощью анкеты, я вначале задала бы несколько формальных вопросов о вашем опыте анкетных исследований и о том, получили ли вы специальное образование для проведения исследований (уже здесь начинается работа с тревогой). Потом спросила бы, с помощью каких процедур вы устанавливаете и доказываете, что респонденты правильно понимают инструкцию, формулировки и критерии оценки в ваших опросах. Затем спросила бы, знакомы ли вы с такими-то примерами из вашей сферы, когда результаты дорогих опросов приходилось выбрасывать из-за того, что не все респонденты верно понимали инструкцию, или суть вопросов. Упомянула бы, какой позор постиг организаторов таких опросов из такой-то компании. Потом я спросила бы, знакомы ли вы с процедурами концептуализации, операционализации, валидизации, адаптации, апробации и пилотного запуска, и в каком объеме вы их используете. Затем привела бы примеры, как эти процедуры помогли спасти дорогостоящие исследования. И, наконец, я поинтересовалась бы, что должно произойти в вашей компании для изменения подхода к опросным исследованиям и сколько, по-вашему, может стоить статья, в которой содержится алгоритм применения этих процедур, чтобы ваши исследования стали надежными, принесли успех вашей компании и лично вам.


В этом примере все еще отчетливо видны «белые нитки» продажи, но, чем ближе ваш респондент к статусу клиента (например, заполняет анкету на сайте продукта) и чем ближе он к покупке, тем лучше будет воспринята им такая анкета и тем легче получится увеличить объем его покупки за счет дополнительных продаж.



Третий вариант создающих потребность анкет, очень популярный сейчас, это развлекательные тесты. Интернет-пользователей до сих пор привлекают тесты в стиле «Хорошо ли вы разбираетесь в компьютерных играх?» (где можно невзначай добавить несколько вопросов с перечислением игровых новинок определенной компании), «Умеете ли вы управлять своим временем?» (здесь уместно упомянуть несколько специализированных мобильных приложений, которые вы хотите продать) и т.д. Такие тесты иногда выглядят профессионально и доставляют положительные эмоции, даже когда их рекламная природа очевидна.



Пример: Несколько дней назад друг предложил мне пройти тест на знание итальянских сыров на сайте «Медуза». Тест был отмечен значком «партнерский материал», а в названии упоминался бренд производителя сыров, но друг этого не заметил. Он зачитывал вопросы, а я воспринимала их на слух. Тест был, действительно, интересным.



И в какой-то момент, захотев уже салат с сочной полезной моцареллой, я шутя воскликнула:



– Да похоже, они продают эти сыры!

– Действительно, смотри, тут в конце теста написано: «Ну и конечно теперь мы просто обязаны вам рассказать, что U. тоже производит все сыры, о которых мы упомянули в тесте, – и не только. Они свежие и полезные, и даже кальций в них – со вкусом Италии».




Много зная о маркетинговых уловках и манипуляции, мы все равно восприняли этот тест положительно и заинтересовались компанией, так как форма подачи и полезность контента перевысили знание об истинных целях организаторов теста.



Один из вопросов теста представлен на рисунке.




На картинке: Один из вопросов теста на знание итальянских сыров (Источник).



Опросы со смещенной целью. Особняком в этом списке опросов со скрытыми мотивами стоят опросы со смещенной целью, так как они используются, в основном, не для манипуляции, а для более изящного исследования мотивов респондентов, когда такое невозможно сделать с помощью прямых вопросов.



Пример: Об этом опросе рассказала моя ученица, директор частной мебельной фабрики. Она пыталась понять причины плохих продаж в фирменных магазинах. Несколько месяцев назад фабрика (изготавливавшая до этого только мягкую мебель) приобрела производство кухонь. Соответственно, в фирменных магазинах, кроме мягкой мебели, началась продажа кухонь. Но, на фоне стабильных продаж мягкой мебели, кухни продавались очень плохо. У директора возникла гипотеза, что причина плохих продаж не в плохом качестве продукции (у нее была возможность проверить реальный спрос), а в предвзятом отношении продавцов, которые саботировали продажи. Напрямую спросить об этом продавцов было невозможно, и потому она организовала среди них опрос в стиле «Почему, на ваш взгляд, кухни плохо продаются». Продавцы обрадовались возможности высказать, наконец, все свое недовольство от инноваций, и красноречиво отвечали на вопросы анкеты. Так ей удалось подтвердить свою гипотезу, собрать основные предубеждения продавцов против нового товара, понять их сопротивление и получить базу для работы с возражениями (в ее случае – с возражениями самих продавцов, а не клиентов).


5. Непонимание критериев оценки



Исследователи не всегда разъясняют критерии оценки, ожидая, что они интуитивно понятны участникам.



Пример: Традиционно из десятков анкет, присылаемых мне на экспертизу, около 30% содержат вопросы с просьбой оценить какой-то параметр (услугу, товар) от 1 до 5 баллов, но не содержат расшифровки значений, или хотя бы указания, какой полюс является положительным. Иногда все исследование пропадает, если организаторы обращают внимание на диаметральные различия в оценках респондентов и только потом догадываются, что некоторые респонденты ставили «1», предполагая, что это «первое место» в рейтинге, а другие ставили «1», как самый низкий балл.


Как выход из таких ситуаций, принято использовать шкалу Лайкерта (Лейкерта, Ликерта), содержащую более детальные формулировки для оценки (например, от «Совершенно не нравится» до «Очень нравится», или от «Никогда» до «Очень часто»). Можно найти или придумать много формулировок этой шкалы для самых разных вариантов вопросов. Но и у этой шкалы есть недостатки, так как субъективное понимание, например, частоты каких-то действий у разных людей может различаться. И если нам важно знать не их мнение о частоте, а более-менее точный показатель, лучше конкретизировать такие варианты ответов точными промежутками (например: «Реже одного раза в год» — «…» — «Несколько раз в день»).





На картинке: комментарии участников к анкетному опросу, опубликованному на сайте (источник: pikabu.ru)



Проработка вариантов ответа становится особенно важной, когда анкетный опрос применяется для оценки сложных, субъективно-значимых параметров. В таких случаях респонденты склонны к «ментальной экономии» и выбирают варианты оценки, соответствующие их общему представлению об объекте, не задумываясь над вопросом (например, «игра мне, в общем, нравится, проставлю везде 4 и 5 – не важно, оцениваю я звук, или уровень обратной связи с игроками»).



Такие усредненные оценки встречаются часто при проведении оценки сотрудников методом 360 градусов. Оценивая своих коллег, люди склонны ставить положительные баллы «любимым» и нейтральные, или отрицательные, баллы «нелюбимым», независимо от того, по какому параметру ставятся оценки (нелюбимый сотрудник может быть сильным лидером, или ни с кем не конфликтовать, но «рука не поднимется» поставить ему высокие баллы даже за эти показатели). В итоге, такая оценка оказывается совершенно бесполезной для организаторов исследования, так как не дает возможности выделить реальные проблемные точки у сотрудников компании.



Точно так же обстоят дела при оценке пользовательского опыта при работе с ИТ-продуктами. Если сайт, или компания, в общем, нравятся пользователю, он будет склонен ставить, в общем, высокие оценки, чтобы «никого не обидеть». И такой опрос не поможет разработчикам сделать продукт лучше.



Пример: Забавный случай случился с моей знакомой, когда только начал развиваться сервис «Одноклассники». Заведя аккаунт значительно позже своих знакомых и еще не зная негласных правил поведения на сайте, она стала просматривать профили друзей и ставить оценки фотографиям. Очень скоро несколько подруг ее заблокировали. Она была крайне удивлена и смогла разговорить одну из них, чтобы вяснить причину. Оказалось, подруг (уже давно закончивших школу) сильно задели низкие оценки, которые она ставила их фотографиям. «Как ты не понимаешь? Ты понизила мне общий балл своими двойками!» – призналась одна из них. А моя знакомая, в отличие от большинства пользователей «Одноклассников», была убеждена, что механизм оценки фотографий существует для того, чтобы искренне высказываться насчет удачности кадра, цвета, перспективы и др., а не для выполнения социальной функции поддержки друзей.


В таких случаях высшим пилотажем исследователя становится разработка «поведенческих» вариантов ответа, описывающих примеры проявления качества в поведении человека (или – при оценке продукта – особенности взаимодействия пользователя с ним). По поведенческим вариантам нельзя однозначно определить, какой из них положительный, и какой отрицательный, и респонденту приходится выбирать вариант, наиболее приближенный к реальности.



Пример: Можно предложить такие поведенческие варианты для оценки конфликтности: «Этот человек никогда не повышает голос и всегда держится в стороне от любых разногласий и споров» (самый низкий балл) – «Этот человек остро реагирует, когда его точка зрения не принимается коллегами, или когда поведение коллег кажется ему несправедливым; он может повышать голос, или даже решать разногласия силой» (самый высокий балл). Соответственно, в таком же ключе формулируются остальные промежуточные варианты оценки.




На картинке: Пример вопроса оценки «ориентации на команду» для оценки сотрудников методом 360 градусов. В каждом варианте можно заметить положительные и негативные черты, что увеличивает вероятность честной оценки, в отличие от простого приписывания высоких, или низких баллов сотруднику (Источник).



Разработка поведенческих вариантов оценки – сложный этап. Особенно сложно подобрать адекватные варианты, когда не совсем понятно, как они проявляются в реальном поведении (или взаимодействии пользователя с продуктом). Например, при оценке звуковых эффектов в игре высшей оценкой звука будет: «Звуки не отвлекают от игры, создают хороший фон», или «Звуки играют важнейшую роль, помогают следить за динамикой игры, во время подсказывают действия игрокам». Для того, чтобы варианты оценки получились наиболее соответствующими реальному опыту пользователя, используется этап операционализации, о котором я подробно расскажу в следующей части статьи.



Краткие выводы



Я попыталась описать примеры, когда очевидные для организаторов исследований этапы анкетирования неверно понимаются участниками. Респонденты могут неверно понимать слова и фразы, формулировки вопросов, инструкции к анкете, критерии оценки и направленность вопросов. Эти сложности приводят к сбору нерелевантной информации, или невозврату анкет.



Также мы рассмотрели примеры, когда замешательство респондентов провоцируется намеренно с целью манипуляции результатами опроса. Среди таких манипуляций:



— предоставление иллюзии выбора;

— расстановка акцентов;

— подмена понятий;

— наводящие формулировки;

— использование эффекта привязки;

— создание потребности: 1) через информирование и любознательность, 2) через провокацию тревоги, 3) через развлекательные тесты,

— опросы со смещенной целью.



Чтобы оценить, не манипулируют ли вашим мнением исследователи, предоставляя результаты анкетного опроса, можно задать им несколько вопросов по процедуре исследования:



1. Попросите посмотреть исходный текст анкеты и попробуйте самостоятельно ее заполнить перед тем, как знакомиться с результатами (еще лучше – перед тем, как санкционировать исследование).

2. Представьте, как заполняет эту анкету ваш типичный клиент, или сотрудник (все ли термины и формулировки будут ему понятны).

3. Обратите внимание на формулировку вопросов и вариантов ответа: есть ли негативные варианты, занимают ли они равное место с позитивными вариантами.

4. Обратите внимание, нет ли в вопросах анкеты наводящих формулировок и «привязок».

5. Просмотрите, насколько однозначно и конкретно сформулированы критерии оценки в вопросах анкеты (не провоцируют ли они на «ментальную экономию» – на нейтральные, или исключительно положительные ответы). Лучший вариант – если критерии оценки сформулированы в поведенческих примерах.

6. При анализе итогового отчета обратите внимание, на основе каких вопросов анкеты построены выводы: не подменяют ли исследователи понятия, не выдают ли мнения респондентов за факты.

7. Если используется зарубежная методика (например, от известной компании), поинтересуйтесь ссылками на публикации с описанием процедуры ее перевода, адаптации и валидизации. Без этих процедур методику нельзя считать авторитетным методом исследования, независимо от статуса ее разработчика.

8. Запросите точное распределение участников опроса по группам (пол, возраст, социальный статус, или: отделы, должности), чтобы избежать перекоса выборки (подробнее об этом – в предыдущей статье о выборке).



В следующих статьях:



Ошибка 2. Формулировки вопросов: почему вы решили, что вас понимают? (2 часть)

Ошибка 3. Виды лжи в опросах: почему вы верите ответам?

Ошибка 4. Мнение не равно поведению: вы действительно спрашиваете о том, что хотите узнать?

Ошибка 5. Виды опросов: вам нужно узнать, или подтвердить?

Ошибка 6. Разделяйте и насыщайте выборку: среднее ничего не помогает понять.

Ошибка 7. Пресловутый «Net Promouter Score» – это НЕ изящное решение.
Original source: habrahabr.ru.

https://habrahabr.ru/post/308938/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Комментарии (0)КомментироватьВ цитатник или сообщество
lj_ksy_putan

Внимание! Конкурс!

Пятница, 26 Августа 2016 г. 13:07 (ссылка)

Чуть самое главное не забыла, исправляюсь.
Так как у нас с вами давно сложился такой формат общения, что я выкладываю рецепт, вы по нему готовите и показываете то, что получилось, то почему бы не сделать это на постоянной основе.

Итак, при поддержке издательства ЭКСМО (в котором, кстати, совсем скоро выйдет новая книжка с рецептами в дополнение к предыдущей) мы проводим ежемесячный конкурс в соцсетях.

Приготовь по рецепту с сайта и выиграй книгу.
И я обязательно подпишу все эти выигрышные книжки.

смотрите условия конкурса в тех группах, где вам удобнее:

Фейсбук

Вконтакт

Одноклассники

и да! Старые фотографии тоже принимаются!!!

http://ksy-putan.livejournal.com/692834.html

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
lj_ksy_putan

невысокая кухня

Четверг, 25 Августа 2016 г. 17:06 (ссылка)

Оригинал взят у laragull в невысокая кухня

когда-то давно-давно я собралась замуж - и вышла.
и когда вышла, выпросила у мамы кулинарную книжку, изданную в шестидесятые годы прошлого века - то есть в те года, когда мама уже вышла замуж, а меня еще не было вообще.

на этой книге была дарственная надпись "моей Амике в день рождения" - это папа написал, Амика - это что-то любовное означало на их с мамой тогдашнем коде.

к тому времени как выросла и в книжку стала понемногу втыкать, этот код был давно утрачен, папа деградировал в монструозного алкоголика, и мама даже удивилась, когда я показала ей надпись и спросила чо это, мол, за слово.
ну неважно.

книжка называлась просто "Кулинарные рецепты" и была бесценна, потому что там рассказывались простые вещи: как кашу варить, бульон, тесто простое делать, печенье печь песочное - словом, как начать переговоры с едой и договориться в итоге.

когда моя дочка выходила замуж, то книжка эта имела уже плачевный вид - сорок лет при регулярном листании не красят ни одну книжку, но невеста запросила себе эту книжку в новую жизнь, и я конечно обрадовалась - перемственность, все дела.

юная дочь по этой книжке всему сама научилась, с азов - я ни одного своего ребенка не учила готовить, потому что я псих,а не учитель, и благоразумные дети ко мне с этим и не совались, а научились сами.

и вот я читаю свою френдессу Оксану Путан - известного повара, и всегда любуюсь насколько же она простые рецепты сдает людям, и рассказывает просто-просто, и всякий раз думаю, что ее
вот эта книжка - она как та, с которой я начинала, когда с едой была на трепетное "Вы".

с такой книжкой ты бесстаршен на кухне, потому что она развеивает страхи на раз.

голос авторский такой там, что сразу видишь: договориться с едой просто, делаешь так, так и так - всё.

как же я люблю всё такое человечное, продуманное и спокойное.
когда человек свое ремесло прямым переливанием тебе транслирует.

http://ksy-putan.livejournal.com/692000.html

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Ошибки анкетных опросов. 1 ошибка: смещение выборки. 8 способов привлечь нужных респондентов

Четверг, 11 Августа 2016 г. 18:56 (ссылка)

В этих статьях я попыталась собрать опыт своих ошибок и находок, связанных с малозаметными ловушками в исследованиях. Обычно при обучении исследованиям много внимания уделяется выбору методологии, технике сбора данных и статистической обработке, но почти никто не говорит об организационных нюансах, которые могут извратить результаты, или полностью провалить исследование. Многие из них при прочтении покажутся вам очевидными, но для того, чтобы их подметить и начать учитывать в собственном исследовании, иногда требуются годы. Я провожу лично, преподаю и руковожу исследованиями уже больше 15 лет. Часто встречаясь с бизнес-исследованиями в ИТ-компаниях и видя их изнутри, я уверилась, что эти ловушки редко принимаются в расчет даже опытными исследователями.







А значит, материал будет полезен тем, кто проводит исследование пользователей (клиентов, сотрудников, учеников) с помощью анкетных опросов, кто делает это сам, или заказывает такие исследования. Для профессиональных исследователей эта статья будет представлять меньший интерес, чем для любителей.



Возможно ли исследовать потребности пользователей в опросах?



Иногда у компании возникает необходимость получить мнение пользователя о продукте (или мнение сотрудника о компании), узнать его потребности и скрытые возражения. Обычно выбирается простое решение. Составляется анкета с, казалось бы, логичными и простыми вопросами и рассылается пользователям. Вернувшуюся часть анкет математическими методами обрабатывают и принимают за репрезентативную выборку (отражающую взгляды типичных пользователей), анализируют с помощью статистики, визуализируют и готовят отчет для принятия решений и выработки стратегии. Часто ошибочный и бесполезный отчет.



Одна из самых коварных проблем таких исследований: потребности очень сложно исследовать, но почти всегда кажется, что исследование прошло удачно.



В этой и следующих статьях я расскажу про несколько типичных ошибок в исследовании потребностей пользователей и способах, которыми можно уменьшить их влияние на результаты исследования.



Ошибка 1. Смещение выборки, или кто все эти люди и почему они вам отвечают?



Все, кто когда-либо встречался с анкетными опросами, знают, что из розданных анкет возвращается только малая часть. Иногда – меньше 10%.



Способам уменьшить это зло посвящено много публикаций. В том числе, с советами по статистическому «подгону» выборки. Строго или не строго, но вернувшуюся часть анкет часто признают адеватной выборкой из генеральной совокупности (всей совокупности пользователей, мнения которых исследователь хочет изучить) и работают с тем, что есть. Иногда эта «выборочность» и вовсе незаметна – когда, например, приглашение к опросу рассылается безадресно, и откликнувшиеся пользователи считаются выборкой.



Пример. В крупной ИТ-компании (штатом в несколько тысяч) проводилось исследование удовлетворенности сотрудников работой HR-службы. Нас пригласили помочь только на этапе обработки результатов. До этого сотрудники подразделения сами составили анкету и сами запустили опрос, рассылая работникам приглашения по корпоративной почте. Они не позаботились о мотивации участников опроса и об «административном рычаге» (почти самой важной части любого организационного исследования) и просто рассчитывали на хороший отклик сотрудников. В итоге, анкеты вернулись с 15% отдачей. На анкеты отвечали, в основном, новые или совсем неопытные работники (они еще почти не сталкивались с деятельностью этого подразделения, но анкеты заполняли охотно и, как правило, выставляли завышенные баллы). Самая главная группа – руководители отделов – была представлена всего тремя (из нескольких десятков) самыми лояльными участниками. Возможность привлечь внимание к опросу была упущена, провести опрос повторно тоже было невозможно (организаторов обвинили бы в спаме). В итоге, они выбрали изящное решение – представили руководству результаты в процентном соотношении по каждой группе сотрудников, не указывая количество участников. В отчете получилось, что руководители отделов крайне удовлетворены работой подразделения. Срок жизни такого отчета – до того момента, пока руководитель не узнает, сколько человек из каждой группы реально принимали участие в опросе. Но такие вопросы задаются редко, и организационные исследования, на которые никто из сотрудников не обращает внимания, процветают.



Разберем 3 причины смещения выборки:

1) неправильный выбор канала поиска участников,

2) отзывчивость,

3) меркантильность.



1. Неправильный выбор канала поиска участников



Почти во всех учебниках по статистике вы найдете предостережение о смещении выборки, которое появляется, если вы опрашиваете, скажем, участников только одного Интернет-форума (при условии, что контингент пользователей значительно шире), или если вы проводите опрос сотрудников, находящихся в столовой в рабочее время, или опрашиваете самую доступную вам группу пользователей (например, пришедших на презентацию нового продукта): согласуются ли их мнения с мнениями остальных пользователей, или это все-таки специфическая группа? Эти предостережения – классические советы для исследователей, их наверняка многие учитывают.



Но я хочу обратить внимание на другие опасности смещения выборки – отзывчивость и меркантильность.



2. Отзывчивые враги исследователя



Ответьте честно: когда вы в последний раз были рады заполнению анкеты? Чаще всего, наверное, соглашались из солидарности, пытаясь помочь коллеге. Так вот, ваши ответы стоит исключить из выборки, как нерелевантные (вы отвечали на вопросы, как лояльный друг, или сочувствующий коллега, а не как «наивный» пользователь). В классических маркетинговых исследованиях принято после первичного анализа выборки исключать всех представителей смежных специальностей, в том числе, всех рекламщиков и маркетологов, так как их мнение считается профессионально деформированным. Кто тогда останется?

Кто все эти люди, отвечающие на наши опросы и находящие на них время? Кто в потоке около супермаркета подходит к социологу, кто открывает двери квартиры, или заполняет анкету в Интернет-опросе? Очевидно те, кого опрос волнует лично, или те, у кого полно времени, развит мотив помощи и общения и, возможно, недостаточно других интересных занятий.



Помните, в советском фильме «Самая обаятельная и привлекательная» главная героиня хочет выйти замуж с помощью подруги-социолога, специалиста по семейным отношениям. Вместе они пытаются исследовать потенциальных женихов героини и сталкиваются с их занятостью и нежеланием отвечать на вопросы. Но находится отзывчивый сотрудник, с удовольствием отвечающий на любые вопросы – совершенно не интересный невесте и исследователю респондент. Так и в жизни: в ситуации массового опроса, вероятно, мы можем не заметить, что за многочисленными ответами отзывчивых и нерелевантных пользователей мы не получили ни одного ответа от наших целевых клиентов.



В старом исследовании J.M. Darley, C. D. Batson, 1973 было показано, что даже ученики семинарии, встречая просьбы о помощи, оказывали ее значимо реже, если были заняты и спешили (например, готовились выступить на тему о добром самаритянине).







Источник: Хекхаузен Х. Мотивация и деятельность: В 2 т. Т. 2. М: Педагогика, 1986. С. 234-248 / Darley, J. M., and Batson, C.D., «From Jerusalem to Jericho»: A study of Situational and Dispositional Variables in Helping Behavior". JPSP, 1973, 27, 100-108.



А нужны нам ответы таких отзывчивых и незанятых людей? И будут ли их ответы отражать мнение типичных пользователей о нашем продукте? Они будут хвалить продукт, желая показаться хорошими, или, наоборот, критиковать его, желая привлечь к себе внимание?



Пример. Исследуя несколько лет назад лояльность сотрудников средней по размеру компании, мы обратили внимание на подозрительно позитивные, «монотонные», ответы нескольких ее сотрудников. Они первыми прислали полностью заполненные анкеты, высказывались о компании хорошо и полно, предлагали идеи и, в общем, представляли собой просто идеальных участников опроса. У нас это вызвало подозрения, которые мы смогли прояснить во время глубинных интервью. Оказалось, что сверх-отзывчивость к опросу проявили только продавцы, чувствовавшие свое шаткое положение перед приближающимся отчетным периодом. Они же и давали исключительно положительные отзывы о компании и руководстве (если бы мы взялись анализировать средние, эти отзывы существенно сместили бы общую картину результатов исследования). Один из продавцы и во время интервью расхваливал компанию и искренне признавался, что понимает, что задолжал ей, потому что не показывал результаты в течение года. Когда мы принесли отчет с предостережением для руководства, мы узнали, что «лояльный» сотрудник опередил нас, за день до этого подав заявление об увольнении.

Если портрет вашего пользователя «человек с большим количеством свободного времени, с развитой потребностью в помощи и общении», то да, можно смело использовать результаты таких опросов. Если ваш пользователь – человек занятой и рациональный, нужно дополнительно подумать, как привлечь его к исследованию. Чуть ниже я расскажу про свои находки для такого привлечения.




3. Меркантильные враги исследователя

Вторая проблема смещения выборки и получения ошибочных данных – это участие в опросах «искателей наживы».



Проблема внешней и внутренней мотивации участников опросов тоже обсуждается часто: стоит ли платить за труд, предлагать дополнительные награды и приятные бонусы клиентам, которые ответят на вопросы анкеты? В таких спорах есть четкая позиция: не вводите внешнюю мотивацию (деньги, бесплатный доступ, подарки, отгулы и др.) до тех пор, пока возможно работать с внутренней. И дело тут не в жадности. Внешняя мотивация почти всегда необратима, ее стоит считать последним отчаянным шагом.



Но смещение выборки среди реальных пользователей или потенциальных клиентов в сторону тех, кто заинтересован в оплате своего участия, – это еще малое зло. Большее зло, крайне актуальное сейчас на рынке исследований, – это когда с целью заработка люди выдают себя за ваших реальных или потенциальных клиентов, не являясь таковыми.



Сейчас многие сервисы on-line опросов предлагают услугу доступа к панели платных респондентов. Они привлекают и оплачивают труд участников исследования разными методами и остается догадываться, насколько щепетильно они относятся к таргетингу, и насколько такой удаленный таргетинг вообще выполним.





На рисунке: скриншот одного из сайтов, приглашающих активно участвовать в разных опросах.





Сомнения в чистоте таргетинга подкрепляются параллельно развивающейся волной активности со стороны участников таких опросов, размещающих советы о том, как заработать на онлайн-опросах и повысить вероятность получения приглашения (попадания в выборку). Например, советуют при заполнении анкеты написать, что у вас средний возраст, средний или выше среднего доход, вы состоите в браке, у вас есть водительские права, ребенок, вы являетесь постоянным потребителем определенных продуктов (о каких спросят в анкете – с такими и соглашайтесь) и не являетесь представителем определенной профессии (о какой спросят в анкете – ту и отрицайте). Все эти советы помогают сойти за типичного пользователя, попасть в исследование и получить деньги за участие. Представьте, какие люди зарабатывают на таких исследованиях, и какие ответы они будут давать на ваши вопросы.







На русскоязычных сайтах искателям наживы советуют выдавать себя за средних европейцев или американцев, а дальше – отвечать, как получится, даже без знания иностранного языка. Не нашими ли безработными соотечественниками и их случайными ответами определяются продуктовые стратегии западных брендов?



Мы можем игнорировать смещение выборки только в том редком случае, если для нас совершенно не важно, о каком пользователе идет речь, и нужны, например, какие-то его психофизические показатели, свойственные каждому нормально развивающемуся человеку без учета возраста и пола, или в том случае, если мы только начали тестирование продукта, и на этом этапе нам важны совершенно любые отзывы и идеи, независимо от портрета типичного пользователя. В последнем варианте имеет смысл только сбор «сырых данных» для подготовки более основательного опроса на релевантной выборке.



Как привлечь подходящих?









Чтобы не работать с «хорошей» выборкой неподходящих респондентов, мы время от времени используем такие психологические способы привлечения релевантной выборки.



Способ 1. Нужны деловые и рациональные? Мы находим для них смысл.



Чтобы человек выделил время на заполнение анкеты, ему нужно найти в этом смысл. В таких случаях мы формулируем «легенду», приглашение к исследованию так, чтобы занятой человек, не испытывающий желания нам помогать, проникся идеей важности опроса и согласился, что на него стоит потратить время.



1. Важно для него. Иногда характер исследования позволяет подобрать мотивирующие стимулы, которые касаются лично респондента.



Пример 1. Несколько лет назад нам нужно было апробировать большой психологический опросник. По нему запрещено было сообщать результаты, пока опросник не пройдет проверку. Чтобы привлечь людей, мы присоединили к нему два авторитетных психологических теста, служивших для валидизации опросника. Каждому участнику после опроса давалась подробная индивидуальная расшифровка по этим тестам, что было для них хорошим стимулом участвовать в исследовании. Некоторым региональным участникам мы приносили распечатанные результаты или даже присылала бумажные письма, потому что у них не было e-mail. Однажды на Новый год я даже получила от одной участницы открытку с поздравлением и благодарностью за результаты.



Пример 2. Мы разрабатывали методологию и автоматизировали внутреннюю ежегодную оценку персонала в одной из компаний наших клиентов. Перед тем, как предложить методологию оценки, мы провели краткий опрос и узнали у сотрудников, что больше всего в предыдущих оценках их расстраивало отсутствие обратной связи о результатах. Им сообщался общий рейтинг, или начислялись премии, но развернутый результат никто не предлагал. Автоматизация помогла нам сделать процесс предоставления обратной связи мгновенным, развернутым и направленным на развитие каждого сотрудника.



Во-первых, после ответа на вопросы анкеты о себе и о своих сотрудниках (один из этапов оценки по принципу 360 градусов) каждый участник мог посмотреть, как его оценили сотрудники и руководство (оценки были визуализированы в паутинковой диаграмме и представляли вполне наглядные результаты) – см. рисунок.








Во-вторых, после получения итоговых баллов оценки личностных качеств сотрудник мог просмотреть расшифровку качества, узнать, что значит именно его оценка, и прочитать личные рекомендации для развития компетенций – в зависимости от полученных баллов, ему предлагались советы по поведению с сотрудниками и руководсвом, или специальные тренинги и семинары (см. рисунок).







В-третьих, после прочтения рекомендаций участник мог посмотреть, какую литературу он может прочитать для развития тех качеств, которые у него были оценены недостаточно высоко. Ссылки на литературу вели в корпоративную on-line библиотеку, где сотрудники могли оценивать прочитанные книги и оставлять комментарии (см. рисунок).







Так нам удалось вовлечь сотрудников в процесс оценки, добиться быстрого заполнения on-line анкет и существенно расцветить формальный процесс оценки.



2. Важно для общества. Когда лично респондента заинтересовать не получается, мы рассказываем в приглашении, почему возникла необходимость исследования, что угрожает обществу (природе, культуре, науке и др.) и почему важно получить ответы именно такого человека, чтобы понять, как изменить ситуацию. Конечно, такие объяснения подходят только для глобальных исследований, или социально-значимых проектов.



3. Важно для вас. Пожалуй, самый слабый аргумент. Часто эгоизм исследователей вызывает раздражение. Но бывают и удачные примеры, когда исследователь объясняет свое затруднительное положение и вызывает сочувствие.



Пример 1: Я встречала похожие призывы. Обычно они срабатывают: «Я устроился на работу своей мечты. Но могу не пройти испытательный срок, если не проведу хорошее исследование клиентов. (Пишу дипломную работу / Стараюсь выиграть грант на обучение). Я очень стараюсь, чтобы исследование получилось качественным. Только никак не могу собрать нужное количество экспертов для участия в опросе. Пожалуйста, помогите мне получить работу мечты. Вам нужно ответить всего на пару вопросов, а мне это даст огромный шанс сделать что-то стоящее».



Пример 2: Однажды меня по-настоящему подкупил звонок из известной МЛМ-компании, распространяющей косметику. Девушка начала разговор такими словами: «Мы заметили, что в последнее время репутация нашей компании стала падать, и мы решили провести опрос общественного мнения, чтобы понять, что именно не нравится нашим клиентам. Не могли бы вы помочь нам и ответить на несколько вопросов, чтобы мы смогли улучшить свою репутацию и снова радовать клиентов?» Я прониклась их проблемой, готова была подробно ответить на ее вопросы. К сожалению, после этой вводной фразы девушка снова вернулась к обычным шагам телефонных продаж, и я быстро прекратила разговор.




Способ 2. Рассказываем, к чему это приведет.



Одно из самых неприятных переживаний для человека – переживание тщетности усилий. Вероятность заполнения анкет в наших исследованиях обычно повышается, если мы объясняем участникам, как будут использованы их ответы. Иногда мы честно рассказываем, что сейчас выбираем стратегию развития продукта, и будем основывать выбор на решении клиентов. Или сообщаем, что в результате исследования будет опубликован отчет с рекомендациями для всех производителей подобных товаров. Участники исследования имеют право знать, где будут использованы результаты их работы, чтобы решить, стоит ли принимать в этом участие.



Способ 3. Угадываем «внутренний» мотив.



Какие личностные мотивы клиентов могут повлиять на заполнение анкеты? Какую радость мы можем им принести?



Приведу неполный список потребностей, которые можно учитывать в приглашениях и благодарностях для участников опросов. Мы никогда не задействуем все варианты сразу. Тип опроса и особенности целевой аудитории задают и варианты привлечения респондентов. Некоторые ходы требуют от нас дополнительных усилий, но одни из них помогают привлечь участников, а другие помогают сделать их лояльными и возвратить, когда их мнение снова нам понадобится.



Потребность в развитии и самопознании – в этом случае мы гарантируем каждому участнику отчет с результатами исследования, или ссылку на его публикацию в прессе. Если у нас есть ресурсы и участники нам очень дороги, каждому из них мы составляем сравнительный отчет: как его ответы отличались от ответов большинства других участников опроса. Аппаратно организовать это не так сложно, но эффект получается хорошим.



Пример. Однажды такой ход помог нам привлечь к исследованию директоров государственных предприятий. Их желание узнать, как их мнение отличается от мнений других директоров в отрасли, стало единственным мотиватором для участия в нашем опросе. Мы получили богатую специализированную выборку, а затратили на это всего лишь дополнительный день работы недорогого ассистента и немного бумаги для отчета каждому участнику.



Потребность во власти – в этом варианте мы подчеркиваем, что ответы участника будут специально рассматриваться при принятии решения об изменении продукта, или политики компании. И обязательно обещаем выслать отчет о таких изменениях. Самое главное в таких обещаниях – потратить дополнительные усилия, чтобы выдержать их. Так мы повышаем лояльность к продукту и обеспечиваем себе участников для следующего исследования.



Потребность в принадлежности – в этом случае можно создать сообщество тестеров/ друзей / евангелистов продукта, сделать площадку для их общения, давать им привилегии в виде эксклюзивной информации, тестового доступа, тестирования новых функций. Здесь важно выбрать признак, по которому участника можно отнести в небольшую группу подобных ему пользователей: сообщить в приглашении, что этот человек был отобран в группу самых активных (или самых молодых, столичных, владеющих минивэнами, и т.д.) пользователей продукта.



Потребность в получении новых знаний (любопытство) – с этой потребностью работать просто, если в опросе принимают участие эксперты, или фанаты продукта. Опрос можно сделать развивающим, предложить уникальное тестирование новых функций продукта, сообщать в вопросах факты о продукте, или другие важные детали, скомбинировать итоговый отчет с тематической статьей, или пообещать выслать развернутый материал по этой теме, когда закончится исследование. Здесь важно избегать смещения выборки: статья, или обещание эксклюзивного материала привлечет только экспертов в этой области. Если вам нужны мнения неопытных пользователей, нужно обещать им что-то неспециализированное и развлекательное.



Потребность в восхищении (тщеславие) – эту потребность мы задействуем, когда исследуем ограниченное число экспертов. В таких случаях мы обещаем упоминание компании участника, или его имени (если это уместно) в публикации результатов отчета, включение в клуб евангелистов, или клуб рецензентов, и др. Если участников много, мы можем потратить время на именные благодарственные письма каждому из них через несколько дней после исследования, в которых еще раз подчеркиваем, как важно было именно его участие в исследовании.



Потребность оказывать помощь – довольно сильный мотиватор, его можно применять почти во всех опросах. Когда мы его используем, мы подчеркиваем сложное положение, в котором оказались разработчики, рассказываем подробнее о затруднениях (увеличилось число отказов, пользователи недовольны продуктом, но мы не можем понять, что их не устраивает, или не знаем, как сделать лучше, и потому очень нуждаемся в совете). Здесь важно не стесняться показаться в слабой позиции. Иногда компании выдумывают затруднения, чтобы вовлечь в бесплатную работу сочувствующих пользователей. Участникам исследования приятнее чувствовать себя экспертами, чем подопытными, поэтому позиция “просящего о помощи” не ослабит вас, но привлечет более мотивированных участников.



Способ 4. Придумываем нематериальный «внешний» мотив.



Предоставление скидки, эксклюзивных условий использования продукта для пользователей, часа отгула для сотрудников, и т.д. – все еще рискованные стимулы, они могут сместить интерес от заполнения анкеты на получение награды. Нематериальной наградой станет подарок в виде ссылки на интересное видео, анекдот в конце анкеты, неожиданный сувенир.



Если нужно привлечь экспертов для получения профессиональной обратной связи, в таких случаях часто используют предоставление уникального доступа к новой версии продукта, авторы книг и приложений рассылают их бесплатные версии для тестирования и рецензий. Проводятся целые кампании по привлечению ранних тестировщиков продукта. Все это служит еще и маркетинговым целям продвижения.



Способ 5. Стараемся не заигрывать с анонимностью.



Часто я слышу жалобы от сотрудников разных компаний на проводимые внутриорганизационные опросы: «Они заверяют, что опрос анонимный, но просят прислать ответы по e-mail и спрашивают мою должность, пол и возраст! Как только я это увидел, я отказался заполнять их лживый опросник».



Пример:







Источник: pikabu







Часто эта «ложь» у организаторов исследования появляется не со зла, а от желания насытить данные, сегментировать участников и сделать исследование более детальным. Так что, лучше не обещать анонимность, если респондентов можно вычислить по ответам.



В таких случаях мы либо используем максимально защищенные способы сбора ответов (конвертные исследования, анонимный опрос по ссылке), либо обещаем только такую защиту данных, которую можем выполнить сами.



Пример: Наша компания недавно стала партнером в проведении исследования лучших работодателей в Беларуси. Наш партнер, известный Интернет-ресурс о работе в ИТ, проводит это исследование среди ИТ-компаний уже несколько лет. Они выбрали такой вариант обеспечения анонимности: в исследуемую компанию приезжают сотрудницы с коробкой конвертов. Внешне конверты одинаковые, но внутри каждого находится уникальная ссылка на on-line анкету. Конверты раздаются участникам рандомно, имена участников не фиксируются и не сопоставляются с определенными конвертами. Так удается снять тревогу участников по поводу соотнесения ответов с определенным сотрудником. Уникальные ссылки на опрос нужны для того, чтобы защитить исследование от искусственных накруток со стороны руководителей компании-участника и снять подозрения сотрудников на этот счет. Конечно, остается проблема возврата анкет (здесь можно вернуться к вопросу об отзывчивости) и проблема узкого таргетирования, за которым особенно тревожные сотрудники могут заподозрить попытки их вычислить (эта проблема увеличивается по мере уменьшения размера компании, где вычислить сотрудника по полу, возрасту и должности становится просто, и для ее снижения авторы анкеты избегают слишком точных вопросов о возрасте и должности сотрудника).







На фото: коробка с анонимными конвертами для участников исследования.



Когда добиться анонимности совсем сложно, можно гарантировать сохранение данных и доступ к ним только исследовательской команды.



Пример формулировки в приглашении: «Мы гарантируем, что ваши ответы будут анализироваться совокупно с ответами остальных участников исследования, не будут рассматриваться отдельно, разглашаться или передаваться третьим лицам, не участвующим в проведении данного исследования».



Способ 6. По возможности снимаем тревогу по поводу времени.



Анкета становится более привлекательной, если она маленькая, а в введении сразу видна информация о количестве вопросов и ожидаемом времени заполнения. Если присмотреться к анкете придирчиво и переформулировать вопросы, обычно можно сократить ее в 2 раза. И еще треть вопросов – почти всю «паспортичку» – заполнить самостоятельно (если исследование не анонимное, и вы знаете данные об участнике), или дать сразу подготовленную анкету (разделить бланки / ссылки для женщин и мужчин, разных возрастных и статусных групп, и т.д.). Все это уменьшит возражения респондентов против участия в опросе.



1. Обещаем простоту сразу во введении.

Пример: «Анкета содержит 10 простых вопросов, и ее заполнение не займет у вас больше 5 минут».



2. Если вопросы требуют перехода, и участник не видит сразу, где кончается анкета, мы показываем прогресс выполнения – это увеличивает вероятность заполнения анкеты до конца.

Пример: «Вопрос 1 из 19, Вопрос 2 из 19 и т.д.», если анкета моделируется в зависимости от предыдущих ответов, пишите в заглавии вопросов: «Часть 1 из 4, Часть 2 из 4».



3. Маленькая хитрость. Если участник уже заполнил большую часть анкеты, ему жалко потерянного времени, и он, скорее всего, пройдет анкету до конца. Поэтому, в начале анкеты мы обычно помещаем легкие вопросы, которые могут максимально завлечь участника (это вопросы о самом участнике, его вкусах, но не личные вопросы и не сложные сравнения, которые могут сразу отпугнуть).



Способ 7. Устанавливаем временные границы.



Заполнение анкеты люди часто относят «на потом» и вовсе забывают. Мы считаем удачей, если получается сразу вовлечь участников в заполнение анкеты. Это хорошо проходит в организационных исследованиях, когда есть возможность пригласить участников в отдельную комнату для исследования в рабочее время, или когда руководитель выделяет сотрудникам время для заполнения анкеты.



В on-line опросах быстрого заполнения анкеты удается добиться, когда это импульсивное участие в кратком опросе. В других случаях мы дополнительно ограничиваем время и просим прислать заполненную анкету, например, до 22:00 этого дня, или до пятницы, и т.д. Иногда, если участники достаточно лояльны, ближе к истечению срока мы присылаем напоминания.



Способ 8. Развлекаем и удерживаем внимание.



Если анкета все-таки получилась большой (больше 10 вопросов), можно добавить к некоторым вопросам картинки, видео или забавные факты. Мы стараемся чередовать сложные и простые вопросы, убираем по возможности таблицы, сравнения, сложные списки, вопросы с ранжированием: их очень любят исследователи и очень не любят респонденты.



Когда у нас есть больше ресурсов, мы стараемся сделать опрос игровым и максимально визуальным. Это уже отдельная тема геймификации опросов, здесь я приведу только пару примеров из своего опыта.



Пример 1: Сейчас мы заканчиваем проект по внедрению on-line обратной связи для крупной торговой компании. Клиентов обычно очень сложно мотивировать на предоставление обратной связи, особенно, если дело касается быстрой купли-продажи. Для вовлечения клиентов в такой опрос и удержания их лояльности, мы с помощью профессионального иллюстратора визуализировали каждое правило обслуживания клиентов в положительном и негативном ключе. Получился красочный, местами шутливый, комикс с примерами хорошего и плохого обслуживания и приглашением поставить галочку по 6-балльной шкале по каждому пункту. От картинки к картинке в комиксе начинают узнаваться персонажи, поневоле клиент начинает за ними следить, у него усиливается любопытство и ожидание следующей картинки. Это вовлекает участников и страхует нас от не до конца заполненных анкет. Кроме того, для компании это – дополнительная возможность напомнить о своих стандартах обслуживания и показать заботу о клиенте.

Официальный релиз проекта состоится уже совсем скоро, поэтому, я смогу показать примеры и рассказать о результатах внедрения только в следующих статьях.



Пример 2: В компании с автоматизированной оценкой персонала, о которой я писала выше, вопрос первичного вовлечения участников мы также решили за счет визуализации. При опросе сотрудников о том, что они хотели бы поменять в оценке, мы услышали такие мнения: «Вот в Одноклассниках мне интересно ставить оценки, там я сразу вижу, кого оцениваю». Шутка шуткой, а мы решили использовать набиравший тогда силу интерес к Одноклассникам у более взрослых сотрудников компании для вовлечения их в нашу on-line оценку. При оценивании каждого сотрудника перед участником в системе появлялась карточка с его фотографией, возможностью дать быструю, или развернутую оценку, и написать личное пожелание. Эти пожелания никак не учитывались при подведении результатов оценки, но служили для вовлечения сотрудников за счет создания дополнительного канала коммуникации.








Итак, в этой статье я рассказала, какие методы мы применяем в исследованиях, чтобы вовлечь максимально релевантных участников, и не допустить смещения выборки.



Подытожу эту часть в виде краткой памятки по составлению анкеты:

1. Определите портрет целевого респондента и подумайте, что может привлечь такого человека к участию в опросе.

2. В приглашении к исследованию, вводной и заключительной части анкеты сделайте участникам предложение, значимое для их личностных потребностей (потребности во власти, любопытстве, самопознании, принадлежности, помощи, восхищении).

3. Не используйте внешнюю мотивацию на участие в опросе, если можно использовать внутреннюю.

4. Обещайте только тот уровень анонимности, который можете обеспечить.

5. Сократите анкету, насколько это возможно. Оставьте участникам на заполнение только те поля, которые вы не можете заполнить за них.

6. Старайтесь не включать в анкету сложные задания и сравнения. Расскажите участникам про простоту анкеты во введении.

7. Задайте четкие временные рамки.

8. Продумайте развлечение для участников во время и после заполнения анкеты.



В следующих частях:



Ошибка 2. Формулировки вопросов: почему вы решили, что вас понимают?

Ошибка 3. Виды лжи в опросах: почему вы верите ответам?

Ошибка 4. Мнение не равно поведению: вы действительно спрашиваете о том, что хотите узнать?

Ошибка 5. Виды опросов: вам нужно узнать, или подтвердить?

Ошибка 6. Разделяйте и насыщайте выборку: среднее ничего не помогает понять.

Ошибка 7. Пресловутый «Net Promouter Score» – это НЕ изящное решение.

Original source: habrahabr.ru.

https://habrahabr.ru/post/307620/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Комментарии (0)КомментироватьВ цитатник или сообщество
lj_ksy_putan

25-31-35-42-50

Суббота, 06 Августа 2016 г. 23:28 (ссылка)

Оригинал взят у marinara03 в 25-31-35-42-50

... что это за числовой ряд?
Это количество гостей, которых муж Коля пригласил на свой грядущий 50-летний юбилей.
Начал скромненько с двадцатипяти гостей. А потом оказалось, что гость тащит за собой другого гостя, так мы и допрыгались до пятидесяти приглашенных.
Как всегда придет кузина моего свекра Лина (93 года) и ее мрачный сын Беппе (64 годика).
Но это по ходу неизбежно.

1I563.jpg


На этой террасе на крыше дома моего примерно 170 м. кв. будем праздновать.

IMG_1537.JPG

Я старательно изучаю посты Ксюши про организацию банкетов
и про пользу пищевой пленки
Конечно, мне поможет святая женщина - моя свекровь, да ещё кое-что закажу в ресторане.
Вопщем - выкручусь.
Самое приятное во всей этой истории - про спиртное не надо заморачиваться: на 50 человек достаточно пяти бутылок вина и парочки бутылок шампанского, которое по капельке разопьют во время разрезания праздничного торта.
Хочется устроить мужу Коле праздник. Ну и вот - устраиваю.

http://ksy-putan.livejournal.com/689214.html

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
lj_ksy_putan

Пирожки.

Суббота, 06 Августа 2016 г. 21:32 (ссылка)

Оригинал взят у svetulya_69 в Пирожки.

Оригинал взят у jd_ganna в Пирожки.
Наконец-то спала жара, и уже третий день кряду дают дождь. Очень интересно дают, днём солнце, а ночью гроза. Правильная погода. В этом году, правда, у нас какая-то засада с электричеством, постоянно сидим без света. Позавчера начала отвечать на комментарии, отключился свет. Сегодня утром встали, а света нет, и починили только после обеда. Ужас, бедный холодильник!
Зато зелень вся ожила, трава выгорела вся, а уже новенькая проклюнулась. Скоро будет красота!
Помидоры, напившись дождевой воды, "трещат по швам".

Но вернёмся к еде. У нас, как видите, пирожки. С детства люблю жареные пирожки. Но! В детстве три вещи были у нас под запретом – леденцы на палочке, жевательная резинка и чебуреки или беляши. Мама никогда их не покупала, и теперь я поступаю так же.

1.jpg


Леденцы мне доставались от бабушки. Когда она по делам выбиралась из села, заходила к нам и, бывало, приносила такой леденец.
Жвачку иногда покупал папа.
А чебуреки или беляши? Ох, не помню точно, но, по-моему, мама давала слабину и покупала изредка.
Три этих сбывшихся мечты были полным разочарованием. Леденцы, эти яркие, прозрачные петушки, оказывались простым жженым сахаром.
Советскую жвачку мог разжевать только отважный пионер – дубовая была. Хотя апельсиновый вкус мне нравился, и я до сих пор отдаю предпочтение фруктовым жевательным резинкам.
С жареными пирожками та же фигня. Невероятно мизерная непонятно из кого-чего сделанная начинка, непонятно на каком масле всё это жарилось. Как результат, не проходящая полдня отрыжка.
Леденцы и жвачку я ещё не освоила, а вот пирожки иногда случаются.
Эти промелькнули в ленте дважды. У Оксаны Путан ksy_putan, а потом у Марины magdacook.
Рецепт действительно простой, но тесто получается сладковатым, учитывайте это. Начинки у нас были картошка и творог с укропом и луком. Сладость мешала.

2,5 ст. муки,
1 ст. воды (30-40С),
2 ст. л. сахара,
2 ст. л. растительного масла,
2 ч. л. сухих дрожжей,
1 ч. л. соли.

Воду вылить в миску, добавить сахар, сухие дрожжи, соль. Размешать. Добавить два с половиной стакана муки, размешать тесто вилкой (или ложкой). В конце влить растительное масло. Перемешать так, чтобы все продукты смешались, не до гладкости. Миску с тестом накрыть полотенцем, оставить на 20 минут.
Через 20 минут вымесить тесто до гладкости, оставить при комнатной температуре на 1 час.

Тем временем приготовить начинку.
Картофельная начинка.
Варёный картофель натереть на тёрке, посолить, поперчить, заправить растительным маслом.
Творожная начинка.
В творог добавить яйцо, тщательно перемешать. Посолить, добавить нарезанный укроп и зелёный лук, перемешать.

Подошедшее тесто выложить на смазанную маслом поверхность, разделить на 12 частей.
Сковороду поставить на сильный огонь, прогреть 1 минуту. Влить масло на высоту 1 см. Начинать руками формовать пирожки. Я растягивала кусочки теста на столе, выкладывала начинку, защипывала края. Оксана советует формовать пирожки поэтапно: пока первые 4 пирожка жарятся, формовать следующие и т. д. Это очень удобно!
Жареные пирожки для удаления лишнего масла выкладывать на бумажные полотенца. Готово!

2.jpg3.jpg

Приятного аппетита!


http://ksy-putan.livejournal.com/689007.html

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

[recovery mode] Пять практик для организации непрерывного обучения в команде

Четверг, 04 Августа 2016 г. 15:26 (ссылка)

Непрерывное обучение — для ИТ-компаний не роскошь, а средство выживания. Чтобы выдерживать конкуренцию, командам приходится быстро и регулярно обновлять свои навыки в соответствии с изменениями рынка. Конечно, можно поощрять повышение квалификации каждому сотрудника по отдельности, и это дает свой эффект. Однако рано или поздно растущие компании сталкиваются с тем, что нужно привести к унифицированному виду процессы обучения, чтобы сделать их эффективнее, и осознанно пропагандировать их важность среди сотрудников.



Это как раз случай Wrike. За последние полгода компания выросла в три раза, в продукте появилось много новой функциональности, и нам пришлось сесть и досконально продумать, как мы видим обучающие процессы в команде, чтобы не пускать их на самотек. Наш опыт мы обобщили в пять основных практик, о которых и хотим рассказать.











1. Onboarding новичков

Это первый и, возможно, самый важный этап непрерывного обучения. Быстро прибывающие новички привели нас к тому, чтобы разработать и внедрить единый процесс вводного курса (onboarding). Тут еще важно, что мы сами в компании управляем рабочими процессами через Wrike, поэтому было важно объснить все нюансы использования сервиса, до того как человек приступил к работе.



Сейчас активное обучение занимает около недели для обычных сотрудников и три месяца для команды поддержки, от которой требуется доскональное знание продукта. В идеале такой тренинг включает в себя игровую форму, разные форматы обучения (поскольку разные люди предпочитают разные формы восприятия информации) и посвящен не только продукту или рабочим обязанностям, но и созданию неформальных связей с командой.



Сегодня onboarding в Wrike строится из таких элементов.




  • Прохождение квеста для новых пользователей внутри продукта с просмотром обучающих видео и выполнения базовых действий.

  • Просмотр вебинара на тему, как устроен Wrike и посещение тренинга, на котором мы рассказываем о том, как используем сервис внутри компании.

  • Global onboarding, где руководители рассказывают о своей роли в компании и о том, каким они видят ее развитие. В нашем случае распределенной по всему миру команды особенно важно, чтобы у сотрудников в разных странах было единое виденье продукта и его целей.

  • Завтрак для новичков, где старые и новые участники команды могут познакомиться и больше узнать о том, кто чем занимается. Обычно мы стараемся приглашать сотрудников из разных отделов, чтобы между ними сложились неформальные связи.





2. Среда развития

Горизонтальное и вертикальное развитие внутри компании выгодно всем. Компания экономит силы и ресурсы на поиск новых сотрудников и получает специалиста, знакомого со спецификой работы, а сотрудники больше заинтересованы в том, чтобы учиться и оставаться на одном и том же месте работы. В конечном счете эффективная учеба возможна только при хорошей мотивации и понимании, как применить полученные знания. Поэтому на роль руководителей команд и отделов в Wrike в первую очередь рассматриваются кандидатуры тех, кто уже работает в компании, что позволяет сохранить уже налаженные связи внутри команды. У нас есть пример того, как человек, который устроился к нам пять лет назад как специалист поддержки, с нуля создал и сегодня возглавляет отдел аналитики в Wrike.



Конечно, лидерство требует отдельного набора навыков, помимо профессиональных. Мы отдельно заботимся об обучении руководителей, спикеров на конференциях и тех, кто проводит собеседования — для них разработана система внутренних тренингов, которая помогает развить соответствующие soft skills.



3. Обратная связь

Обратная связь дает возможность увидеть свои «слепые места» и по-новому взглянуть на качество своей работы и роль в коллективе. В Wrike регулярно используются три типа обратной связи:


  • Ежемесячные встречи 1:1 с руководителем, во время которой сотрудник получает фидбек по поводу своей работы и может рассказать о своих трудностях и пожеланиях. По сравнению с командными совещаниями такие встречи укрепляют личное взаимодействие.

  • Peer review – оценка задачи (части кода, маркетингового текста, элемента дизайна) коллегой, который дает фидбэк и предлагает возможности по улучшению. Поскольку это обмен мнениями между равными сотрудниками, то эта обратная связь необязательна к выполнению, и конечное решение остается за исполнителем задачи. Такой подход позволяет собрать несколько мнений и избавиться от субъективности, которая может заметно влиять, например, при подготовке маркетинговых материалов.

  • Review 360 — метод оценки сотрудников, который производится всем его рабочим окружением. Два раза в год мы рассылаем анонимные анкеты с вопросами о работе руководителей команд их подчиненным, начальникам и коллегам. Этот метод направлен на то, чтобы оценить профессиональные навыки, выявить проблемные моменты в командном взаимодействии и рассказать о положительном опыте работы с этим человеком. Ответы на открытые вопросы помогают понять, как человек действует, будучи в разных ролях в команде.





4. Общая база знаний

В любой компании накапливается большой объем актуальной информации, которую нужно хранить в открытом доступе для команды — от популярных Q&As до списка используемых приложений и описания рабочих процессов. Возникает вопрос, как это лучше структуриовать. В Wrike каждая команда создает собственную базу знаний в удобной для себя форме — это может быть папка со списком задач в системе, набор презентаций или коротких обучающих видео. Кстати, это значительно ускоряет введение в курс дела новых людей, поэтому знакомство с такой базой тоже может быть частью вводного курса.



5. Обмен опытом между отделами

Чем больше разрастается компания, тем хуже у сотрудников представление о том, что происходит за пределами их отдела. Между тем, если налаживать связи между отделами, можно найти новые и оригинальные способы взаимодействия и решения проблем. В Wrike мы используем несколько форматов.



Во-первых, есть командные завтраки, на которых каждый из отделов по очереди рассказывает о своей работе в игровой форме. Привлекать максимальное число людей можно любыми способами — от проведения аукциона до угощения шампанским.



Во-вторых, выездные сессии два раза в год — в январе и в июле — помогают подвести итоги полугодовой работы. Их программа состоит из выступлений и руководителей, и сотрудников, так что можно получить полное представление о том, чем занимались разные команды за год. Поскольку команда Wrike распределена между странами, одну из сессий традиционно стали проводить в Мексике, а другую в России. Возможно, в скором времени сюда добавится и Дублин, ведь помимо обмена успехами, это прекрасный повод познакомиться с коллегами из других офисов.



И, напоследок, хочется рассказать про хакатон — успешный эксперимент этого года. Около 100 добровольцев из разных отделов объединились в 20 команд и в течение суток работали над созданием прототипа для любой идеи, которая помогла бы нам значительно увеличить клиентскую базу. Как правило, такая команда представляла собой кроссфункциональную группу из разработчиков, дизайнеров и маркетологов, а дух соперничества и ограничения по времени значительно способствовали сближению сотрудников и освоению новых знаний. О работах победителей рассказывать не будем, вероятно, они найдут отражение в функциональности Wrike в самом скором будущем.
Original source: habrahabr.ru.

https://habrahabr.ru/post/307042/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
Столбунец_Лидия

Без заголовка

Вторник, 26 Июля 2016 г. 18:33 (ссылка)
ecovita-company.ru/


ГЛАВНАЯ,О КОМПАНИИ,КАТАЛОГ ПРОДУКЦИИ,ПОЛЕЗНАЯ ИНФОРМАЦИЯ,ДОСТАВКА И ОПЛАТА,ОБРАТНАЯ СВЯЗЬ,

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
kseniasamohina

Зачем нужен свой личный сайт современному человеку

Воскресенье, 24 Июля 2016 г. 19:59 (ссылка)
md-eksperiment.org/post/201...-cheloveku

Блог - один из самых популярных типов сайта. Его сущность кроется в публикации новостей, которые будут отображаться в хронологическом порядке. Изначально блоги использовались для того, чтобы поделиться своими мыслями
Комментарии (0)КомментироватьВ цитатник или сообщество
bnkp

Зачем нужен свой личный сайт современному человеку

Воскресенье, 24 Июля 2016 г. 19:51 (ссылка)
md-eksperiment.org/post/201...-cheloveku


Блог - один из самых популярных типов сайта. Его сущность кроется в публикации новостей, которые будут отображаться в хронологическом порядке. Изначально блоги использовались для того, чтобы поделиться своими мыслями

Комментарии (0)КомментироватьВ цитатник или сообщество
Понтифик_Иванов

Зачем нужен свой личный сайт современному человеку

Воскресенье, 24 Июля 2016 г. 19:50 (ссылка)
md-eksperiment.org/post/201...-cheloveku

Блог - один из самых популярных типов сайта. Его сущность кроется в публикации новостей, которые будут отображаться в хронологическом порядке. Изначально блоги использовались для того, чтобы поделиться своими мыслями
Комментарии (0)КомментироватьВ цитатник или сообщество
Столбунец_Лидия

Без заголовка

Воскресенье, 17 Июля 2016 г. 21:21 (ссылка)
ecovita-company.ru/

ГЛАВНАЯ,О КОМПАНИИ,КАТАЛОГ ПРОДУКЦИИ,ПОЛЕЗНАЯ ИНФОРМАЦИЯ,ДОСТАВКА И ОПЛАТА,ОБРАТНАЯ СВЯЗЬ,
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
Столбунец_Лидия

Без заголовка

Пятница, 24 Июня 2016 г. 20:48 (ссылка)
ecovita-company.ru/

ГЛАВНАЯ,О КОМПАНИИ,КАТАЛОГ ПРОДУКЦИИ,ПОЛЕЗНАЯ ИНФОРМАЦИЯ,ДОСТАВКА И ОПЛАТА,ОБРАТНАЯ СВЯЗЬ,
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
Столбунец_Лидия

Без заголовка

Среда, 15 Июня 2016 г. 17:01 (ссылка)
ecovita-company.ru/

ГЛАВНАЯ,О КОМПАНИИ,КАТАЛОГ ПРОДУКЦИИ,ПОЛЕЗНАЯ ИНФОРМАЦИЯ,ДОСТАВКА И ОПЛАТА,ОБРАТНАЯ СВЯЗЬ,
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
Столбунец_Лидия

Без заголовка

Суббота, 04 Июня 2016 г. 20:58 (ссылка)
ecovita-company.ru/


ГЛАВНАЯ,О КОМПАНИИ,КАТАЛОГ ПРОДУКЦИИ,ПОЛЕЗНАЯ ИНФОРМАЦИЯ,ДОСТАВКА И ОПЛАТА,ОБРАТНАЯ СВЯЗЬ,

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
Столбунец_Лидия

Без заголовка

Суббота, 04 Июня 2016 г. 13:18 (ссылка)
ecovita-company.ru/

ГЛАВНАЯ,О КОМПАНИИ,КАТАЛОГ ПРОДУКЦИИ,ПОЛЕЗНАЯ ИНФОРМАЦИЯ,ДОСТАВКА И ОПЛАТА,ОБРАТНАЯ СВЯЗЬ,
Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество

Следующие 30  »

<обратная связь - Самое интересное в блогах

Страницы: [1] 2 3 ..
.. 10

LiveInternet.Ru Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат
О проекте: помощь|контакты|разместить рекламу|версия для pda