Страница 10 из 23
– Оценка коллег по экспертной группе. Каждому эксперту предлагается проставить балльные оценки своим коллегам по экспертной группе.
Каждый из приведенных методов оценки можно критиковать. Например, оценка коллег по экспертной группе будет точной только в том случае, если они хорошо знают друг друга и не имеют сугубо личной антипатии друг к другу. Поэтому иногда просто осуществляют тщательный отбор экспертов и считают их всех равнокомпетентными.
Для обобщения всех полученных оценок Е.П. Голубков предлагает вычислять вес эксперта по формуле:
где vi,И, vi,C, vi,O – балльные оценки, данные эксперту исследователями, проводящими опрос, балльные самооценки и балльные оценки, данные коллегами, соответственно; VИ, VC, VО – максимально возможные оценки, даваемые организаторами опроса, самооценки, и оценки, данные коллегами, соответственно.
Эта формула удобна тем, что результирующие веса находятся в пределах от 0 (совершенно некомпетентный эксперт) до 1 (максимально компетентный). Можно предложить и другие способы оценки, например, использование общей суммы баллов или среднеарифметического частных оценок[39];
3. Проведение опроса. Помимо общих требований к опросам, таких, как
– соответствие задаваемых вопросов целям исследования;
– удобство работы с анкетой;
– удобная для экспертов организация проведения опроса,
– имеется ряд правил именно для экспертных опросов. К их числу относятся:
– предоставление экспертам всей требуемой информации;
– проведение коллективных обсуждений, если это целесообразно;
– обеспечение независимости мнений экспертов;
– анонимность ответов для членов экспертной группы.
Обычно вначале происходит индивидуальный разговор с экспертами. Он имеет целью уточнить формулировку вопросов к экспертам, согласовать порядок проведения опросов.
Затем экспертам направляются анкеты с пояснительной запиской.
На последнем этапе, после получения результатов опроса проводят дополнительные индивидуальные консультации с целью уточнения данных и обоснования оценок.
Групповые встречи проводятся с целью рассказать экспертам о целях опроса и порядке его проведения, показать образцы товаров, провести предварительное обсуждение проблемы, осуществить мозговую атаку.
Определение суммарных оценок. Если используется балльная оценка (например, 5 – отлично, 4 – хорошо, 3 – удовлетворительно, 2 – неудовлетворительно), то вычисление средневзвешенной оценки вызывает некоторые сомнения, поскольку нет уверенности в том, что различные эксперты вкладывают в эти понятия одинаковый смысл. Нет уверенности и в том, что у всех экспертов разница между отлично и хорошо такая же, как между хорошо и удовлетворительно и между удовлетворительно и неудовлетворительно. Поэтому для балльных оценок следует применять такие характеристики, как моду (тогда результат экспертного опроса будет, например, таким: большинство экспертов оценивает положение в фирме как хорошее) или медиану (пример медианной оценки: медиана оценок находится между хорошо и удовлетворительно).
При получении количественных оценок применяется обычная формула средневзвешенного значения:
где Xэксп – общая экспертная оценка; vi – вес каждой оценки (значимость эксперта).
5. Оценка достоверности полученной общей оценки базируется на предположении, что достоверность достигается при согласованности мнений экспертов. Однако это не всегда так. Известны случаи, когда правильные оценки давались экспертами, не согласными с мнением большинства[40]. Еще одна проблема – заинтересованность экспертов. Любой руководитель исследовательского подразделения на вопрос, сколько времени может занять исследование, даст завышенную оценку, чтобы не быть ограниченным жесткими сроками.
Способ определения устойчивости оценок (повторяемости оценок при повторной экспертизе) применяется достаточно редко из-за организационных и финансовых трудностей, связанных с проведением повторных экспертиз.
6. Для оценки согласованности экспертных оценок применяют коэффициент конкордации или ранговой корреляции, о которых будет рассказано в разделе "Анализ данных".
Таким образом, получение экспертных оценок – достаточно сложная процедура, которая, однако, позволяет получить более или менее точные решения плохо формализуемых задач.
3.2. Описательные исследования
Цели и принципы описательных исследований
Описательные исследования могут проводиться с целью:
– описать характеристики определенной группы, например, "среднего пользователя" – его доход, возраст;
– оценить долю людей, которые ведут себя определенным образом (например, делают покупки преимущественно в супермаркете), среди всей совокупности;
– сделать специальный прогноз, например, каким образом лучше продавать конкретный товар.
Теперь стало понятно, что деление исследований на поисковые и описательные не идентично делению на количественные и качественные, хотя обычно поисковые исследования – качественные, а описательные – количественные.
Описательные исследования не сводятся к сбору данных и фактов. Факты – обычнейшая, дешевейшая и бесполезнейшая вещь, считают маркетологи. Любая анкета дает сотни и тысячи фактов в день. У фактов появляется смысл только тогда, когда из них формулируются полезные знания.
Таким образом, задача состоит в объяснении фактов, их осмыслении. Поэтому до начала исследования необходимо некоторое априорное знание, гипотеза, которая и должна определять направление исследования.
Пусть открылся новый магазин и требуется узнать отношение к нему среди посетителей. Исследование должно быть спланировано так, чтобы были четко определены ответы на следующие вопросы.
– Зачем нужно исследование?
– Для организации рекламной кампании? Тогда важно, как именно покупатели узнали о магазине.
– Для поиска места нового магазина? Тогда важен район, обслуживаемый магазином.
– Что требуется узнать?
– Пол опрашиваемых?
– Их возраст?
– Их место жительства?
– Способ, которым они узнали о магазине?
– Кого спрашивать?
– Того, кто вошел? Но он, может быть, просто зашел в надежде получить бесплатный образец товара на открытии.
– Того, кто купил? Но покупка могла быть сделана только для себя лично или на всю семью.
– Когда спрашивать?
– В момент покупки?
– При выходе из магазина?
– А может быть, положить анкету в упаковку, чтобы на нее ответили дома?
– Проводить ли опрос сразу на открытии магазина или через несколько недель, когда ситуация стабилизируется[41]?
– Где проводить опрос?
– Внутри магазина?
– У входа?
– У кассы?
– При выходе?
– На улице?
– Дома?
– Как собирать информацию?
– Анкетированием? Какой из многочисленных типов анкетирования выбрать?
– Каким способом распространять анкету: давать в руки, посылать по почте, проводить интервью или телефонный опрос?
– Наблюдением?
Шаблоны таблиц результатов исследования помогут определить, какие вопросы задавать, на что обращать внимание при наблюдениях.
Например, для определения предпочтительной марки кофе, заготавливается таблица, аналогичная таблице 7[42].
39
Интересно сравнить результаты расчетов по данной формуле и по формуле среднеарифметического.
Если эксперт получил высшие оценки по всем трем показателям, то его общая оценка будет высшей при использовании обеих формул.
Если эксперт получил оценки среднего уровня по всем трем показателям, то среднеарифметическое также даст среднюю общую оценку, а формула – достаточно низкую (1/8). Последнее означает, что эксперт, не являющийся высококлассным специалистом ни с одной из трех позиций, оценивается достаточно низко.
Наконец, если эксперт получил по трем показателям высшую, среднюю и низшую (нулевую) оценку, то при использовании среднеарифметического его общая оценка составит среднюю величину, а при расчетах по формуле – нулевую. Это значит, что отсутствие компетентности по любой из оценок уничтожает ценность данного лица как эксперта.
Какой из методов оценки выбрать, зависит от конкретной цели исследования, от количества и квалификации имеющихся экспертов.
40
При описательных исследованиях, например, при определении среднего дохода жителей города по выборке, можно подсчитать доверительный интервал, внутри которого с вероятностью 95% находится истинное значение среднего дохода. Это возможно потому, что величина среднего дохода по всем жителям оценивается по некоторым их представителям и, значит, истинное значение вряд ли сильно отличается от определенного по выборке, то есть, скорее всего, лежит "где-то рядом".
Если же используются экспертные оценки, то, хотя они обычно и "собираются", "группируются" вокруг некоторого значения, говорить о том, что это значение истинно, нет никаких оснований. Случается, что это просто коллективное заблуждение.
41
Если должно учитываться распространение слухов, то следует выждать определенное время.
42
Следует обращать особое внимание на названия таблиц. Несоответствие названия таблицы ее содержанию – широко распространенная ошибка.