<<
>>

В. Формирование правил определения суммарных оценок на основе оценок отдельных экспертов

Если имеются оценки aij событий (факторов) Сi определенные каждым nj є N экспертом, то возникает вопрос о том, каким образом могут быть получены групповые оценки событий.

В общем случае групповая оценка  ai каждого Сi события зависит от оценок экспертами этого события и степени компетентности hj, экспертов.

Степень компетентности hj, эксперта учитывает его опыт и квалификацию и является основной характеристикой эксперта, которая используется при определении групповых оценок. Поэтому

Следовательно, задание способа формирования групповых экспертных оценок состоит в определении этой функции. Причем необходимо, чтобы она была строго монотонно возрастающей по aij и hj).

Этому условию удовлетворяет множество функций. Обычно полагают, что функцию (1) можно представить как

При равной компетентности экспертов эта формула принимает вид средней оценки

В зависимости от специфики экспертного опроса, объекта исследования и используемой методики обработки экспертных данных оценки aij могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10 и от 0 до 100. Принципиальной разницы в данных шкалах нет, выбор той или иной из них во многом определяется удобством получения и обработки оценок, а также вкусом исследователя, проводящего экспертный опрос.

Для того чтобы учитывать различие в компетентности экспертов, им могут быть приписаны различные «веса», которые учитываются при определении групповых оценок. Причем значения этих коэффициентов интерпретируются как вероятность задания экспертом достоверной оценки. Тогда 0 lt; hj ? 1. Значения весовых коэффициентов могут быть использованы при построении системы стимулирования работы группы экспертов.

Например, дополнительная оплата за работу по оценке событий определится пропорционально весовому коэффициенту эксперта.

Существуют различные приемы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспертного опроса.

На наш взгляд, оценку следует строить на основе определенной шкалы, каждый балл которой определяется с помощью выбора соответствующих характеристик, оценивающих квалификацию эксперта. При этом должен быть учтен уровень квалификации эксперта в узкой области специализации, уровень теоретической подготовки, его практический опыт и широта кругозора. Перечисленные характеристики лучше всего оценивать по десятибалльной шкале, разработанной специально к конкретному экспертному опросу. Полученные характеристики следует свести в один показатель, характеризующий объективную оценку компетентности эксперта, - hj0.

Кроме того, целесообразно определить показатель относительной самооценки эксперта (субъективный показатель — hcj). Этот показатель получается следующим образом: для каждого вопроса или группы вопросов, по которым считается необходимым оценить компетентность эксперта, в таблице экспертных оценок предусматривается шкала под названием «относительная самооценка эксперта». В ней эксперту самому предлагается проставить себе балл по десятибалльной шкале, ориентируясь, к примеру, на следующие значения баллов:

10 — эксперт специализируется по данному вопросу, имеет по нему законченные теоретические или практические разработки (научные исследования, запущенные в производство технические разработки, данный вопрос непосредственно относится к области его узкой служебной деятельности);

8 — в практическом решении данного вопроса эксперт участвует, но этот вопрос не входит в сферу его узкой специализации;

5 — вопрос входит в сферу тесно связанного с его узкой специализацией направления (смежная прикладная дисциплина, смежная область практической деятельности);

3 — вопрос не входит в сферу тесно связанного с его узкой специализацией направления (например, знакомство с проблемой по литературным источникам, по работе на другом предприятии и т. п.).

В целом показатель «относительная самооценка эксперта» направлен на то, чтобы эксперт сам оценил уровень своей компетентности по заданному вопросу.

Для того чтобы шкала баллов не оказывала влияния на самооценку, в графе «относительная самооценка эксперта» можно привести перечень характеристик компетентности экспертов без проставления баллов. В этом случае эксперт должен подчеркнуть те характеристики, которые, по его мнению, определяют уровень личной компетентности. Баллы проставляются рабочей группой при анализе собранных анкет. Анкета для определения компетентности экспертов приводится в табл. 5.1.

Произведение объективного и субъективного показателей, деленное на сто, будет характеризовать компетентность эксперта по данному вопросу, т.е.

Деление на 100 нужно для приведения диапазона изменения hj, к виду 0 lt; hj ? 1. Тогда показатель компетентности эксперта можно трактовать как вероятность задания им достоверной оценки.

При неоднократном повторении опроса одним и тем же коллективом экспертов (либо устойчивым большинством) по сходным вопросам можно и необходимо на каждом новом опросе воспользоваться уже накопленными результатами для уточнения характеристик компетентности экспертов.

Кроме того, компетентность экспертов может быть определена самими экспертами. Для этого каждый эксперт, входящий в группу, задает весовые коэффициенты всем остальным экспертам, кроме себя. Далее определяется среднеарифметическая оценка компетентности каждого эксперта.

Если экспертиза проводится неоднократно одной и той же группой (или устойчивым большинством) экспертов по сходным вопросам, следует при каждом новом опросе воспользоваться уже полученными результатами для уточнения характеристик компетентности экспертов.

Практика экспертных опросов показывает, что, хотя методы самооценки недостаточны для того, чтобы служить единственным критерием оценки компетентности экспертов, использование этих методов способствует более обоснованным выбору и оценке экспертов.

Таким образом, получены данные, подтверждающие связь между средней групповой самооценкой (частное от деления суммы индивидуальных на число экспертов в группе) и точностью экспертизы [29]. На рис. 5.1 изображена кривая, показывающая зависимость между средней групповой самооценкой (у) и средней групповой ошибкой (х).

                                                      1     В     2    С      3    А       Y

Рис. 5.1. Влияние средней групповой самооценки на точность экспертизы

Между этими величинами существует обратная связь, заключающаяся в том, что средняя групповая ошибка монотонно убывает с возрастанием средней самооценки. Из этого вытекает следующий вывод. Пусть, например, группа кандидатов в эксперты со средней оценкой С разделена на две подгруппы, из которых подгруппа А имеет более высокую самооценку, чем группа в целом, а подгруппа В — более низкую. Тогда подгруппа А будет в среднем более точной, чем вся группа, а подгруппа В — менее точной.

С другой стороны, различные подходы к оценке компетентности экспертов можно рассмотреть и с иных позиций. Экспертные оценки носят субъективный характер, оценка компетентности экспертов — также. Возникает вопрос: повышает ли точность результатов экспертизы наложение субъективных оценок компетентности экспертов? Может быть, проще определять окончательные оценки без формализованного учета компетентности экспертов? Только при этом следует на этапе отбора экспертов уделить больше внимания неформальной оценке уровня их квалификации, а затем, при подведении результатов экспертизы, считать их всех равнокомпетентньми, и в качестве интегральной оценки рассматривать среднеарифметическое их отдельных оценок. Часто на практике поступают именно таким образом.

<< | >>
Источник: Голубков Е.П.. Маркетинговые исследования: теория, методология и практика. 1998

Еще по теме В. Формирование правил определения суммарных оценок на основе оценок отдельных экспертов:

  1. 6.1. ОПРЕДЕЛЕНИЕ И КЛАССИФИКАЦИЯ ОЦЕНОК В СЧЕТОВОДСТВЕ И СЧЕТОВЕДЕНИИ
  2. Анализ на основе только количественных оценок
  3. Допущения, положенные в основу перспективных оценок подушевого ВВП
  4. 7. 2. Метод экспертных оценок
  5. 13.4. Обработка экспертных оценок
  6. 13.1. Сущность метода экспертных оценок
  7. 3.2. Методы экспертных оценок
  8. СБАЛАНСИРОВАННАЯ СИСТЕМА ОЦЕНОК
  9. Изменения бухгалтерских оценок
  10. Д. Анализ и обработка экспертных оценок
  11. Метод экспертных оценок «Дельфи»
  12. Оценка точности методов экспертных оценок
- Антикризисное управление - Деловая коммуникация - Документоведение и делопроизводство - Инвестиционный менеджмент - Инновационный менеджмент - Информационный менеджмент - Исследование систем управления - История менеджмента - Корпоративное управление - Лидерство - Маркетинг в отраслях - Маркетинг, реклама, PR - Маркетинговые исследования - Менеджмент организаций - Менеджмент персонала - Менеджмент-консалтинг - Моделирование бизнес-процессов - Моделирование бизнес-процессов - Организационное поведение - Основы менеджмента - Поведение потребителей - Производственный менеджмент - Риск-менеджмент - Самосовершенствование - Сбалансированная система показателей - Сравнительный менеджмент - Стратегический маркетинг - Стратегическое управление - Тайм-менеджмент - Теория организации - Теория управления - Управление качеством - Управление конкурентоспособностью - Управление продажами - Управление проектами - Управленческие решения - Финансовый менеджмент - ЭКОНОМИКА ДЛЯ МЕНЕДЖЕРОВ -