<<
>>

ОЦЕНКА СОГЛАСОВАННОСТИ ЭКСПЕРТНЫХ ДАННЫХ

Собранные мнения экспертов обрабатываются как количественно (численные данные), так и качественно (содержательная информация). При этом используются различные способы. Необходимо отметить, что при наличии численных данных для решения вопросов, имеющих достаточный информационный материал, применяются в основном методы усреднения экспертных суждений.

Однако даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу (что нередко бывает при исследовании СУ) наряду с количественными методами обработки экспертных данных используются также методы качественного анализа и синтеза.

При этом следует помнить, что мнения экспертов часто совпадают не полностью, поэтому необходимо количественно оценивать меру согласованности мнений экспертов и устанавливать причины несовпадения суждений. Для оценки меры согласованности мнений экспертов используются, как правило, коэффициенты конкордации.

Мера согласованности определяется на основе статистических данных всей группы экспертов. Так, согласованность мнений компетентных экспертов при использовании всех указанных экспертных методов, где определяются ранги объектов, можно рассчитать, с помощью коэффициента конкордации (согласия) по формуле

W = 12 С: {К2 (Н3 - Я)],              (5.9)

где С — сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам и экспертам, т.е.:

Коэффициент конкордации может быть в диапазоне 1 gt; W gt; 0. При W = 0 согласованность мнений экспертов отсутствует, а при W= 1 согласованность полная. Согласованность вполне достаточна, если

Допустим, что по результатам работы компетентных экспертов получены определенные данные ранжирования и по ним требуется рассчитать коэффициент конкордации (данные для расчета приведены в табл.

5.10).

Коэффициент конкордации определяются следующим образом: W= (12 + 16 + 100 + 36 + 64 + 0) : [62 (5^-5)] = 0,6.

Итак, мнения экспертов можно признать согласованными, поскольку полученная величина коэффициента конкордации соответствует условию Wgt; 0,5.

При использовании экспертных методов, в которых ранги не определяются, для нахождения конкордации рассчитанные значимости объектов следует переводить в ранги. Ранг 1 приписывается объекту, у которого значимость наибольшая и т.д., в противном случае оценку согласованности мнений проводят по другим критериям согласия.

Рассчитанную величину коэффициента конкордации следует взвешивать по критерию Пирсона (X2) с определенным уровнем значимости (В), т.е. с максимальной вероятностью неправильного результата работы экспертов. Обычно задавать значимость достаточно в пределах 0,005 — 0,05.

В случае получения расчетной величины больше табличной, т.е.

Х2Расч gt; Х2табл gt; (с избранным уровнем значимости), мнения экспертов окончательно признаются согласованными.

Табличные величины X2 пюс-а, значения которых представлены в

табл. 5.11, зависят от принимаемого уровня значимости и числа степеней свободы (б), определяемого по формуле S = H - 1.

Таблица 5.11

Табличные величины критерия Пирсона Х2та6л

Уровень

значимости

(Л)

Число степеней свободы (S = Н — I)

1

2

5

7

10

15

20

25

30

0,005

7,8

13

17

30,5

25

33

40

47

54

0,025

5'

9,3

12,7

16

20,5

27,5

34

40

47

0,050

3,8

7,8

11

14

18,5

25

31

38

44

Расчетная величина Х2расч определяется по формуле

(5.12)

Таким образом, для данных приведенного ранее примера

(5.13)

При уровне значимости 0,05 табличная величина Х2табл равна примерно 9, т.е.

мнения экспертов можно окончательно признать с вероятностью 0,95 согласованными, так как Х2расч gt; Х2табл.

В случае определения несогласованности мнений экспертов по коэффициентам конкордации и соответствующей проверке его величины по критерию Пирсона экспертные опросы следует повторить. Если при использовании экспертного метода ранги объектов экспертизы не определяются, то для расчета коэффициента конкордации следует в них перевести, приписывая самому большему количеству предпочтений ранг 1, следующему по важности -2 и т.д. В противном случае согласованность мнений экспертов следует оценить по критерию согласия Д.

Обработка экспертных и социологических данных и расчеты мер согласованности требуют довольно трудоемких вычислений, поэтому при проведении сбора и обработки результатов экспертной и социологической информации следует шире использовать компьютерную технику. Возможности для этого есть, так как автоматизация проведения и обработки результатов подобного рода данных стала предметом создания ряда продуктов программного обеспечения.

Применение при исследованиях и проектировании систем УК всех рассмотренных экспертных методов, несмотря на их недостатки, достаточно эффективно. Причем наибольший эффект достигается при одновременном использовании как рассмотренных выше, так и других методов.

В составе нормативно-методической документации (НМД) систем управления предприятия целесообразно иметь документ, определяющий применение экспертных методов при проведении работ с участием экспертов.

<< | >>
Источник: Мишин В.М.. Исследование систем управления: Учебник для вузов. 2003

Еще по теме ОЦЕНКА СОГЛАСОВАННОСТИ ЭКСПЕРТНЫХ ДАННЫХ:

  1. Согласование результатов оценки
  2. 6.4. Согласование результатов оценки и выбор итоговой величины стоимости
  3. Экспертные оценки риска
  4. Методы экспертной оценки
  5. 1. Экспертная оценка (экспертиза)
  6. 1| Экспертная оценка
  7. Оценка точности методов экспертных оценок
  8. ЭКСПЕРТНЫЙ ПОДХОД К ОЦЕНКЕ ЧЕЛОВЕЧЕСКОГО КАПИТАЛА
  9. 5. ЭКСПЕРТНЫЕ ОЦЕНКИ
  10. Глава 13. Экспертные оценки
  11. Оценка и анализ ошибок экспертных исследований
- Антикризисное управление - Деловая коммуникация - Документоведение и делопроизводство - Инвестиционный менеджмент - Инновационный менеджмент - Информационный менеджмент - Исследование систем управления - История менеджмента - Корпоративное управление - Лидерство - Маркетинг в отраслях - Маркетинг, реклама, PR - Маркетинговые исследования - Менеджмент организаций - Менеджмент персонала - Менеджмент-консалтинг - Моделирование бизнес-процессов - Моделирование бизнес-процессов - Организационное поведение - Основы менеджмента - Поведение потребителей - Производственный менеджмент - Риск-менеджмент - Самосовершенствование - Сбалансированная система показателей - Сравнительный менеджмент - Стратегический маркетинг - Стратегическое управление - Тайм-менеджмент - Теория организации - Теория управления - Управление качеством - Управление конкурентоспособностью - Управление продажами - Управление проектами - Управленческие решения - Финансовый менеджмент - ЭКОНОМИКА ДЛЯ МЕНЕДЖЕРОВ -