<<
>>

3.3. Обоснование качественного и количественного состава экспертной группы

Главное действующее лицо экспертного прогнозирования, первичный источник информации, а также важнейший фактор качества прогнозной информации – эксперт, т.е. признанный специалист в соответствующей области исследований.

Этим определяется то ключевое место, которое отводится процедуре формирования экспертной группы во всей процедуре проведения экспертизы.

На этапе формирования экспертной комиссии перед администрацией экспертизы стоит две основные задачи: обоснование количественного и качественного состава группы экспертов.

Для решения этих задач существенными будут ограничения, обусловленные, с одной стороны, характером решаемой задачи прогнозирования, т.е. специфика предметной области, период упреждения прогноза, специальные требования к индикаторам качества прогноза, степень уникальности решаемой проблемы, наличие информационной базы по проблеме и т.п. С другой, существующая система материальных, финансовых, временных ограничений. В дальнейшем мы не будем их учитывать, однако понятным образом именно они подчас и диктуют окончательное решение задачи комплектации группы.

Перед тем, как остановиться подробнее на изложении некоторых формализованных методов обоснования качественного и количественного состава экспертной группы, сформулируем перечень требований традиционно предъявляемых к кандидатам для включения в нее [3, 4, 11-13, 21]. Они сводятся к тому, что эксперт a)

должен быть признанным специалистом в соответствующей предметной области и обладать успешным опытом прогнозирования в ней; b)

позитивно использует любую дополнительную информацию по проблеме; c)

в ходе тестирования подтверждает стабильность и транзитивность своих оценок во времени; d)

в ходе тестирования демонстрирует малую дисперсию ошибок.

Не следует также забывать, о различных формах работы по извлечению информации. В этой связи не менее, а иногда и более существенную роль начинают играть такие характеристики субъектов прогнозирования, как степень креативности, конформизма, коллективизма, прагматизма, аналитичности, интуиции и т.д.

и т.п.

Давая общую характеристику формализованным процедурам поддержки решений по составу группы экспертов с использованием методов количественного анализа, следует отметить, что принципиально существует два фундамента, на которых осуществляется выстраивание всей процедуры отбора - алгебраический и статистический. Эти подходы до некоторой степени альтернативны и отражают принципиальную разницу между двумя типами задач, решаемых в ходе экспертизы. Это ранее уже нами упомянутые задачи с «достаточным» и «недостаточным» информационным потенциалом.

Статистический подход применим лишь в том случае, если мнения всех экспертов рассматриваются как равноправные, а среднегрупповое мнение признается близким к истинному. Алгебраический подход допускает возможность существенного расхождения между истиной и формально усредненной оценкой. Это отличие характера решаемых задач, а, следовательно, подходов к их решению отражает существенное содержательное отличие в понимание термина «качество эксперта», определяет уровень заинтересованности администрации экспертизы в степени согласования интересов экспертов, выработки компромиссного коллективного решения, учете субъективности суждений эксперта.

В целом различия в характере решаемых задач сказываются на процедуре формирования экспертной группы, требуя в одном случае отбора наиболее компетентных лиц, в другом - наиболее “представительных”, т.е. в большей степени отражающих мнения, интересы определенных социально-экономических групп, институтов и т.п.

Основные практические шаги по оптимизации состава экспертной комиссии сводятся к следующему: -

определяются предварительные границы численного состава множества экспертов; -

уточняются качественные требования к экспертной группе; -

проводится стабилизация количественного состава группы с учетом требований, налагаемых на характеристику компетентности группы экспертов.

Упрощенные способы составления списков специалистов-кандидатов, неимеющие каких-либо серьезных формально-количественных обоснований, строятся, исходя лишь из принципов существующих административных взаимосвязей и предполагаемой функциональной пригодности специалистов.

К ним, например, могут быть отнесены следующие способы: метод назначений, «телефонный» метод, метод взаимных рекомендаций, метод последовательных рекомендаций, метод выдвижения научными коллективами, документационный, тестирование и др. [18-21]. Как правило, в рамках таких процедур одновременно осуществляется обоснование как количественного, так и качественного состава группы.

Не останавливаясь подробно на расшифровке понятия «качество эксперта», «компетентность эксперта», примем за исходный тот факт, что для начала они могут заменяться такими показателями, как количество ранее проведенных успешных экспертиз, длительность знакомства с данной предметной областью (стаж работы в области, в должности, количество публикации по проблеме и т.п.), коэффициент цитируемости и т.д. Названные параметры могут служить как для обозначения начальных координат поиска, так и с целью выделения «генеральной совокупности» экспертов.

Оценка количественного состава группы экспертов

Качественные и количественные параметры состава экспертной группы всегда взаимосвязаны, что нередко отражается в конкретных методиках подбора экспертов. Это объясняется тем, что в конечном итоге определяющий критерий обоснования численности - это, прежде всего достижение высокого качества прогноза, генерируемого в результате индивидуального или же группового оценивания. А качественный экспертный прогноз возможен лишь при условии априорно высоких качественных параметров привлекаемых к его разработке специалистов по исследуемой проблеме.

На практике аналитики обычно используются два основных подхода при обосновании численности и качественного состава членов экспертной группы. Условно их можно разделить на статистический и эвристический с элементами количественного анализа. Ниже приводятся методы расчетов, отражающих оба подхода.

1. Статистический подход.

1.1.  В качестве базы обоснования объема репрезентативной выборки экспертов можно воспользоваться некоторыми результатами теории вероятности при различных условиях генерирования случайной величины [1].

В частности полезным может оказаться следствие из различных форм закона больших чисел, в частности из неравенства Чебышева

, где

- тестовое значение дисперсии оценок экспертов;

- предельная априорно задаваемая ошибка оценивания;

- вероятность совпадения (точнее – не меньше) истиной оценки с усредненной по группе.

1.2.  Использование результатов прикладного статистического анализа. Осуществляется кластерный анализ ответов экспертов (объединение экспертов, имеющих близкие оценки, в одну группу либо высокие показатели межклассовых расстояний) по всем оцениваемым вопросам экспертизы. В группу отбираются эксперты, ответы которых дают оптимальное значение по выбранному критерию качества кластеризации [2], например минимум среднеквадратического отклонения их ответов по тестовому множеству от среднего арифметического их групповой оценки. В том случае, если эксперты дают оценки в метрической шкале, то среднеквадратическое отклонение находится по формуле

,

где xij- оценка i-го эксперта по j-у вопросу, причем , .

2. Эвристический подход.

Примером эвристической процедуры обоснования численности экспертной группы можно привести метод “снежного кома”. Его формальное описание следует ниже.

2.1. Пусть М0 – исходное множество экспертов, известных заранее. Осуществляется последовательный опрос специалистов из первоначального множества М0 с целью выявления всего множества экспертов компетентных по данному вопросу. Первый опрошенный из них называет m1(1) новых лиц, после чего кандидатов становится М0 + m1(1). После опроса любого k-го лица из М0 выявленных лиц станет , а в итоге всего первого тура опроса выявляется () потенциальных претендентов на включение в экспертную группу, где М1 - число новых лиц, названных в ходе первого круга опроса, его можно представить в виде следующей суммы: . В общем виде, число ранее не названных потенциальных кандидатов за r итераций опроса составит человек.

Очевидно, что необходимо выявить компромисс между желанием достичь идеально полного списка и нежеланием расходовать излишне много времени и средств на полный перебор и оценку потенциальных кандидатов.

Для чего предлагается построить стохастическую модель рассмотренного ранее процесса на основе данных о потенциальном множестве экспертов, выявленных к окончанию какого-то тура опроса. Основной момент, который следует учесть при этом, что любое множество экспертов конечно и, начиная с какого-то момента, упоминаемые специалисты будут повторяться [25].

Обозначим как (N+1) - число всех кандидатов, которые могли бы быть признаны в качестве экспертов, оно заранее неизвестное.

М0 - число априорно известных кандидатов.

m- число лиц, называемое каждым опрашиваемым кандидатом; m?- число новых, не входящих в ранее названное множество М0 - лиц, названных каким-либо опрошенным. Допустим, что каждый опрошенный из М0 называет m неизвестных ему лиц из N.

Рассмотрим случай полной неопределенности, т.е., когда опрошенный с равной вероятностью называет любые m лиц из N. При этом m? - случайная величина, принимающая значения от 0 до m.

Как следует из комбинаторных соображений, вероятность того, что какой-то опрошенный из М0 назовет l новых, ранее не упомянутых лиц, можно оценить как , где l=, а С - знак оператора сочетания.

Следует отметить, что представляет собой гипергеометрическое распределение, из чего легко можно получить математическое ожидание m? и другие моменты. В этом случае математическое ожидание случайной величины m? определяется как ?(m?)=m(N+1-М0)/N. С целью получения искомой оценки можно приравнять математическое ожидание числа ранее не упоминавшихся кандидатов к выборочному среднему по данным первого тура опроса исходного множества кандидатов М0, тогда:

,

где - булева переменная, принимающая значение 1, если i-й кандидат из исходного множества М0 называет лицо, ранее не входящее в М0 , 0, в противном случае.

Отсюда следует, что исходное множество потенциальных экспертов по проблеме («генеральная совокупность») может быть оценена как . Следовательно, искомая приближенная оценка возможного числа кандидатов на единицу больше и равна .

При использовании на практике найденного числа в качестве обоснования количества членов экспертной группы необходимо иметь ввиду его приближенный характер.

Следует разумно соотносить число реально доступных специалистов компетентных в соответствующей предметной областью с теоретически возможной величиной и, приняв во внимание затраты на новые туры опроса, решить, начинать ли следующий цикл опроса.

2.2. Определение верхней и нижней границ численности специалистов, входящих в группу экспертов, может строиться и на основе некоторых разумных гипотез. В том числе, относительно требований, предъявляемых к специалистам в данной предметной области. В качестве примера могут быть приведены следующие рассуждения [16, 18].

С одной стороны число человек, входящее в экспертную группу должно быть таким, чтобы удовлетворялось условие достаточной средней компетентности по группе, т.е. , где К – усредненный минимально допустимый уровень компетентности по группе в целом (может иногда определяться в долях от максимально возможного (Кmax), например, К = 0,85Кmax ; k(n) –средний уровень компетентности на n-й итерации процедуры, т.е. при включении в группу n-го эксперта, следовательно, , где кi - коэффициент компетентности i-го эксперта.

Таким образом, необходимое (n*), обеспечивающее требуемый качественный уровень, число экспертов можно оценить из условия выполнения соотношения вида . Однако приведенное условие является не достаточным, для однозначного определения численности группы, так как при этом должно соблюдаться условие устойчивости средне группового мнения. С целью установления этого факта проводится дополнительное тестовое исследование, призванное итеративно отыскать такое множество из s экспертов, чтобы выполнялось следующее неравенство:

, где М(s) - среднее значение тестовой оценки, выдаваемое группой из s экспертов, а М(s1) - новое среднее значение при включении или исключении в исходную группу 1 человека. Т.е., s определяет такое количество специалистов, когда включение или исключение человека из экспертной группы не влияет на общую групповую оценку.

Таким образом, исходя из данного обоснования, окончательно количество человек в группе может быть найдено из условия . Где нижняя граница численности группы может задаваться директивно, например, из опыта, либо некого норматива, а может исходить из использования неких рекомендуемых [17] эмпирических формул расчета минимального числа экспертов, например: .

Заметим, что независимо от метода, используемого для подбора группы экспертов, возникает вопрос о ее составе. Считается, что в группах с однородным составом (по образовательному, должностному, возрастному, профессиональному статусу) бывает меньше расхождений между экспертами, быстрее происходит процесс согласования группового решения. В группах со случайным подбором кандидатов, как правило, эксперты приходят к согласованному мнению не так быстро, зато вырабатывают более широкий диапазон альтернатив и допускают меньше ошибок. В этой связи особое значение уделяется количественным методам обоснования процедур выявления необходимых качественных кондиций экспертной комиссии.

Оценка качественного состава группы экспертов

После определения численности экспертной группы администрация экспертизы приступает к непосредственному подбору ее состава, имея ввиду, что высокий индивидуальный качественный уровень специалиста является определяющим априорным фактором получения высококачественного прогноза.

Оценка качества потенциального эксперта представляет собой очень сложную и многогранную проблему хотя бы в силу того, что не всегда просто для решения конкретной задачи определить само понятие качественный эксперт. Рассмотрению этой проблемы посвящено значительное количество специальной литературы [3-8, 11-13, 21, 22]. Анализ источников позволяет предложить общую классификацию способов оценивания индивидуальных характеристик специалистов с точки зрения потенциальных возможностей для признания их пригодности с целью включения в экспертную группу. Общее условное представление способов оценки качества экспертов схематично отражено на рис. 9. Следует отметить допустимость пересечений представленных методов оценки, что в общем случае не приветствуется.

Процедура подбора экспертов может носить более или менее объективный характер и основываться как на качественной, так и на количественной информации. В одном случае основой процедур отбора могут стать разного рода тесты, изучение официальных документов или проверка эффективности прежней деятельности специалистов в роли экспертов и т.п. Более субъективным может считаться подход, связанный с использованием самооценки, а также различных схем взаимооценивания специалистов соответствующей предметной области. Кроме того, сам показатель качества может нести как некое существенное конкретное свойство специалиста (примеры приводились ранее), так и выражать степень их интегрированного присутствия у рассматриваемого субъекта в форме специальных обобщающих коэффициентов.

Однако принятие конкретного окончательного решения по способу качественного оценивания эксперта следует, на наш взгляд, принимать, исходя из подтверждения, с одной стороны, наличия ранее определенных характеристик «идеального» эксперта, а с другой, исходя из характеристики информационного потенциала решаемой проблемы.

В качестве примеров приведем некоторые способы индивидуального оценивания, основанные на использовании методов количественного анализа качественных характеристик эксперта.

1.  Коэффициент компетентности эксперта на основе результатов его прошлой деятельности.

Индивидуальная априорная оценка компетентности эксперта является, пожалуй, самой естественной формой отражения индивидуального качества соискателей. Она производится по формуле Qq = ,

На основе метода парных Интегральный метод

сравнений

Методы оценки

С использованием бальных Методы оценки воспроизводимости

шкал противоречивости

Методы оценки

С использованием вербально- Методы оценки коньюктурности

числовых шкал достоверности и конформизма

эксперта

С использованием вербальных Методы оценки экспертов

шкал по отклонению от результиру- Методы тестового

щей оценки самооценивания

Дифференциальный метод _ На основе коэффициентов

согласия

Методы подпроблем

Методы социометрического

опроса

Методы усреднения

Рисунок 9. Методы оценки качества эксперта

где Nc - число случаев, в которых прогноз, проведенный данным экспертом по проблеме, признан удачным (была получена точная оценка);

N - число случаев участия в экспертизе.

2.  Интегральная оценка коэффициента компетентности на основе документационного подхода [17] может осуществляться следующим образом:

, где

kj – документально подтвержденная оценка специалиста по его j-й характеристике;

- максимально возможная оценка по j-й характеристике;

q – самооценка специалиста по проблеме в целом;

- максимально возможная оценка по проблеме в целом.

3.  Оценка компетентности эксперта на основе коэффициента непротиворечивости (Qc).

Одним из существенных требований к «качественному» эксперту является выполнение свойств стабильности и транзитивности его оценок во времени. В качестве критерия эффективности оценивания такого рода, в частности, предлагается использовать коэффициент непротиворечивости или как иногда его называют коэффициент совместности. Коэффициент непротиворечивости указывает долю непротиворечивых утверждений относительно максимально возможного числа противоречий, которые могут быть допущены экспертом при работе на заданном множестве альтернатив выбора. В общем виде его можно представить следующим образом:

Qc = 1 – d/dmax ( 1), где

d – количество высказанных экспертом противоречивых суждений в соответствующей экспертизе;

dmax – максимально возможное количество противоречивых суждений в соответствующей экспертизе.

Напомним, что непоследовательность суждений эксперта, выражаемая нарушением свойства транзитивности его оценок, формально проявляется в обнаружении наличия в результатах его оценок следующих суждений (более полный перечень можно, например, обнаружить в [12]). 1.

Альтернатива ai более предпочтительна, чем альтернатива aj. Альтернатива aj более предпочтительна, чем альтернатива ak, но ak более предпочтительна, чем альтернатива ai, т.е. 2.

Альтернатива ai эквивалентна альтернативе aj. Альтернатива aj эквивалентна альтернативе ak, но ak не эквивалентна альтернативе ai, т.е. .

Отметим, что первое утверждение соответствует нарушениям, допускаемым экспертом при использовании метода парных сравнений, а второе отражает нарушения свойства транзитивности при проведении процедур классификации объектов.

Непоследовательность заключений может объясняться разными причинами. Она может являться как следствием чрезвычайной сложности предметной области, в рамках которой осуществляется экспертиза, так и субъективные свойства эксперта, его осознание поставленных целей, знание предметной области, степень конъюнктурности и т.п. Задача аналитиков, оценивающих качество экспертов по данному критерию, определить индивидуальные коэффициенты совместности, оценить их допустимый уровень и если необходимо выявить конкретные причины непоследовательности выводов экспертов.

Данный способ применим на основе анализа результатов как прошлой, так и текущей деятельности субъекта в качестве эксперта по проблеме. Исходная информация может быть представлена измеренной либо в любой форме порядковой и интервальной шкал, допускающей сведение к парному измерению альтернатив, либо как результат классификации экспертом альтернатив. Таким образом, оцениваться может как качественная, так и количественная информация об объектах.

Рассмотрим случай сравнения парных альтернатив по предпочтениям [12]. Пусть рассматривается m альтернатив сравнения. В этом случае экспертом производится m(m-1)/2 парных сравнений. Результаты такого сравнения можно представить в виде матрицы парных сравнений , содержащую следующую информацию

, где 1 указывает на предпочтительность i-й альтернативы j-й, а 0 – в противном случае.

Заметим также, что иным способом отражения информации о результатах сравнения может быть их представление в виде направленного графа, в котором направление указывается от более предпочтительной альтернативы к менее. Понятно, что требование запрета на транзитивность соответствует запрету циклов в рамках графического представления. При этом в ситуации нарушения свойства транзитивности граф произвольной длинны всегда будет содержать циклы длинны 3. Обнаружение такого рода ситуаций и их относительное взвешивание и лежит в основе конкретного оценивания параметров формулы (1).

В зависимости от количества альтернатив сравнения оценка максимального числа противоречий - dmax на заданном множестве оценивается следующим образом

dmax = m(m2 - 1)/24 , если m – нечетно,

dmax = m(m2 - 4)/24 , если m – четно.

Для определения числа фактически сделанных ошибочных суждений – d следует подсчитать значения строчных сумм матрицы А, т.е. . Тогда или с учетом результатов комбинаторных вычислений, (см. например, [12]) .

Таким образом, окончательно для оценивания противоречивости суждений эксперта в случае представления результатов его работы в виде матрицы парных сравнений формула (1) примет следующий вид

Qc = 1 – 24d/(m3 - m), если m – нечетно,

Qc = 1 – 24d/(m3 – 4m), если m – четно.

Рассмотрим особенности вычисления коэффициента непротиворечивости суждений при проведении экспертами классификации альтернатив. Пусть рассматривается m альтернатив сравнения. Результаты классификации объектов оценивания можно представить в виде матрицы парных сравнений А, содержащую следующую информацию

, где 1 указывает на принадлежность i-й и j-й альтернативы одному классу объектов экспертного сравнения, а 0 – в противном случае.

Известно, что в случае представления классификационных суждений эксперта в виде неориентированного графа противоречие типа отражается на нем в форме незамкнутой цепи по тройке альтернатив, иначе говорят – вилки. Воспользуемся этим соображением. Ясно, что в этой ситуации максимально возможное число противоречивых суждений о тройках альтернатив - dmax можно свести к оценка максимально возможного количества вилок на соответствующем неориентированном графе. Тогда, исходя из результатов комбинаторных вычислений, имеем

dmax = m2(m - 2)/8 , если m – четно,

dmax = (m2 – 1)(m - 2)/8 , если m – нечетно.

Оценка числа фактически сделанных ошибочных суждений – d, полученная на основании результатов о числе вилок на неориентированном графе методами комбинаторного оценивания, проводится в соответствии со следующей формулой , где

tr(A’3) – трек матрицы A’3 , исчисляемой на основе матрицы A’, которая в свою очередь получена из матрицы А путем замены элементов aij, на 0;

zi – степень i-й вершины в графе, матрицей смежности которого является A’.

Таким образом, окончательно для оценивания противоречивости суждений эксперта в случае осуществления им классификационных суждений относительно исходного множества альтернатив формула (1) примет следующий вид

Qc = 1 –8d/(m3 - 2m2), если m – четно,

Qc = 1 – 8d/(m2 – 1)(m - 2), если m – нечетно.

Очевидно, что большее значение коэффициента непротиворечивости суждений - Qc свидетельствует о более высоком качестве специалиста, а, следовательно, его потенциальной пригодности к введению в экспертную группу. Контрольное пороговое значение коэффициента совместности обычно устанавливается с одной стороны, исходя из эмпирических данных о максимальной допустимости нарушения транзитивности оценок, полученных в ходе проведения предыдущих экспертиз. А с другой, имея в виду принципиальную допустимость такого рода логических нарушений при осуществлении прогноза в соответствующей предметной области, с учетом вероятности последствий его неосуществления.

4.  Оценка вектора компетентности экспертов на основе алгоритма решения задачи о лидере (q).

В практике оценивания качества экспертов широкое применение находят также методы взаимного оценивания потенциальных экспертов. Как правило, они отличаются процедурами проведения опросов респондентов, а также способом представления информации об объекте оценивания.

К наиболее интересным с точки зрения обоснованности результата, как, имея в виду снижение уровня субъективности, предвзятости оценки, так и увеличения степени объективизации результата на основе использования математических методов, может быть назван подход, основанный на использовании так называемого алгоритма решения задачи о лидере [3, 4]. Основой данного алгоритма является итеративное уточнение относительных коэффициентов компетентности по результатам суждений исходной группы специалистов о кандидатах на включение в экспертную группу. Непосредственно сам коэффициент компетентности представляет собой субъективную интегральную оценку одного специалиста в предметной области другим. Содержание оценки заранее должно быть оговорено администрацией проведения экспертизы. Она, например, может отражать только лишь факт признания либо нет специалиста экспертом по интересующей проблеме со стороны другого, т.е. по сути, быть бинарной переменной, принимающей значение 0 или 1. А может носить и относительный оценочный характер одного специалиста другим, например, в бальном измерении. В последнем случае желательно, хотя и не обязательно, предложить оценщикам одинаковый заранее заданный масштаб измерений.

Содержание процедуры выражается следующими действиями.

На основе предварительного анализа (возможности проведения рассматривались ранее) составляется исходный список потенциальных кандидатов на включение в экспертную группу. Специалистам предлагается высказать мнение о целесообразности (мере целесообразности) включения в экспертную группу того или иного кандидата из предварительного списка. Исходя из их суждений о допустимости включения каждого из указанных субъектов в группу, либо бальной оценке интегрального уровня компетентности эксперта следует проранжировать исходное множество специалистов в соответствии с некоторым наперед заданным критерием, например, снижением уровня компетентности. Дополнительно администрации экспертизы следует оговорить возможность оценивания на предмет включения в группу либо нет самих субъектов оценивания.

Таким образом, в результате опроса группы специалистов формируется матрица А индивидуального оценивания каждого эксперта всеми остальными. Она, например, может представляется в следующем виде.

, где 1 – признак включения i – го специалиста в группу j – м, а 0 – наоборот.

Тогда относительный коэффициент компетентности на t – ой итерации расчета можно посчитать так:

, где , , m – размер оцениваемого множества. При этом коэффициенты нормируются так, что . Таким образом, коэффициент компетентности i – го эксперта на 1 – ой итерации составит , на 2-й и т.д. В общем случае на t – ой итерации происходит вычисление общего вектора компетентности q = (qi), в соответствии с соотношением . В качестве исходного значения вектора компетентности на 1-й итерации расчетов можно принять вектор q0. Его компоненты изначально могут приниматься равновеликими, например,

Уточнение коэффициента происходит за счет «силы» мнений оценивающих специалистов, которая связана с тем, на сколько компетентными, или другими словами, пригодными к включению в экспертную группу считают их коллеги. Последовательное вычисление коэффициента приводит к довольно быстрому, обычно 3-4 итерации, схождению общего вектора компетентности к его равновесному состоянию [4, 10, 11]. В этой связи полезно уметь находить аналитически значения результирующего вектора компетентности:

при и .

Доказано, что предельные значения вектора компетентности представляют собой компоненты собственного вектора для максимального характеристического корня матрицы , который в свою очередь определяются из решения алгебраического уравнения . Получение максимального собственного числа матрицы А позволяет путем решения системы размерности (m+1)m вида

,

,

отыскать решение поставленной задачи - найти предельные значения вектора компетентности. Последнее гарантированно возможно при условии выполнения свойства неразложимости матрицы оценок А. Найденный собственный вектор q служит основанием для ранжировки группы экспертов в соответствии с заранее заданным правилом.

5. Оценка вектора компетентности экспертов (q) на основе минимизации отклонения индивидуального суждения эксперта от средне группового результата.

Данный метод оценивания позволяет извлечь сведения о компетентности экспертов на основе сведений об их априорных оценках альтернатив выбора. Результаты могу быть получены исходя как из тестовых примеров, так и на основе анализа результатов участия специалистов в более ранних экспертизах по сходным проблемам. Введем следующие условные обозначения.

- исходная матрица оценивания всех альтернатив сравнения каждым из экспертов, при этом

xij – оценка i-го объекта, сделанная j–м экспертом в интервальной шкале, где - индекс объекта сравнения, m – число объектов;

- индекс субъекта сравнения, n – число экспертов.

qt – вектор компетентности эксперта на t-й итерации расчетов;

xt – усредненный вектор групповой оценки сравниваемых альтернатив на t-й итерации расчетов;

e – вектор единичных компонент соответствующей размерности.

Коэффициенты компетентности экспертов вычисляются с помощью рекуррентной процедуры, основанной на корректировке коэффициентов компетентности в зависимости от степени согласованности оценок экспертов с групповой оценкой объектов. В свою очередь происходит итеративное уточнение группового результата оценивания альтернатив сравнения путем учета в результате оценки уровня компетентности эксперта ее выставляющего.

Тогда, исходя их сказанного, на каждой итерации расчетов процедура уточнения оценок альтернатив и специалистов могут быть соответственно записаны следующим образом:

(2);

(3).

Т.е. на начальном этапе расчетов первое приближение вектора взвешенной групповой оценки альтернатив можно оценить, как , а первое приближение вектора компетентности членов группы с учетом соответствия индивидуально определяемых оценок усредненной по группе составит , где изначально предполагается равновеликая компетентность привлеченных к работе экспертов, т.е. . Понятно, что итерации следует продолжать до тех пор пока вектора компетентности и оценок объектов соседних итераций не станут соответственно неразличимо малы. Исследования показывают достаточно высокую скорость схождения этого процесса [4]. Однако, как ранее уже упоминалось, решающую роль в возможности эффективного получения результатов итеративных вычислений играют свойства матриц первичных оценок. Не трудно заметить, что исходная процедура расчета (1-2) может быть заменена на эквивалентную, но с выполнением требования сепарирования соответствующих характеристик оценивания: экспертов и объектов сравнения, т.е. к виду:

(2’),

(3’).

В таком случае при принадлежности матриц , , полученных на основе исходной матрицы оценок X, к классу неразложимых матриц и проведении процедур нормализации векторов компетентности и групповой оценки соответственно, как и мы в праве осуществить замену соотношений (2’-3’) на соответствующие

(2’’),

(3’’).

Откуда очевидно, что в частности поиск результирующего вектора компетентности экспертов - q сводится к отысканию собственного вектора для максимального характеристического корня матрицы , который определяется из решения алгебраического уравнения . Далее, учитывая, что , из соотношения нетрудно получить значение результирующего вектора q.

Следует отметить, что бесспорным достоинством данного метода является то, что наряду с решением проблемы оценки качества экспертов мы, в рамках того же подхода, имеем возможность, одновременно обработать совокупность индивидуальных оценок и получить результирующую характеристику оцениваемых альтернатив, т.е. вектор x. Его значения могут быть найдены из решения системы

,

при наложении дополнительного условия нормировки оценок альтернатив, а также после отыскания максимального характеристического корня матрицы , который определяется из решения уравнения

.

Такой подход к оцениванию экспертной информации делает возможным использование представленной процедуры не только при работе с априорно полученными данными, но и непосредственно в ходе текущей экспертизы при исследовании задач прогнозирования с достаточным информационным потенциалом проблемы.

Проиллюстрировать выше представленные рассуждения можно с помощью следующего примера [10].

Пусть 5 экспертов (n=5) оценили два объекта (m=2):

Э к с п е р т О б ъ е к т 1 2 3 4 5 1 0,2 0,6 0,5 0.3 0,1 2 0,8 0,4 0,5 0,7 0,9

Проведем вычисление групповых оценок и коэффициентов компетентности. Средние оценки объектов первого приближения при t = 1 равны:

Вычислим величину :

Отсюда получаем коэффициенты компетентности:

Вычисляем групповые оценки объектов второго приближения, получаем вектор x2=(0,32;0,68). Величина вектор коэффициентов компетентности имеет вид q2=(0,218;0,1664;0,1793;0,1052;0,2311), соответственно x3=(0,31776;0,68224) и Видим, что значения q,?,x стабилизировались и дальнейшие вычисления бессмысленны. Таким образом, полученные вычисления позволяют сделать значимые выводы как относительно уровня компетентности экспертов, в окончательном виде его можно записать в виде следующей ранжировки экспертов R = {2, 4, 3, 5, 1}, так и относительно групповой интегральной оценки объектов сравнения X = (0,32; 0,68).

<< | >>
Источник: О.М. Писарева. Методы социально-экономического прогнозирования: Учебник/ГУУ - НФПК, М., с.. 2003

Еще по теме 3.3. Обоснование качественного и количественного состава экспертной группы:

  1. Количественные и качественные методы экономического анализа
  2. Совместный учет количественных и качественных признаков в комплексной оценке
  3. Показатели, отражающие количественные и качественные ' параметры страхования
  4. 63. Статистические и экономико-математические, количественные и качественные методы экономического анализа
  5. 3.2. Обоснование способов представления экспертных суждений
  6. Глава 9 Качественные и количественные факторы в анализе ценных бумаг и концепция запаса прочности
  7. А. Подбор экспертов и формирование экспертных групп
  8. 3.2.2. Группа методов коллективных экспертных оценок
  9. 3.2.1. Группа методов индивидуальных экспертных оценок
  10. 3.1. Особенности применения экспертного оценивания и основы методики экспертного прогнозирования
  11. Методы экспертных оценок и экспертные системы
  12. Обоснование технологии налогового контроля на основе статистического моделирования деятельности однородной группы налогоплательщиков (СМДН) как принципиально нового варианта модернизации системы налогового контроля
  13. 3 Оценка обоснованности доверия по управлению активами паевых инвестиционных фондов в России и обоснование рекомендаций по повышению эффективности их деятельности
  14. Экспертные методы Область применения экспертных методов
  15. Развитие группы. Общие качества группы
- Бюджетная система - Внешнеэкономическая деятельность - Государственное регулирование экономики - Инновационная экономика - Институциональная экономика - Институциональная экономическая теория - Информационные системы в экономике - Информационные технологии в экономике - История мировой экономики - История экономических учений - Кризисная экономика - Логистика - Макроэкономика (учебник) - Математические методы и моделирование в экономике - Международные экономические отношения - Микроэкономика - Мировая экономика - Налоги и налолгообложение - Основы коммерческой деятельности - Отраслевая экономика - Оценочная деятельность - Планирование и контроль на предприятии - Политэкономия - Региональная и национальная экономика - Российская экономика - Системы технологий - Страхование - Товароведение - Торговое дело - Философия экономики - Финансовое планирование и прогнозирование - Ценообразование - Экономика зарубежных стран - Экономика и управление народным хозяйством - Экономика машиностроения - Экономика общественного сектора - Экономика отраслевых рынков - Экономика полезных ископаемых - Экономика предприятий - Экономика природных ресурсов - Экономика природопользования - Экономика сельского хозяйства - Экономика таможенного дел - Экономика транспорта - Экономика труда - Экономика туризма - Экономическая история - Экономическая публицистика - Экономическая социология - Экономическая статистика - Экономическая теория - Экономический анализ - Эффективность производства -