18c0693f

Экспертные процедуры и методы суъектиынх оценок при измерении риска

3.1 Характеристика экспертных процедур

3.2 Общая схема экспертизы

3.1. Характеристика экспертных процедур

В предыдущей лекции были рассмотрены часто применяемые в практической деятельности статистические методы количественной оценки экономического риска.

Вместе с тем существуют ситуации, когда по различным при­чинам, в значительной мере в связи с отсутствием достоверной информации, использование статистического метода не пред­ставляется возможным.

В таких случаях широко применяются методы, использую­щие результаты опыта и интуицию, то есть эвристические мето­ды или методы экспертных оценок.

Особенностью эвристических методов и моделей является отсутствие строгих математических доказательств оптимальнос­ти получаемых решений. Общей направленностью этих процедур является использование человека как измерительного прибо­ра для получения количественных оценок процессов и сужде­ний, которые из-за неполноты и недостоверности имеющейся информации не поддаются непосредственному измерению.

Примерами традиционных эвристических процедур являют­ся различные экспертизы, консилиумы, совещания и т.п., ре­зультатом которых являются экспертные оценки состояния объек­та исследования.

Метод экспертных оценок находит достаточно широкое при­менение в различных областях деятельности, и на его основа­нии реализуются серьезные и дорогостоящие мероприятия. Од­ной из сфер его применения является качественный анализ и количественная оценка экономического риска.

Рассмотрим кратко характеристику экспертных процедур.

В практичесRой деятельности применяются как индивидуальные, так и групповые (коллективные) экспертные оценки (опросы).

Основными целями использования индивидуальных экспер­тных оценок являются:

- прогнозирование хода развития событий и явлений в бу­дущем, а также оценка их в настоящем. Применительно к анализу и оценке риска это выявление источников и при­чин риска, прогнозирование действий конкурентов, уста­новление всех возможных рисков, оценка вероятности наступления рисковых событий, назначение коэффициен­тов относительной важности (значимости последствия) и ранжирование рисков, выявление путей снижения риска и многое другое;

-анализ и обобщение результатов, представленных други­ми экспертами;

- составление сценариев действий;

- выдача заключений на работу других специалистов и орга­низаций (рецензии, отзывы, экспертизы и т.п.).

Достоинством индивидуальной экспертизы является опера­тивность получения информации для принятия решений и от­носительно небольшие затраты.

В качестве недостатка следует выделить высокий уровень субъективности и, как следствие, отсутствие уверенности в до­стоверности полученных оценок.

Указанный недостаток призваны устранить или ослабить кол­лективные экспертные оценки.

Процессу группового обсуждения по сравнению с индиви­дуальными оценками присущи некоторые отличительные осо­бенности: коллективные оценки, как правило, менее субъек­тивны, и решения, принятые на их основе, связаны с большей вероятностью осуществления.

Используя групповые экспертные процедуры, предполага­ют, что при решении проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, т.е. что две группы одинаково компетентных экспер­тов с большей вероятностью дадут аналогичные ответы, чем два эксперта. Предполагается также, что совокупность индивидуаль­ных ответов экспертов должна включать истинный ответ.

Можно выделить следующие типы групповых экспертных процедур:

-открытое обсуждение поставленных вопросов с последую­щим открытым или закрытым голосованием;

-свободное высказывание без обсуждения и голосования;

-закрытое обсуждение с последующим закрытым голосова­нием или заполнением анкет экспертного опроса.

Опыт показал, что традиционные методы обсуждения вопро­сов, поставленных перед группой экспертов, относящихся к пер­вому типу экспертных опросов, не всегда обеспечивают эффек­тивное достижение цели — достоверность полученных оценок.

Эти методы страдают рядом недостатков, таких, как влия­ние авторитетных и напористых участников на суждение ос­тальных и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично.

Поэтому на практике при подготовке решений по широкому кругу вопросов (в том числе по проблемам анализа и оценки риска) все большее распространение находят второй и третий типы групповых экспертных оценок.

Второй тип групповых экспертных оценок предусматривает отсутствие любого вида критики, препятствующей формулировке идей, свободную интерпретацию идей в рамках поставленной проблемы.

Такой метод обсуждения получил названия метода коллек­тивной генерации идей (по американской терминологии — метод мозговой атаки). Он направлен на получение большого количе­ства идей, в т.ч. и от лиц, которые, обладая достаточно высокой степенью эрудиции, обычно воздерживаются от высказываний.

Процесс выдвижения идей протекает в определенном смыс­ле лавинообразно: высказываемая одним из членов группы идея порождает творческую реакцию у других.

Исследование эффективности метода коллективной генерации идей показало, что групповое мышление производит на 70% боль­ше ценных новых идей, чем сумма индивидуальных мышлений.

С помощью этого метода может успешно решаться ряд задач управления риском:

-выявление источников и причин риска, установление всех возможных рисков;

-выбор направлений и путей снижение риска;

-формирование полного набора и качественная оценка ва­риантов, использующих различные способы снижения риска или их комбинацию и др.

К числу важнейших недостатков метода коллективной гене­рации идей относится значительный уровень информационного шума, создаваемого тривиальными идеями, спонтанный и сти­хийный характер генерации идей.

При использовании результатов групповых экспертных про­цедур, осуществляемых посредством открытого обсуждения поставленных проблем, следует учитывать такое явление как сдвиг риска.

Феномен сдвига риска означает, что после проведения от­крытой групповой дискуссии возрастает уровень рискованности принимаемых решений.

Существует ряд гипотез, объясняющих это явление — диф­фузия ответственности, ознакомления, лидерства, изменения полезности, риска как ценности и др.

В настоящее время наиболее распространенным объяснени­ем явления сдвига риска является использование гипотезы риска как ценности. Она исходит из идеи, согласно которой люди ценят риск, и в групповой ситуации многие из них, в том числе и так называемые осторожные индивиды, стремятся повысить свой статус в группе. Поэтому в условиях групповой дискуссии они меняют свои оценки в сторону большего риска с целью создать о себе представление как о людях решительных, способ­ных и умеющих рисковать. Таким образом, данная гипотеза ис­ходит из того, что сотрудники стремятся рисковать не меньше, чем другие члены коллектива. Если у конкретного члена группы уровень предпочтения риска оказывается значительно ниже сред­него для группы, то это может вызвать у него беспокойство и опасения по поводу того, как к этому отнесется группа.

Третий тип групповых экспертных оценок — закрытое об­суждение поставленных проблем- позволяет в значительной степени устранить указанные выше недостатки первого и второ­го типов экспертных процедур.

Примером экспертных процедур третьего типа может быть метод Дельфи — по имени греческих дельфийских оракулов.

В методе Дельфи сделана попытка усовершенствовать груп­повой подход к решению задач прогноза или оценки путем вза­имной критики субъективных взглядов, высказываемых отдель­ными специалистами, без непосредственных контактов между ними и при сохранении анонимности мнений или аргументации в защиту этих мнений. Это позволяет исключить влияние автори­тетных и напористых участников на суждение остальных, а также уменьшить или исключить явление сдвига риска.

Метод Дельфи предусматривает проведение экспертного опроса в несколько туров.

Во время каждого тура эксперты сообщают свое мнение и дают оценку исследуемым явлениям. При обработке информа­ции, полученной от экспертов, все оценки располагают в порядке N1, ..., Nm их убывания, затем определяют медиану (М) и квартили (Q1, Q2), которые разбивают все оценки на четыре интервала, как показано на рис. 3.1.



Экспертов, чьи оценки попадают в крайние интервалы (не лежат внутри диапазона Q1 - Q2), просят обосновать свое мне­ние по поводу назначения ими оценок. С их обоснованием и выводами, не указывая, от кого они получены, знакомят ос­тальных экспертов.

Подобная процедура позволяет специалистам изменять в слу­чае необходимости свою оценку, принимая в расчет обстоятель­ства, которые они могли случайно упустить или которыми пре­небрегли в первом туре опроса. Благодаря этому результаты вто­рого и последующих туров опроса дают, как правило, меньший разброс оценок.

После получения оценок второго тура снова рассчитываются медиана и квартили.

Этот процесс продолжается до тех пор, пока продвижение в направлении повышения совпадения точек зрения не становит­ся незначительным. После этого фиксируются расходящиеся точ­ки зрения.

Метод Дельфи наиболее целесообразен при количествен­ных оценках отдельных рисков и всего проекта в целом — опре­делении вероятности наступления рисковых событий, оценке величины потерь, вероятности попадания потерь в определен­ный интервал и т.п.

Учитывая большую условность метода экспертных оценок, неко­торые специалисты относятся к нему с недоверием, считая, что нет гарантии того, что полученные оценки достоверны. Действительно, точно оценить достоверность полученных результатов нельзя. Вместе с тем, существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется.

В действительности это не всегда так, и можно привести при­меры, когда отдельные эксперты, не согласные с мнением боль­шинства, давали правильные оценки.

Однако, как показала практика использования экспертных оценок, в подавляющем большинстве случаев при согласован­ности мнений экспертов их оценки оказывались правильными.

Следует отметить, что при нахождении оценок экспертным путем помимо погрешности, вносимой недостатком информа­ции об исследуемом объекте и недостаточной компетентностью экспертов, возможна и погрешность совсем другого рода, обус­ловленная заинтересованностью экспертов в результатах экспер­тизы, что обязательно скажется на их достоверности. Наличие такого рода погрешностей может значительно искажать оценки.

Устранение указанных недостатков достигается использова­нием соответствующих методов и в первую очередь посредством правильной организации экспертной процедуры, начиная от подбора экспертов до обработки их мнений.

Характерными особенностями методов экспертных оценок и моделей их реализации как инструмента научного решения слож­ных неформализуемых проблем являются, во-первых, научно обоснованная организация всех этапов экспертизы, обеспечи­вающая эффективность работы на каждом из этапов и, во-вто­рых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов на основе формальной групповой обработки результатов их мнений. Эти особенности отличают методы экспертных оценок от обычной давно известной экспертизы, применяемой в различных сферах человеческой деятельности.

3.2. Общая схема экспертизы

Общая схема экспертных опросов включает следующие ос­новные этапы:

- подбор экспертов и формирование экспертных групп;

- формирование вопросов и составление анкет;

- работа с экспертами;

- формирование правил определения суммарных оценок на основе оценок отдельных экспертов;

- анализ и обработка экспертных оценок.

Прежде чем приступить к рассмотрению содержания отдель­ных этапов экспертной процедуры, необходимо сделать следую­щее замечание.

Проблема экспертных оценок имеет самостоятельное теоре­тическое и прикладное значение и далеко выходит за рамки проблем экономического риска. Для ее решения используются спе­циальные экономико-математические методы и методы систем­ного анализа.

Здесь не стоит задача раскрытия сущности и содержания ис­пользуемых методов, поскольку они достаточно полно отражены в обширной специальной литературе по проблеме. Поэтому пред­ставленная ниже краткая характеристика содержания отдельных этапов носит ознакомительно-описательный характер.

Для более глубокого изучения проблемы можно порекомендо­вать, где, на наш взгляд, наиболее полно описывается как со­держание этапов, так и используемый для их реализации аппарат.

Подбор экспертов и формирование экспертных групп

На этом этапе, исходя из целей экспертного опроса, реша­ются вопросы относительно структуры экспертной группы, ко­личества экспертов и их индивидуальных качеств, т.е. определя­ются требования к специализации и квалификации экспертов, необходимое число экспертов каждой специализации и общее их количество в группе.

Оценки численности группы экспертов производятся на ос­нове следующих соображений.

Численность группы не должна быть малой, т.к. в этом слу­чае будет потерян смысл формирования экспертных оценок, определяемых группой специалистов. Кроме того, на группо­вые экспертные оценки в значительной степени влияла бы оценка каждого эксперта.

При увеличении группы экспертов, хотя и устраняются эти недостатки, но зато появляется опасность возникновения но­вых. Так, при очень большом количестве экспертов оценка каж­дого из них в отдельности почти не влияет на групповую оценку. Причем рост численности экспертной группы далеко не всегда приносит повышение достоверности оценок. Часто расширение группы экспертов возможно лишь за счет малоквалифицирован­ных специалистов, что, в свою очередь, может привести к умень­шению достоверности групповых оценок. Одновременно с рос­том числа экспертов увеличиваются трудности, связанные с координацией работы группы и обработкой результатов опроса.

Существующие методы позволяют выбрать оптимальную в каждом конкретном случае численность группы и ее структуру — численность экспертов требуемой специализации и квалифи­кации.

При подборе экспертов должно быть учтено ограничение, касающееся соответствия целей экспертов целям экспертного опроса. То есть необходимо установить, имеется ли тенденция у отдельных экспертов необъективно оценивать рассматриваемые события. Для этого желательно выявить потенциальные возмож­ные цели экспертов, противоречащие целям получения объек­тивных результатов.

Анализируя предшествующую деятельность экспертов, не­обходимо выяснить наличие причин, которые приводят к стрем­лению завышать или занижать оценки так, чтобы повлиять на групповые оценки в желательном для себя, либо дл других лиц, направлении.

Формирование вопросов и составление анкет

Правила опроса экспертов содержат ряд положений, обяза­тельных к выполнению всеми. Эти правила должны обеспечи­вать соблюдение условий, благоприятствующих формированию экспертами объективного мнения. В число таких условий входят:

- независимость формирования экспертами собственного мнения об оцениваемых событиях;

- удобство работы с предполагаемыми анкетами (вопросы формулируются в общепринятых терминах и должны ис­ключать всякую смысловую неоднозначность и др.);

- логическое соответствие вопросов структуре объекта оп­роса;

- приемлемые затраты времени на ответы по вопросам ан­кеты, удобное время получения вопросов и выдачи отве­тов;

- сохранение анонимности ответов для членов экспертной группы;

- предоставление экспертам требуемой информации.

Для обеспечения выполнения этих условий должны быть раз­работаны правила проведения опроса и организации работы экспертной группы.

Работа с экспертами

В зависимости от характера исследуемого объекта, от степе­ни его формализации и возможности привлечения необходимых экспертов, порядок работы с ними может быть различным, но в основном он содержит следующие три стадии.

На первой стадии эксперты привлекаются в индивидуаль­ном порядке с целью: уточнить модель объекта, ее параметры и показатели, подлежащие экспертной оценке; уточнить форму­лировки вопросов и терминологию в анкетах; согласовать целе­сообразность той или иной формы представления таблиц экс­пертных оценок; уточнить группы экспертов.

На второй стадии экспертам направляются анкеты с пояс­нительным письмом, в котором описываются цель работы, струк­тура и порядок построения таблиц с примерами.

Если имеется возможность собрать экспертов вместе, то цели и задачи анкетирования, а также все вопросы, связанные с анке­тированием, могут быть изложены устно. Обязательное условие такой формы экспертного опроса — последующее самостоятель­ное заполнение анкет, при соблюдении правил анкетирования.

Третья стадия работы с экспертами осуществляется после получения результатов опроса, в процессе обработки и анализа полученных результатов.

На этой стадии от экспертов в форме консультации обычно получают всю необходимую информацию, которая требуется для уточнения данных и их окончательного анализа.

Формирование правил определения суммарных оценок на осно­ве оценок отдельных экспертов.

Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа, направленного на подготов­ку и принятие решений.

Существует несколько способов исWользования группы экс­пертов. Один из них (метод согласования оценок) заключается в том, что каждый эксперт дает оценку независимо от других, а затем с помощью определенных приемов эти оценки объединя­ются в одну обобщенную (согласованную).

Например, если речь идет о вероятности наступления рис­кового события (р) и i-й эксперт указывает для этой вероятно­сти число р., то простейший способ получения обобщенной оцен­ки состоит в вычислении средней вероятности:



где m — число экспертов, участвующих в экспертизе.

В методе Дельфи в качестве обобщенного мнения прини­мается медиана оценок последнего тура опроса экспертов.

Можно рассчитать и средневзвешенное значение вероятнос­ти, если попытаться учесть вес (компетентность) самого экс­перта, который определяется на основе предыдущей деятельно­сти (количество верных ответов к общему количеству), либо на основе других методов — самооценка экспертом своих знаний в области заданных вопросов, квалификация, должность, уче­ное звание и т.д.



где рi — вес, приписываемый i-му эксперту. Существуют различные приемы оценки компетентности эк­сперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного эксперт­ного опроса.

В общем случае значения веса, приписываемого i-му экспер­ту, интерпретируются как вероятность задания им достоверной оценки.

В этом случае: 0 hi

1.

В зависимости от специфики экспертного опроса, объекта исследования и используемой методики обработки экспертных данных оценки, даваемые экспертами, могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10, от 0 до 100. Так, извес­тная нам экспертиза определения индекса БЕРИ для оценки странового риска использует шкалу от 0 до 100 баллов. Вместе с тем, принципиальной разницы в шкалах измерения нет, выбор той или иной из них во многом определяется вкусом исследова­теля, производящего экспертный опрос. Принятая шкала изме­рения может в некоторой степени повлиять на выбор методов анализа и обработки мнений экспертов.

Анализ и обработка экспертных оценок

При проведении анализа собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо представить информацию, полученную от экспер­тов в виде, удобном для принятия решений (упорядочить объек­ты — варианты, показатели, факторы и т.п.), а также опреде­лить согласованность действий экспертов и достоверность экс­пертных оценок.

Так, например, выявленные в процессе качественного ана­лиза риски необходимо представить в порядке их важности (сте­пени возможного их влияния на уроJень потерь), или варианты снижения риска — в порядке их предпочтительности и т.п.

Существует ряд методов упорядочения, каждый из которых имеет свои достоинства и недостатки, а также область эффек­тивного применения. Наиболее распространенными из них яв­ляются: ранжирование, непосредственная оценка, последова­тельное сравнение, парное сравнение.

Важным моментом экспертных процедур является оценка согласованности действий экспертов и достоверности эксперт­ных оценок.

Как отмечалось, существующие способы определения дос­товерности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется.

Наиболее часто для этих целей используют коэффициент конкордации (согласия), величина которого позволяет судить о степени согласованности мнений экспертов и, как следствие, достоверности их оценок.

Коэффициент конкордации определяется из выражения:





- фактическая дисперсия суммарных (упорядо­ченных) оценок, данных экспертами;



- дисперсия суммарных (упорядоченных) оце­нок, в случае, когда мнения экспертов пол­ностью совпадают.

Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0 согласованности нет, т.е. связь между оценками различных экспертов отсутствует. При W = 1 — согласованность мнений экспертов полная.

Для принятия решения об использовании полученных от экспертов оценок необходимо, чтобы коэффициент конкорда­ции был больше заданного (нормативного) значения Wн (W Wн).

Можно принять Wн = 0,5. Считается, что при W 0,5 дей­ствия экспертов в большей степени согласованы, чем не согла­сованы.

Определение коэффициента конкордации рассмотрим на сле­дующем упрощенном примере. Пусть в процессе качественного анализа выявлены пять видов риска, которым может подвергать­ся проект в процессе его реализации. Перед экспертами стоит задача проранжировать эти риски (представить в порядке их важ­ности) по степени возможного их влияния на уровень потерь.

Результаты оценок этих рисков четырьмя экспертами пред­ставлены в табл. 3.1.



При полностью согласованном мнении экспертов каждый из них первому виду риска дал два балла, второму — один, тре­тьему — четыре, четвертому — три, пятому — пять. В этом слу­чае суммарный ранг важности рисков составил бы соответственно 8, 4, 16, 12 и 20 баллов.

Известно, что среднее значение суммарной оценки для m объектов, назначаемых n экспертами, составляет 1/2 • n (m+1) и в рассматриваемом примере среднее значение составляет — 12.

Тогда:



Таким образом, мнения экспертов можно считать в доста­точной степени согласованным.

Используются также критерии, которые позволяют оценить вероятность того, что согласованность экспертов не явилась ре­зультатом случайных вариаций их мнений.

Если в соответствии с принятыми критериями мнения экс­пертов можно считать согласованными, то данные ими оценки принимаются и используются в процессе подготовки и реализа­ции управленческих решений.

Если полученные оценки нельзя считать достоверными, сле­дует повторить опрос заново. Если и это не дает желаемых ре­зультатов, следует уточнить исходные данные и (или) изменить состав группы экспертов.

Здесь следует отметить важную роль организаторов экспер­тизы, в задачи которых входят:

постановка проблемы, опреде­ление целей и задач экспертизы, ее границ и основных этапов;

разработка процедур экспертизы, в наибольшей степени соот­ветствующей характеру решаемой проблемы; отбор экспертов, проверка их компетентности и формирование групп экспертов;

проведение опроса и согласование оценок; формализация полу­ченной информации, ее обработка, анализ и интерпретация.

От правильной организации экспертизы в значительной сте­пени зависит эффективность результатов, полученных посред­ством экспертных оценок, в т.ч. и достоверность этих оценок.