Полная версия

Главная arrow Прочие arrow Основы научных исследований

  • Увеличить шрифт
  • Уменьшить шрифт


<<   СОДЕРЖАНИЕ ПОСМОТРЕТЬ ОРИГИНАЛ   >>

Основные соотношения метода экспертного опроса.

Современное общество и производство представляют собой большие, сложные, стохастические системы. Управление такими системами требует соответствующей реакции на изменение внешних или внутренних условий и связей. Однако немало научных и производственных задач относится к классу трудно формализуемых, и реакция неоднозначна. Помощь здесь может оказать метод экспертного опроса.

Сущность этого метода состоит в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Выполнение своих функций эксперт осуществляет на основе логического мышления, интуиции и собственного опыта в решении сходных проблем, поэтому большую роль играют компетентность эксперта, его знания и опыт. А поскольку эксперты подбираются организаторами опроса, то, естественно, возникает одна из важнейших проблем: правильный подбор экспертной группы. И эта проблема не единственная.

В целом для проведения экспертного опроса необходимо осуществление обширного ряда организационных мероприятий, включая:

  • • формулирование цели предстоящего опроса;
  • • определение сроков выполнения работ;
  • • создание группы управления, определение ее задач, обязанностей и прав;
  • • финансовое и материально-техническое обеспечение работ.

Экспертным опросом занимается группа управления. Именно она

ведет основную работу по формированию группы экспертов, включающую следующие операции:

  • • конкретизация решаемой проблемы;
  • • выявление сфер деятельности, связанных с поставленной проблемой;
  • • определение числа экспертов в группе;
  • • составление предварительного списка экспертов с учетом их местонахождения;
  • • анализ качества экспертов и уточнение списка;
  • • получение согласия экспертов на участие в разрабатываемом мероприятии;
  • • составление окончательного списка экспертов.

Параллельно группа управления определяет методику проведения

опроса экспертов, место и время проведения, число туров опроса, его форму и способ фиксации результатов. Выбираются процедуры и алгоритмы обработки полученных данных. Заключительным этапом работы группы управления является оформление результатов проведения экспертного опроса.

Формально процедура экспертного опроса может быть представлена как сравнение некоторых объектов (альтернатив) по заранее отобранным критериям. В качестве объекта может выступать предмет, явление, процесс, управленческое решение и т.п. Процедура сравнения включает определение отношений между объектами и способы их сравнения.

При проведении экспертиз наиболее часто встречаются отношения порядка, характеризуемые логическими высказываниями типа «лучше чем», «больше чем», «раньше чем» и т.п. Но поскольку формализация задачи предполагает числовое выражение отношений предпочтения, процедуру сравнения необходимо дополнить понятием шкалы.

Наиболее употребительны следующие типы шкал: наименований, порядка, интервалов, отношений, разностей, абсолютная.

Шкала наименований, или классификации, используется для описания принадлежности объектов к определенным классам. Всем объектам одного и того же класса присваивается одно и то же число, а элементам разных классов — разные числа. Шкала наименований сохраняет отношения эквивалентности и различия между объектами.

Шкала порядка применяется для измерения упорядочения объектов по одному или нескольким признакам. Примером может служить шкала твердости материала. Числа в шкале порядка отражают только порядок следования объектов и не показывают, насколько один объект предпочтительнее другого.

Шкала интервалов служит для отображения величины различия между свойствами объектов. При проведении экспертного опроса эта шкала используется для оценки полезности объектов. Основным свойством ее является равенство интервалов. Такая шкала может иметь произвольные точки отсчета и масштаб.

Шкала отношений используется для проведения измерений, например, массы, длины и т.п. Она показывает, во сколько раз свойства одного объекта отличаются от аналогичных свойств другого объекта. Эта шкала является частным случаем шкалы интервалов.

Шкала разностей используется для измерения свойств объектов при необходимости выражения, насколько один объект превосходит другой по одному или нескольким признакам. Эта шкала является частным случаем шкалы интервалов, когда для последней выбран единичный масштаб.

Если в шкале применить нулевую точку отсчета и единичный масштаб одновременно, то полученная шкала носит название абсолютной, универсальной, шкалы.

В процессе экспертного опроса устанавливают отношения между объектами исследования. Эта процедура получила обобщенное название измерений и может осуществляться различными методами.

Ранжирование проводит эксперт на основе собственных знаний и опыта, располагая объекты в порядке предпочтения. Если среди объектов нет одинаковых по сравниваемым показателям (это означает, что отношения эквивалентности в данном случае исключены), то между изучаемыми объектами существуют только отношения строгого порядка, обладающего свойствами несимметричности, транзитивности и связности. Результатом работы эксперта будет расположение объектов в упорядоченной последовательности, где объект с № 1 будет выступать наиболее предпочтительным. При ранжировании отношения предпочтения чаще всего представляются в виде натуральных чисел, называемых рангами.

Если среди объектов есть эквивалентные, то возможны отношения не только строгого порядка, но и эквивалентности. Тогда результат экспертного опроса представляет собой упорядоченную последовательность, в которой некоторые объекты могут быть эквивалентными.

При ранжировании объектов, между которыми допускаются отношения строгого порядка и эквивалентности, наиболее предпочтительному объекту присваивается ранг, равный единице, остальные также нумеруются натуральными числами. Для эквивалентных объектов требуется назначить одинаковые ранги, поэтому вычисляют среднее арифметическое значение номеров, присвоенных одинаковым объектам, и это значение принимают в качестве ранга и называют связанным рангом. Поскольку при этом используется операция деления, связанные ранги могут оказаться дробными числами.

Ранги определяют только порядок расположения объектов по показателям сравнения, но не дают возможности сделать вывод о количественном выражении отношения предпочтения.

Достоинствами ранжирования являются простота и наглядность осуществления процедуры, но если число объектов больше 15-20, то эксперты затрудняются в построении ранжированного ряда и могут допустить существенные ошибки. Таким образом, этот метод применим при небольшом числе объектов.

От указанного недостатка свободен метод парного сравнения, представляющий собой процедуру установления предпочтения при сравнении всех возможных пар. Таким образом, единая задача ранжирования распадается на большое число простых задач, заключающихся в парном сравнении объектов. В результате сравнения пары объектов эксперт упорядочивает эту пару либо устанавливает ее эквивалентность.

Непосредственная оценка представляет собой процедуру присвоения объектам числовых значений шкалы интервалов, Эксперт должен поставить в соответствие каждому объекту точку на непрерывной числовой оси. Естественно, что эквивалентные объекты в итоге опроса должны получить одно и то же число. Это возможно только на основе полной информированности экспертов о свойствах объектов, что встречается сравнительно редко. Часто эксперту предлагают дать не точечную цифровую оценку объекта, а указать интервал.

Метод последовательных сравнений представляет собой комплексную процедуру, включающую ранжирование и непосредственную оценку. При этом выполняются следующие операции:

  • • осуществляется ранжирование;
  • • выполняется непосредственная оценка объектов на единичном отрезке;
  • • эксперт решает, будет ли первый объект превосходить все остальные объекты, вместе взятые; если да, то увеличивается значение числовой оценки первого объекта так, что она становится больше суммы числовых оценок всех остальных объектов. В противном случае оценка объекта изменяется так, чтобы она стала меньше, чем сумма оценок всех остальных объектов;
  • • решается вопрос о том, будет ли второй объект предпочтительнее, чем все последующие вместе взятые, и тогда изменяют оценку этого объекта так же, как описано в предыдущей операции;
  • • продолжают операцию сравнения с последующими объектами по аналогичному алгоритму.

Даже беглый анализ различных методов сравнения показывает всю важность проблемы подбора экспертов, которые могут быть описаны набором параметров преимущественно качественного характера. Рассмотрим некоторые из них.

Компетентность — степень осведомленности эксперта в определенной области знаний. В этом случае возникает задача количественного определения данного свойства. Эта задача относится к классу трудно формализуемых, т.е. в данном случае приходится иметь дело с понятиями типа «осведомленный», «неосведомленный» и т.п. Основным алгоритмом решения указанной задачи являются различные процедуры, основанные на применении экспертного опроса, который можно разбить на два направления: опрос одного эксперта об уровне собственной компетенции и опрос группы экспертов о возможном составе экспертной группы. Первые процедуры проводятся, как правило, в один тур, а вторые характеризуются большим числом этапов. Естественно, по длительности процедуры второго типа требуют времени гораздо больше, но и результаты получаются точнее.

Наиболее простым подходом является применение гипотезы о том, что компетентность эквивалентна такому понятию, как «научный авторитет», и предпринимаются попытки оценить это понятие с помощью числа публикаций, авторских свидетельств, наличия ученых степеней, званий и по занимаемым должностям.

Более объективным является использование коэффициентов компетентности, получаемых на основании суждений эксперта о степени своей осведомленности по проблеме экспертизы, с указанием источников, служащих аргументацией высказываемых экспертом предложений по решаемой проблеме.

Методика оценки компетентности, по сути дела, представляет собой некий экспертный опрос самого эксперта о степени его осведомленности, что, естественно, носит сильный отпечаток субъективизма. С целью преодоления этого недостатка используется другая процедура оценки компетентности эксперта, основанная на групповом опросе экспертной группы о включении специалистов в состав группы. Если в список попадают лица, первоначально не включенные в состав экспертов, то в дальнейшем им тоже предлагается высказаться по составу экспертной группы. Проведя подобным образом несколько туров опроса, можно составить достаточно полное представление о компетентности формируемой группы экспертного опроса.

Другим важным свойством эксперта является креативность, т.е. способность решать творческие задачи. Это свойство оценивается на основе изучения предшествующей деятельности эксперта.

Отношение к экспертизе характеризует возможность принятия решения о привлечении конкретного специалиста в качестве эксперта. Негативное или пассивное отношение специалиста к проблеме, предлагаемой на экспертизу, большая занятость могут существенно препятствовать включению такого специалиста в экспертную группу.

Конформизм характеризует подверженность конкретного индивида влиянию авторитетов, отражает неустойчивость собственного мнения эксперта. Особенно сильно это свойство эксперта может проявиться в том случае, когда экспертный опрос проводится в форме открытой дискуссии, во время которой мнения авторитетов могут влиять на высказывание экспертов, обладающих высокой степенью конформизма.

Аналитичность и широта мышления особенно важны при решении сложных проблем, а глубокие знания в узкой специализированной области способны порождать некий однобокий подход, который может не позволить качественно решать проблемы, требующие взгляда, выходящего за рамки сложившихся представлений.

Конструктивность мышления предполагает учет экспертом реальных возможностей решения проблемы, т.е. важно не только определить метод решения проблемы, но и найти такой, который можно применить в конкретных условиях.

Коллективизм представляет собой свойство, которое особенно важно при проведении экспертного опроса в форме открытой дискуссии. Это свойство во многих случаях существенно влияет на создание позитивного психологического климата в коллективе экспертов и, следовательно, на успешность решения проблемы.

Самокритичность эксперта проявляется при самооценке уровня своей компетентности.

Перечисленными характеристиками достаточно полно описываются необходимые качества, которыми должен обладать специалист, привлекаемый для решения проблемы методом экспертного опроса.

Однако сбор данных и их анализ требуют очень кропотливой и трудоемкой работы. При этом возникает проблема получения интегральной оценки эксперта, так как часть присущих ему характеристик может быть положительной, а часть — отрицательной. Для получения такой оценки важно сформулировать некую обобщенную характеристику эксперта, позволяющую, с одной стороны, описывать все важнейшие качества его, а с другой — допускающую количественное выражение.

Основными характеристиками группы экспертов являются достоверность экспертизы и затраты на нее.

Достоверность экспертизы зависит от числа экспертов и от их качества. Опыт показывает, что для решения проблем с высоким уровнем необходимого потенциала знаний увеличение числа экспертов приводит к монотонному возрастанию достоверности экспертизы. Однако эта зависимость не подтверждается при решении проблем, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости высказанных гипотез.

Достоверность экспертизы в сильнейшей степени обусловлена компетентностью экспертной группы, которая, в свою очередь, зависит от состава специалистов. Профиль привлекаемых специалистов определяется широтой решаемой проблемы и должен быть определен на этапе постановки задачи экспертного опроса. Именно число специалистов различных профилей, привлекаемых для экспертизы, предопределяет минимальную численность экспертной группы.

Естественно, что затраты на экспертизу зависят от числа экспертов и от их квалификации. Именно финансовые ограничения диктуют допустимое число экспертов в группе и уровень их квалификации.

Руководствуясь поставленной задачей, группа управления выявляет области знаний, затрагиваемые при решении проблемы, и составляет перечень необходимых специалистов по каждой области знаний, указывая максимально и минимально возможное число экспертов, исходя из приемлемой достоверности результатов экспертизы. После этого устанавливают минимальный и максимальный состав группы экспертов. Максимальное численность экспертной группы обусловливается ограничениями по финансовым ресурсам. Если требуемый уровень достоверности экспертизы не обеспечивается ограничениями по финансовым ресурсам, то необходимо либо пойти на снижение достоверности результатов, сохраняя финансовые ограничения (т.е. уменьшить число экспертов в группе), либо, сохраняя число экспертов, а значит, и уровень достоверности экспертизы, увеличить расходы на проведение экспертного опроса.

Определив численный состав экспертной группы, приступают к составлению списка экспертов с учетом возможности их участия в экспертизе. Кандидатов в эксперты письменно запрашивают о согласии участвовать в экспертизе, указывая ее сроки, порядок проведения, объем работы и условия оплаты. Только после получения положительного ответа специалиста включают в окончательный список группы экспертов, о чем письменно его уведомляют.

 
<<   СОДЕРЖАНИЕ ПОСМОТРЕТЬ ОРИГИНАЛ   >>