Полная версия

Главная arrow Прочие arrow Основы научных исследований

  • Увеличить шрифт
  • Уменьшить шрифт


<<   СОДЕРЖАНИЕ ПОСМОТРЕТЬ ОРИГИНАЛ   >>

Выявление множества специалистов.

Для получения экспертной информация требуется сформировать одну или несколько групп компетентных экспертов и провести процедуру сбора у экспертов необходимой информации.

Рассмотрим задачи, связанные с формированием экспертных групп, а затем — сопутствующие процедурам сбора экспертной информации.

Центральной проблемой в формировании экспертных групп является отбор экспертов. Из отобранных экспертов с учетом требований, вытекающих из организации работы экспертов, формируются группы. Проблема отбора экспертов — это своего рода проблема профессионального отбора, именно выбора из некоторого множества специалистов (кандидатов в экспертную группу) тех, которые являются наиболее компетентными в рассматриваемом вопросе. Таким образом, для формирования экспертных групп нужно решить три основные задачи:

  • 1) выявление множества специалистов по данному вопросу;
  • 2) оценка их компетентности;
  • 3) составление из компетентных специалистов (экспертов) экспертных групп.

Решение первой задачи далеко не всегда очевидно, особенно в новых или в «пограничных» областях знаний, где круг специалистов априори не ясен. Из подходов к решению этой задачи целесообразен используемый за рубежом метод «снежного кома». Предполагается, что исследователь знает заранее хотя бы несколько специалистов, каждого из которых просит назвать известных ему коллег. Выявленных таким образом новых специалистов просят, в свою очередь, сделать то же самое, и так до тех пор, пока расширяющийся список не пополнится новыми лицами. Такая процедура на практике может потребовать больших затрат времени, и исследователь заранее не знает, на какой итерации она закончится. Между тем ясно, что при ограниченном резерве времени процедуру можно остановить на той итерации, когда ожидаемое число новых лиц, которые могут появиться на следующих итерациях, мало.

Тестовая оценка компетентности специалистов.

Из выявленного множества специалистов выбирают наиболее компетентных в конкретной области. Оценка компетентности — одна из самых сложных и мало разработанных проблем экспертных методов опроса. Используются такие характеристики, как профессиональная компетентность, заинтересованность, деловитость, объективность, оригинальность мышления, творческое воображение, и даже такие, как креативность, эвристичность, смелость, настойчивость, управляемая агрессивность. Эти характеристики оценивают с помощью документальных, анкетных данных, самооценок, взаимных оценок специалистов. Слабость такого подхода заключается в отсутствии четкой связи между этими характеристиками и тем вопросом, который ставится перед экспертами. Действительно, есть много примеров того, как эксперт с самыми высокими значениями подобных характеристик давал неправильные ответы на поставленный вопрос.

Один из выходов состоит в проверке компетентности с помощью такого теста, который непосредственно связан с поставленным вопросом. Если, например, задача экспертизы состоит в оценке параметров множества объектов, то для проверки можно использовать специальные тестовые объекты (аналогичные оцениваемым объектам или являющиеся выборкой из них). Оценки тестовых объектов должны быть известны исследователю и неизвестны испытуемым. Получение оценок представляет самостоятельный интерес и зависит от характера экспертизы.

Формирование экспертных групп производится из специалистов, имеющих наибольшие оценки компетентности. Решение вопроса о числе экспертов не имеет общих принципов и вытекает из специфики конкретной экспертизы.

В общем виде система формирования коллектива (группы) экспертов показана на рис. 4.1.

Опрос экспертов — это главный этап в процедуре экспертного оценивания. Основными здесь являются:

  • • постановка задачи и предъявление вопросов экспертам;
  • • информационное обеспечение работы экспертов;
  • • выработка экспертами суждений, оценок, предложений;
  • • сбор результатов работы экспертов.

При решении задач экспертизы используются следующие виды опроса:

  • • дискуссия;
  • • анкетирование и интервьюирование;
  • • мозговой штурм.

Главным в организации опроса является обеспечение максимума информации, творческой активности и самостоятельности эксперта. Каждый эксперт должен обладать всей информацией, относящейся к анализируемому явлению и имеющейся в распоряжении организаторов опроса. Однако возможности экспертов по переработке информации ограничены, т.е. имеет место противоречие между доступным объемом информации и возможностями эксперта творчески переработать ее. Поэтому при каждой экспертизе приходится искать разумный компромисс, выбирая соответствующий вид опроса.

Каждый из видов опроса имеет свои достоинства и недостатки, для каждого из них характерны свои методы обмена информацией между экспертами. На выбор конкретного вида опроса влияют следующие факторы:

  • • цель и задачи опроса;
  • • уровень сложности рассматриваемой проблемы;
  • • полнота и достоверность исходной информации;
  • • необходимый уровень достоверности результатов экспертизы;
  • • время, выделенное на проведение экспертизы;
  • • финансовые возможности;
  • • число экспертов.
Укрупненная схема формирования группы экспертов

Рис. 4.1. Укрупненная схема формирования группы экспертов

Метод анкетирования предусматривает, что эксперты получают специально разработанные анкеты, содержащие вопросы, на которые каждый из них должен дать ответы в письменной форме или устно (тогда это называется интервьюированием).

Анкеты имеют обычно форму таблиц. Анкетирование может быть очным и заочным. В первом случае эксперт заполняет анкету в присутствии члена группы управления. При заочном анкетировании непосредственный контакт эксперта с членами группы управления отсутствует (анкеты можно высылать по почте, в том числе электронной). Достоинство заочного анкетирования — простота организации, возможность привлечения (без больших затрат) экспертов, живущих в разных местах, снижение загрузки организаторов. Но здесь не исключено неправильное истолкование вопросов экспертом, задержки в ответах и т.д. Кроме того, есть опасность, что ответы будут даны экспертом несамостоятельно или вообще не тем лицом, которому они были адресованы. Недостаток очного анкетирования — возможность влияния анкетирующего на ответы эксперта.

Вопросы анкет можно классифицировать по содержанию и по форме.

По содержанию вопросы делятся на три группы:

  • 1) объективные данные об эксперте (возраст, образование, должность, ученая степень, специализация, стаж работы и т.п.);
  • 2) основные вопросы по существу анализируемой проблемы;
  • 3) дополнительные вопросы, позволяющие выяснить источники информации и аргументацию эксперта, а также самооценку его компетентности.

По форме основные вопросы делятся на открытые, или свободные, закрытые и с «веером» ответов, а также на прямые и косвенные.

Закрытый вопрос задается в форме, предполагающей лишь три возможных ответа — «да», «нет», «не знаю».

Вопрос с «веером» ответов дает эксперту возможность выбора одного из предлагаемых ответов, например, срока реализации определенной научно-технической идеи из ряда перечисленных сроков. К этой же форме относятся вопросы-задания на ранжирование перечисленных объектов, оценку их весов, значимости в баллах, оценку вероятности некоторого события. При задании вопроса в такой форме эксперту может быть предоставлено право дать две или три оценки одного объекта — минимальную, среднюю, максимальную (или пессимистическую, среднюю, оптимистическую).

При задании оценить какой-либо объект в баллах желательно для уменьшения расхождения экспертов присоединить к заданию описание шкалы.

Открытым, или свободным, называется вопрос, ответ на который может быть дан в произвольной форме. Открытые вопросы наиболее целесообразны в первом туре опроса, позволяя широко охватить анализируемую проблему, выявить спектр мнений и точек зрения экспертов.

В ответах на открытые вопросы эксперты могут вскрыть новые, не предусмотренные организаторами опроса аспекты проблемы, подхода к ее решению. Иногда целесообразно просить эксперта сформулировать условия, при которых он взялся бы за решение проблемы.

Недостатком открытых вопросов является чрезмерно широкий диапазон и неконкретность ответов, что может привести к несопоставимости ответов экспертов, весьма затрудняющей обработку результатов опроса. Количественная обработка таких ответов часто будет невозможна.

Вероятность неоднозначной трактовки закрытых вопросов и вопросов с «веером» ответов значительно меньше. Это обстоятельство, а также конкретность ответов на такие вопросы допускает количественную обработку результатов опроса, что и является причиной наиболее широкого их применения при анкетировании. Недостаток их — в опасности навязывания эксперту ответов. Поэтому в формировании вопросов и при составлении возможных ответов необходимо исключить тенденциозность, делать «веер» достаточно широким, а кроме того — предоставить эксперту возможность выйти за пределы «веера». Но тогда эксперт должен аргументировать свое решение.

Кроме рассмотренных трех форм вопросов, можно упомянуть еще одну форму, промежуточную между открытыми вопросами и вопросами с «веером» ответов — это вопрос-задание на проведение морфологического анализа, на построение дерева целей, альтернатив.

При любой форме вопросов эксперт должен быть поставлен в известность, что он вправе выдвинуть новые вопросы и дать на них ответы, а также назвать экспертов, не включенных в число опрашиваемых, но способных дать ответы на вопросы анкеты или выдвинуть новые вопросы самостоятельно. Кроме того, эксперт может изложить свои замечания и советы по форме и содержанию анкет.

Косвенные вопросы используются, когда есть опасения, что эксперт уклонится от ответа на прямой вопрос, в частности, если целесообразно скрыть от эксперта цель использования его ответов, например, в связи с проверкой самостоятельности эксперта, оценкой его компетентности, его отношения к экспертизе.

Кроме анкет-опросников, эксперт должен иметь пояснительную записку, чтобы до опроса получить определенную ориентировку и информацию о целях экспертизы, задачах опроса, объектах экспертизы, а также организационные сведения и инструкции по заполнению анкет, в том числе примеры порядка и способы заполнения. При очном анкетировании проводят также устный инструктаж как перед анкетированием, так и в его ходе.

Интервью является беседой, в ходе которой вопросы перед экспертом ставят по заранее разработанной программе. Одновременно можно вести опрос нескольких экспертов, однако в этом случае есть опасность потери самостоятельности экспертов и, кроме того, интервью грозит превратиться в дискуссию.

От очного анкетирования интервьюирование отличается тем, что в случае интервью эксперт дает устные ответы на устные вопросы, точное содержание которых до опроса ему, как правило, не было известно, хотя тематика интервью могла быть сообщена ему заранее. Четкую грань между интервьюированием и анкетированием провести трудно, так как последнее является, по сути, анкетированием в устной форме.

Важно, что при интервьюировании эксперт не имеет времени для серьезного обдумывания своих ответов и не ведет записей, а интервьюер строит свои вопросы в значительной мере в зависимости от ответов эксперта на предыдущие вопросы. При этом вопросы, задаваемые эксперту, должны допускать ответы на них экспромтом.

Достоинством интервью является продолжительный живой контакт интервьюера и опрашиваемого, что позволяет получить большое количество информации и всесторонне, хотя и поверхностно, осветить объем экспертизы.

К недостаткам интервью относятся возможность влияния интервьюера на опрашиваемого, отсутствие времени на продумывание ответов, а также высокие эмоциональные и интеллектуальные требования к опрашиваемому и большое время, расходуемое на опрос всего состава экспертов.

Интервьюер должен хорошо знать анализируемую проблему, уметь четко формулировать вопросы, создавать непринужденную обстановку и уметь слушать, в частности, правильно интерпретировать паузы, уклонения, умолчания. Подготовка интервьюера к опросу заключается в основном в разработке цели интервью и подготовке главных вопросов, суть которых должна быть записана, хотя их окончательное формулирование возможно непосредственно в ходе интервью.

Как уже отмечалось, дискуссию целесообразно проводить для решения задач, не требующих точных количественных оценок объектов, параметров, альтернатив.

Число участников дискуссии может составлять от нескольких до 20-30.

Процедура подготовки и проведения дискуссии может быть разделена на три этапа:

  • 1. Определение и формулирование предмета дискуссии и порядка ее проведения, а также подготовка участников дискуссии.
  • 2. Собственно дискуссия.
  • 3. Подведение итогов, фиксация и обработка результатов дискуссии.

Подготовка включает также материально-техническое обеспечение дискуссии.

На первом этапе дискуссии члены группы управления решают следующие основные задачи:

  • • выявление различных аспектов анализируемой проблемы, роли, значимости факторов, связанных с ней, и определение главных из них;
  • • формулирование цели дискуссии и требований к экспертам;
  • • отделение спорных вопросов и аспектов проблематики от бесспорных, являющихся основой полемики по спорным вопросам;
  • • формулирование и ограничение спектра спорных вопросов, решение которых выносится на дискуссию;
  • • определение способов и условий решения спорных вопросов, т.е. построение процедуры проведения дискуссии.

Предварительное выявление различных аспектов проблемы и основных факторов позволяет четко сформулировать цели дискуссии и требования к ее участникам-экспертам.

Ограничение спектра спорных вопросов и разногласий ведется по ряду критериев, важнейшими из которых являются обозримость всех аспектов проблемы, возможность и целесообразность полного или частичного решения проблемы.

Схема проведения дискуссии следующая:

  • • выбор методов анализа проблемы, методов изложения соображений, доказательств, используемых экспертами;
  • • выбор средств представления информации, в том числе аргументов, доказательств и выводов экспертов, а также средств фиксации и переработки информации в ходе дискуссии;
  • • установление и объявление места и времени проведения дискуссии, порядка и регламента ее фаз и отдельных выступлений.

В дискуссии эксперты могут использовать различные методы анализа проблемы, изложения своих соображений, доводов, мотивов и доказательств.

Весьма распространенной ошибкой является терминологическое и физико-математическое высокомерие, «кокетство», приводящее к нарушению взаимного понимания, иногда раздражающее отдельных участников дискуссии и гасящее их творческую активность. При настоятельной необходимости использования незнакомого кому-либо из участников дискуссии научного языка и/или аппарата это должно быть сделано тактично, уважительно, по возможности, для всех понятно. Не исключено использование «переводчиков» — людей, компетентных в различных областях, затрагиваемых в дискуссии, пусть и не являющихся глубокими специалистами ни в одной из затрагиваемых областей.

Выбору и подготовке материальных средств представления, фиксации и обработки информации, содержащейся в выступлениях экспертов, должно быть уделено серьезное внимание. Нередко даже широкодоступные средства фиксации и представления информации (например, плакаты, слайды, стенография и т.д.) не используются или используются не в полной мере. Так, весьма широко распространенной ошибкой является использование плакатов с формулами, графиками, таблицами, перегруженными несущественными деталями и читаемыми из-за мелкого шрифта лишь с близкого расстояния.

Результаты работы по подготовке дискуссии оформляются в виде пояснительной записки и инструкции экспертам, где излагаются предмет, задачи и цель дискуссии, а также процедурно-организационные вопросы ее проведения, роль и задачи экспертов. Кроме пояснительной записки и инструкции, могут быть написаны доклад, излагающий результаты предварительного анализа проблемы, выносимой на обсуждение, и проект решения. Эти материалы передаются экспертам заранее для своевременной подготовки к дискуссии.

Материально-техническое обеспечение дискуссии имеет целью создание комфортных условий ее участникам, что включает подготовку рабочего и подсобных помещений, средств представления, фиксации и обработки информации, справочного обеспечения.

Второй этап — собственно дискуссия. Он обычно включает вступительное слово ведущего, доклад по анализируемой проблеме, вопросы докладчику и его ответы, выступления экспертов, принятие решения.

Во вступительном слове ведущий излагает предмет, задачи и цель дискуссии, кратко освещает результаты предварительного анализа, уделяя особое внимание основным аспектам проблемы и спорным вопросам. Во вступительном слове также объявляются порядок проведения дискуссии, режим и регламент выступлений и поясняется порядок использования технических средств представления, обработки и фиксации информации. Необходимо одновременно определить порядок принятия решения и образовать комиссию по редактированию проекта решения или объявить ее состав, если она была сформирована раньше.

Доклад, который делает один из организаторов дискуссии или один из экспертов, должен предлагать возможные пути решения проблемы с рассмотрением их достоинств и недостатков. Устный доклад возможен, если участникам дискуссии заранее розданы в письменной форме результаты предварительного анализа проблемы.

Типичная структура выступления участника дискуссии содержит следующие основные элементы: изложение точки зрения выступающего с явным перечислением моментов согласия и моментов расхождения с оппонентом; аргументация своей позиции, мотивировка, доказательства и иллюстрирующие примеры; выводы и предложения.

Доказательство может быть представлено либо как некая самоочевидная гарантия истины (возможно, со ссылкой на некоторые обстоятельства, условия, факторы), либо как логичное расчленение положения, подлежащего обоснованию, на ряд первичных положений, явно или неопровержимо и сравнительно просто обосновываемых. Второй способ доказательства более целесообразен, так как в этом случае доказательство имеет форму мыслительного эксперимента, в котором участвует вся аудитория, что придает доказательству наибольшую убедительность и смягчает неприятный эффект опровержения доводов оппонента, способствуя таким образом созданию творческой и терпимой атмосферы дискуссии.

Все выступления должны записываться.

Результативность дискуссии в очень большой степени зависит от ведущего, общей задачей которого является всемерное стимулирование реализации основного достоинства дискуссии — всестороннего оперативного анализа проблемы экспертами, взаимно оппонирующими и информирующими друг друга. В то же время ведущий должен делать все возможное для смягчения основных недостатков дискуссии: высокой опасности конформизма и возможности принятия компромиссного решения, не отвечающего интересам дела.

Опыт показывает, что наиболее распространенным недостатком в проведении дискуссии является уклонение от ее основной темы. Ведущий должен самым решительным образом не допускать таких отклонений, а также препятствовать отвлечению присутствующих на посторонние вопросы, возникновению мини-дискуссий и т.п.

Заключительный этап дискуссии предусматривает подведение ведущим итогов обсуждения и согласование решения, проект которого (возможно, в нескольких вариантах) был отработан комиссией во время дискуссии. Часто единогласного принятия всех пунктов решения достичь не удается, поэтому в конце решения могут быть изложены «особые мнения» с их аргументацией и подписями автора.

Целесообразно обратиться на следующий день к участникам дискуссии с просьбой высказать мнения и оценки, если они в чем-то изменились или могут быть дополнены.

Затем группа управления проводит анализ и обработку результатов дискуссии и всех ее материалов (решения, «особые мнения», записи выступлений и дополнения, сделанные экспертами после дискуссии). Если в результате анализа выяснилась ошибочность, неточность или нецелесообразность некоторых положений решения, необходимо повторить дискуссию или провести согласование сомнительных положений с их авторами-экспертами.

Отсутствие позитивных и обоснованных решений дискуссии может привести к откладыванию решения проблемы или к одностороннему волевому и далеко не оптимальному ее «решению», которое часто лишь усугубляет трудности, породившие проблему.

Большую роль в прогрессе современных научных исследований, характеризуемых высокой степенью коллективизма и узкой специализацией исследователей, играет обмен мнениями в ходе различного рода совещаний, семинаров и т.п.

Совещания созывают для взаимного информирования и ориентации его участников, разработки и координирования планов, принятия решений.

В целом различают следующие виды совещаний:

  • • диктаторское и автократическое;
  • • сегрегативное (состоит из доклада руководителя или назначенного им лица);
  • • дискуссионное;
  • • свободное.

На диктаторском и автократическом совещаниях правом выступления обладает лишь руководитель, который ведет совещания и дает указания. Остальные могут только слушать, задавать вопросы руководителю или отвечать на его вопросы. Этот тип совещания часто имеет форму информационного сообщения и применяется в экстремальных условиях. Такие мероприятия в связи с проведением научно- исследовательских работ (НИР) нецелесообразны.

Сегрегативное совещание характерно тем, что руководитель НИР делает на нем доклад, затем предлагается высказаться участникам и в заключение принимается решение.

Дискуссионное совещание представляет собой обсуждение, особенности которого уже рассмотрены.

Свободное совещание не имеет четкой повестки дня, может быть проведено без ведущего и сводится к обмену мнениями без принятия фиксирующего решения. Обычно оно имеет форму разговора, беседы между небольшим числом заинтересованных участников.

Еще одним достаточно распространенным методом экспертного опроса является мозговой штурм, представляющий собой метод получения новых идей, решений какой-либо проблемы в результате коллективного творчества группы людей в ходе заседания, проводимого по определенным правилам. Главной особенностью описываемого метода является полное исключение критики предлагаемых идей во время заседания (она уместна в дальнейшем, при обработке результатов). Именно поэтому при проведении мозгового штурма создают две группы: генераторов идей и аналитиков. Как всегда при экспертном опросе, важным является подбор состава групп, особенно если учесть, что работа происходит в процессе непосредственного общения.

Основные правила рассматриваемого метода следующие:

  • • недопустимость критики на этапе генерации идей;
  • • максимальное число и разнообразие высказанных предложений;

• участники мозгового штурма должны подхватывать, развивать высказанные предложения, создавая тем самым условия для появления новых.

Второй этап работы предусматривает тщательный анализ высказанных идей и отбор наиболее ценных.

 
<<   СОДЕРЖАНИЕ ПОСМОТРЕТЬ ОРИГИНАЛ   >>