Оценка экспертная - это название целой системы диагностических методов, которые чрезвычайно широко применяются в менеджменте, экономическом анализе, психологии, маркетинге и других сферах. Эти методы позволяют охарактеризовать, классифицировать, присвоить определенный ранг или оценку событиям и понятиям, которые не поддаются количественному измерению.
В каких случаях необходима экспертная оценка
В ходе какого-либо исследования на любом из его этапов может быть применен метод В управленческой деятельности он может пригодиться:
- На стадии определения целей и задач исследовательского процесса.
- Во время построения или проверки гипотезы.
- Для разъяснения проблемной ситуации. Для интерпретации происходящих процессов и событий.
- Чтобы обосновать адекватность применяемого инструментария.
- Для генерации рекомендаций, а также для реализации многих других целей.
Проведение экспертной оценки оправдано в тех случаях, когда нельзя принять решение, основываясь на точных расчетах (для составления психологического портрета, рабочей характеристики, оценки экономической неопределенности и рисков).
Чаще всего применение таких оценок становится важным в ситуации выбора одного или нескольких вариантов из предложенного множества:
- Запуск в серийное производство одного из разработанных вариантов продукции.
- Подбор космонавтов из многочисленных претендентов.
- научной работы, который будет профинансирован.
- Выбор предприятия, которое получит экологический кредит.
- Определение инвестиционного проекта для вложения финансовых средств.
Кто такие эксперты, и как они работают
Как следует из названия метода, экспертная оценка предполагает привлечение одного или нескольких специалистов-экспертов, компетентных для вынесения оценок лиц, а также обработку их мнения. Подбор экспертов осуществляют с учетом адекватности их суждений и опыта в данной области.
Оценка экспертная может быть выражена как количественно, так и качественно. Данные экспертных исследований нужны руководителям, менеджерам и сотрудникам управляющего звена как основание для принятия решений.
Разработка экспертной оценки чаще всего проводится путем создания рабочей группы, которая занимается организацией деятельности эксперта (или нескольких экспертов). Если приходится задействовать более одного человека, их объединяют в экспертную комиссию.
Сколько экспертов потребуется?
В зависимости от специфики задания и возможностей предприятия, для проведения экспертной оценки может быть приглашен один или несколько экспертов. При этом оценка экспертная называется индивидуальной или коллективной.
Индивидуальной становится оценка, которой преподаватель характеризует глубину знаний студента. Также к этому типу относят диагноз, поставленный одним врачом. Однако при спорных или сложных ситуациях (серьезное заболевание, постановка вопроса об отчислении учащегося), прибегают к коллективному решению вопроса. Здесь необходимы симпозиумы врачей и организация комиссии преподавателей.
Такой же алгоритм действует и в армии: чаще всего решение принимается командующим единолично, однако при необходимости собирают военный совет.
Последовательность процедуры оценивания
Последовательность формирования актуальной и объективной экспертной оценки представляет собой такие этапы:
- Проведение которую требуется исследовать.
- Подбор экспертов для проведения процедуры.
- Изучение существующих способов, с помощью которых будет выполнен замер экспертных оценок.
- Проведение самой процедуры оценивания.
- Сведение и анализ информации, полученной в ходе оценивания.
При этом может потребоваться выполнение проверки входных данных, на которых будет основана оценка экспертная. В некоторых случая рабочей группе приходится менять состав экспертной группы или прибегать к повторному замеру тех же вопросов (с целью сопоставить в дальнейшем полученную оценку с объективными данными из других источников).
Ход оценивания: характеристика этапов
Большое значение для успешного проведения процедуры имеет компетентное решение организационных вопросов:
- Планирование затрат на мероприятие (оплата услуг экспертов и специалистов по анализу полученных данных, расходы на аренду помещения, покупка канцтоваров).
- Подготовка необходимых материалов (составление и распечатка бланков, обеспечение инвентарем).
- Выбор и инструктаж модератора мероприятия.
В процессе работы эксперты должны руководствоваться выделенным регламентом, так как дополнительное время на принятие решения не влияет на его точность.
Когда будут получены ответы всех специалистов, выполняется оценка экспертного заключения. При этом учитывается степень согласованности всех мнений. Если однозначного согласия нет, рабочая группа должна выяснить причину разногласий, зафиксировать образование нескольких групп мнений и отсутствие согласованности как результат экспертной оценки. Затем оценивается ошибка исследования и выполняется построение модели на основании тех данных, которые были получены. Это необходимо, чтобы впоследствии можно было провести аналитическую экспертизу.
Методы, применяемые для проведения индивидуальной экспертной оценки: что такое интервью
Среди самых действенных и часто применяемых методик можно назвать:
- Аналитический способ.
- Метод написания сценария.
- Интервью.
В согласии с методикой проведения интервью, прогнозист беседует с экспертом, задавая ему вопросы. Предметом разговора становятся перспективы развития объекта или явления, о котором идет речь. Программа опросника разрабатывается заранее.
Эффективность и качество экспертной оценки напрямую зависят от того, сможет ли эксперт в условиях ограниченного времени предоставить заключение.
Проведение экспертизы аналитическим методом
Выбирая аналитический метод для осуществления оценки, специалист-эксперт должен подготовиться к тщательному выполнению самостоятельной работы. Ему предстоит анализировать тенденции, оценивать состояние и возможные пути развития объекта, по отношению к которому применяется прогнозирование.
Система экспертных оценок предусматривает изучение всей информации об объекте, которая доступна эксперту. Результат оформляется как
Основным преимуществом аналитического метода становится то, что специалист может проявить все свои индивидуальные способности.
Правда, этот способ не подходит для анализа крупных и сложных систем, так как эксперту может не доставать знаний из смежных областей.
Осуществление экспертизы путем написания сценариев
Строго говоря, этот метод не должен быть отнесен только к категории индивидуальных способов оценивания, так как он с успехом применяется для работы в группе.
Чтобы использовать этот метод, эксперту следует определить логику изучаемых процессов и явлений относительно времени и разных комбинаций условий. Затем он сможет установить предположительную последовательность событий (их развитие, переход от ситуации в данный момент к прогнозируемому состоянию). Сценарий отражает все ступени решения задачи, а также предусматривает возникновение возможных препятствий.
Коллективная экспертиза: метод «мозгового штурма»
Для оценки сложных, масштабных, многоуровневых систем не обойтись без привлечения нескольких специалистов-экспертов.
Порученное задание они могут выполнить, применяя один из методов:
- Коллективную генерацию идей («мозговая атака»).
- Метод «635».
- Метод Дельфи.
- Оценку комиссий.
Благодаря коллективным усилиям и особенной организации, эксперты могут эффективно провести самые сложные процедуры, такие как экспертная оценка рисков для инвестиционного проекта или прогнозирование деятельности различных систем.
«Мозговой штурм» позволяет в полной мере раскрыть творческие данные экспертов. На первом этапе специалисты активно генерируют идеи, затем применяют деструктурирование (подвергают их критике, разрушают), выдвигают контридеи и вырабатывают согласованную точку зрения.
Главным условием становится отсутствие критики вначале и высказывание всех спонтанно возникающих идей.
Специфика метода «635»
Такое название метод получил из-за приема, который применяют эксперты при его использовании: каждый из шести экспертов записывает на листе бумаги три спонтанно возникших идеи за период, равный пяти минутам.
В чем особенность метода Дельфи
Целью разработки этого способа экспертного оценивания стала необходимость в более строгой и обоснованной процедуре, которая могла бы дать объективный и максимально полезный результат.
Его применяют эксперты, приглашенные в научные и технические институты, инвестиционные и страховые компании, а также в ряде других случаев.
Суть метода в том, что проводят многотуровые индивидуальные опросы (зачастую с помощью анкет). Затем выполняется компьютерный анализ экспертных оценок для формирования коллективного мнения. При этом выявляют и обобщают аргументы для защиты каждого суждения.
На следующем этапе полученные результаты передают экспертам для корректировок. Их несогласие с коллективным суждением должно быть письменно обосновано. В результате многократного возвращения оценки на корректировку рабочая группа добивается сужения диапазона и выработки согласованного суждения, касающегося перспектив развития исследуемого объекта.
Чем хорош метод:
- Эксперты, принимающие участие в оценке, не знают друг друга и не общаются. Таким образом, исключено их взаимодействие.
- Результаты предыдущих туров также представляют интерес и ценность для рабочей группы.
- Представляется возможность получения статистической характеристики группового мнения.
Несмотря на относительно высокую затратность и продолжительность, этот метод становится лучшим способом предопределения развития долгосрочных ситуаций проблемного характера.
Нередко оценка выполняется специально организованной комиссией (метод комиссий), которые за «круглым столом» рассматривают все аспекты проблемы и принимают согласованное решение. Недостатком становится влияние участников друг на друга и искажение результатов. Примером может служить экспертная преподавателей и врачей.
Другие методы
Выше были перечислены самые распространенные методы выполнения экспертизы, но в практике производственных, научных и исследовательских организаций применяются и другие.
В зависимости от специфики ситуации, которую требуется спрогнозировать, а также от ресурсов и возможностей предприятия, могут быть применены:
- Деловая игра. Она позволяет смоделировать необходимое количество ситуаций для изучения особенностей системы управления или других процессов.
- «Суд» - инсценировка судебного процесса, при котором некоторые эксперты защищают варианты решений, другие пытаются их опровергнуть.
- Метод доклада - после проведения анализа, эксперт выражает свое мнение в виде аналитической записки или доклада. Это актуально при необходимости проведения относительно несложной работы (например, экспертная оценка автомобиля для страхования, налогообложения или возмещения ущерба).
В качестве итога можно отметить, что существование большого количества методов и способов проведения экспертной оценки позволяет руководителю предприятия и рабочей группе выбрать наиболее эффективный вариант для решения конкретной проблемы.
Вопросы лекции
Предпосылки экспертных оценок
История экспертных оценок
Формирование модели
Методы эвристического моделирования
4.1. Матричные методы
4.2. Графовые методы
4.3. Иерархия факторов
4.4. Свойства модели
4.5. Управление качеством модели
5. Постановка экспертного опроса
6. Способы оценивания экспертных оценок
Предпосылки экспертных оценок
В теории и практике современного управления можно выделить следующие категории задач: анализ, оценка, прогнозирование, оптимизация, планирование, выбор и т.д. Состояние точных наук сегодня позволяет для каждой из них выполнить четкую математическую постановку и перечислить формальные методы их решения.
Использование математических моделей позволяет воспроизвести реальный мир (или хотя бы его часть – объект управления или систему управления). Однако модель на практике может оказаться не такой адекватной, как хотелось бы и не всегда может отразить все многообразие реальной жизни, проявления которой гораздо сложнее, чем мы о ней думаем. Основной причиной сложности является ограниченность наших знаний о мире (трактование сложности как степени нашего незнания предложено Пригожиным И., определившего сложную систему как систему, поведение которой может быть для нас неожиданным и для которой у нас нет адекватной модели).
Сложность реальных задач проявляется в следующем.
Многообразие факторов. Всякое моделирование предполагает идентификацию конечного множества объектов (элементов системы), их свойств и действующих в задаче факторов. При этом неизвестно сколько факторов мы упустили.
Качественная природа. Часто факторы и свойств объекта невозможно измерить и количественно оценить.
Случайный характер. Нечеткие множества и неучтенные факторы в модели являются источниками случайного характера практически всех реальных анализируемых процессов. Случайная составляющая присутствует везде.
Нечеткость критериев. Недостаток информации и неопределенность модели рождают еще одну задачу – размытость цели. Если представления о цели нечеткие возникает проблема сформулировать четкие критерии, особенно, если ожидаемый результат оценивается приблизительно, а решаемая задача связана с риском.
Высокая стоимость. Перечисленные трудности можно преодолеть, но это требует больших трудозатрат, привлечения высококвалифицированных специалистов, вложения значительных средств и длительного времени.
Все перечисленные моменты – не проблема для человека, действующего на основании собственных неформальных знаний, опыта и интуиции. Только человек способен к решению нечетко сформулированных задач, генерированию идей, созданию абстрактных образов, предвидению неучтенных событий, действию в условиях неполной и недостоверной информации.
История экспертных оценок
Слово «эксперт» латинского происхождения и означает «опытный», «сведущий». Научные методы экспертных оценок получили развитие во второй половине ХХ века.
Первые шаги – 1930 год – группа американских психологов разработала методы экспертной оценки исследования влияния заинтересованности эксперта на характер суждения о будущих общественно-политических событиях.
В послевоенное время толчком развития экспертных методов послужили многочисленные работы, связанные с системным анализом сложных проблем (метод Дельфы). Первое практическое применение этого метода к решению задач оценки систем оружия Министерства Обороны США было сделано корпорацией RANDв 1947 году. Идеи этого анализа использовались в 1952 году при разработке сверхзвукового бомбардировщика В-58, стратегических ракетных систем и систем противовоздушной обороны.
В гражданской области задачами экспертного анализа явились:
выработка политики в области использования водных ресурсов;
исследование сверхзвуковой транспортной авиации;
исследование развития атомного торгового флота;
анализ стратегии строительства атомных электростанций в Европе.
Значительный вклад в теорию экспертных оценок сделан М Кендэллом, опубликовавшим в 1955 году монографию, посвященную применению метода ранговой корреляции для анализа экспертных оценок.
Появились в середине 60-х годов основанные на экспертных оценках методы решения сложных проблем, таких, как распределение ресурсов. Наиболее известными среди них являются PATTERNиQUEST.
Основные классы современных задач , в решении которых используются экспертные оценки.
Методы экспертных оценок - это способ прогнозирования и оценки будущих результатов действий на основе прогнозов специалистов.
При применении метода экспертных оценок проводится опрос специальной группы экспертов (5-7 человек) с целью определения определенных переменных величин, необходимых для оценки исследуемого вопроса. В состав экспертов следует включать людей с разными типами мышления - образное и словесно-логическое, что способствует успешному решению проблемы.
Привлеченные эксперты могут высказать свое мнение о лучших способов мобилизации резервов, привлечения инвестиций, сроков достижения поставленных задач, критериев отбора оптимальных вариантов решения и тому подобное.
Необходимым условием эффективного применения методов экспертной оценки есть достаточное знание эксперта по исследуемой проблеме, высокий уровень эрудиции, способность его давать четкие исчерпывающие ответы, к тому же экспромтом. Кроме того, эксперт не должен быть заинтересован в том или ином варианте решения поставленной перед ним проблемы. Эксперты подбираются по признаку их формального профессионального статуса - должности, ученой степени, стажа работы и др. Такой подбор способствует тому, что в число экспертов попадают высокопрофессиональные, с большим практическим опытом в данной области специалисты.
Таким образом, методы экспертной оценки требуют тщательной подготовки экспертов, работа которых содержит:
1) четкое определение целей и задач, а в некоторых случаях объединение и систематизация выводов;
2) набор достаточно компетентных независимых экспертов в области соответствующих объектов;
3) обсуждение вопроса в группе экспертов или исключения непосредственного общения между ними;
4) предоставление участникам экспертизы на каждом следующем этапе результатов и выводов предыдущего этапа. Это позволяет сделать определенные выводы, которые разделяют большинство экспертов;
5) выбор оптимальной подходящих методов обработки выводов экспертов;
6) точную формулировку итоговых выводов в экспертной работе.
Метод экспертных оценок - это фактически метод прогнозирования, основополагающим критерием которого является достижение согласия всех членов экспертной группы. Организационно это выглядит так. Эксперты, знакомые в взаимосвязанных сферах деятельности, подробно отвечают на вопросы анкеты, связанной с изучаемой проблемой. Каждый из них фиксирует свое мнение о проблеме, а затем сообщает об ответе своим коллегам. В случае расхождения его прогноза с мнением других, эксперт обязан объяснить причину такого несоответствия. Далее процедура повторяется до тех пор, пока мнения экспертов не совпадут. При этом нужно соблюдать анонимности, что помогает избежать возможности групповых размышлений над проблемной ситуацией.
Благодаря применению экспертных оценок получают два вида информации, на основании которой решаются два вида задач различной значимости и на разных уровнях управления:
1. Информация о единичных причинно-следственные связи в конкретных условиях места и времени. В основном эту информацию получают в результате опроса руководителей производственных подразделений предприятия (бригадиры, руководитель отделения, начальник цеха) и рабочих. Она предназначена для поиска направлений повышения эффективности производства и реализации продукции путем установления причин непродуктивного использования ресурсов и формирования действенных мер по их устранению.
2. Информация о типичных взаимосвязи исследуемых экономических явлений и процессов. Такую информацию способны предоставить только эксперты высокого класса, профессионалы, глубоко знающие сути и закономерностями проявления указанных явлений в различных условиях хозяйствования.
Основными задачами, которые чаще всего решаются на практике на основе полученной от экспертов информации, являются:
Ранжирование (упорядочение, размещенные в порядке возрастания или убывания) факторов и соответствующих показателей, которые характеризуют, по их значимости в развитии исследуемого явления, процесса;
Ранжирование предприятий или их структурных производственных подразделений (бригад, цехов, участков) по рейтингу, в основу которого положена совокупность различных показателей, характеризующих результаты финансово-хозяйственной деятельности или отдельных ее видов (финансовое состояние, рентабельность, платежеспособность и т.п.);
Предварительная оценка выполнения плана по определенному показателю.
Целевой анализ, основанный на результатах экспертных оценок, осуществляется в несколько этапов:
1. Определение цели исследования.
2. Определение необходимого количественного и качественного состава группы.
3. Создание группы.
4. Определение способа опроса.
5. Составление программы обследования и анкеты (листа) опрос.
6. Проведение опроса.
7. Сведения, группировка и анализ полученной от экспертов информации.
8. Обобщение результатов экспертизы и разработка возможных вариантов решений для достижения поставленной цели.
Все экспертные методы делятся на две группы - индивидуальные и коллективные - и подгруппы (рис. 14.3).
Индивидуальные экспертные методы - это использование мнений экспертов, которые сформулированы лично каждым из них самостоятельно без учета мнений других экспертов. К индивидуальным экспертных методов относятся: интервью и анкетирования.
Сущность метода интервью состоит в организации собеседования аналитика с экспертом, в ходе которой эксперт дает ответа на вопрос аналитика о факторах влияния на исследуемый объект, ожидаемых результатов хозяйствования, неиспользованных резервов, путей выхода из кризиса, направлений повышения эффективности производства и тому подобное.
Метод анкетирования (аналитического экспертного оценивания) заключается в предоставлении экспертом письменных ответов на вопросы анкеты. Однако этот метод имеет определенные недостатки, в частности эксперт может не понять вопросы анкеты, проявить субъективизм, нежелание критиковать руководство и оставлять свою письменный ответ и тому подобное.
Рис. 14.3. Основе виды методов экспертных оценок
Основными преимуществами индивидуальных методов экспертных оценок является простота организации обследования, понятность, учет и использование приобретенных знаний и опыта каждого эксперта. Ограничением применения этих методов выступает ограниченность знаний, информации экспертов из смежных сфер деятельности. Исходя из этого, большее распространение на практике получили коллективные экспертные методы.
Коллективные экспертные методы - это методы, которые обеспечивают формирование единой общему мнению в результате взаимодействия привлеченных специалистов-экспертов.
Среди коллективных методов экспертной оценки выделяют: метод комиссии (в том числе проведение производственных совещаний, конференций, семинаров, дискуссий за "круглым столом"), методы Дельфи, отстраненного оценки, конференция идей и др.
Метод комиссии заключается в выработке экспертами лучшего варианта достижения поставленной цели с учетом всех высказанных на совещании предложений, идей.
Положительной особенностью этого метода является возможность привлечения для экспертизы специалистов с широким диапазоном знаний из смежных областей науки и практики. Негативным возможен субъективизм, имеющиеся стереотипы мышления, которые сложились у экспертов, их склонность к компромиссу.
Метод отстраненного оценки заключается в выборе оптимального независимого решения из числа высказанных экспертами на совещании. Работа совещания разделена на две части: выдвижение идей и их критический анализ.
Метод Дельфи - один из методов коллективной экспертной оценки, который предусматривает проведение экспертного опроса среди группы специалистов в несколько туров (чаще в 3-4 туры) для выбора лучшего из решений. Метод Дельфи, или как его еще называют дельфийский метод, метод дельфийского оракула, получил свое название из названия городка Дельфи в Древней Греции, в котором жили оракулы-провидцы при храме бога Аполлона. Слово главного оракула не подлежавшее сомнения и принималось за истину.
Целью применения метода Дельфи является совершенствование группового подхода к решению задачи разработки прогноза, оценки за счет взаимной критики взглядов отдельных специалистов, высказываемых без непосредственных контактов между ними и при сохранении анонимности мнений или аргументов в их защиту.
В одном из вариантов этого метода прямое обсуждение заменяется обменом информацией с использованием специально разработанных вопросников. Возможно также применение особых приемов опроса через ЭВМ.
Согласно методу Дельфи участников просят высказать свои мысли, обосновать их, а в каждом последующем туре опроса им выдается новая, уточненная, информация о высказанных мыслей, которую получают в результате расчета совпадения мнений по ранее выполненными этапами работы. Этот процесс продолжается до практически полного совпадения мнений. После этого фиксируются мысли, которые не совпадают.
Этот метод успешно применяется в маркетинге. Его используют для того, чтобы сделать экспертное прогнозирование путем организации системы сбора и математической обработки экспертных оценок.
Конференция идей подобная мозгового штурма, но отличается от него темпом проведения совещаний и разрешенной короткой доброжелательной критикой идей в форме реплик и комментариев. При этом стимулируется сочетание нескольких предложений, фантазирование, что способствует повышению качества идей.
Все выдвинутые идеи записываются в протоколе без указывание их авторов. В состав участников конференции идей включаются не только высококвалифицированные специалисты, но и новички, неспециалисты - незаангажированные и способны выдвигать свежие, новые, неординарные подходы.
Таким образом, методы экспертных оценок играют важную роль в экономических исследованиях, особенно в проведении стратегического и функционально-стоимостного анализа. Применение этих методов позволяет определить, например, объем и структуру потребления продуктов питания, товаров или услуг населением за значительным кругом показателей, тогда как применение других методов анализа затруднено из-за отсутствия необходимой информации.
В практических маркетинговых исследованиях метод экспертных оценок можно использовать для разработки средне- и долгосрочных прогнозов структуры спроса на товары широкого потребления; прогнозирования указанной структуры на следующий год; определение групп потенциальных потребителей; а также для оценки объема неудовлетворенного спроса по группам и видам товаров. Например, метод экспертной оценки потребительской стоимости товара и цены на него - метод из группы нормативно-параметрических методов ценообразования. Он базируется на результатах опроса или результатах суждений коллектива экспертов о возможной ценность товара на рынке, спроса на него и выдвижении предложений о его цене.
Есть также много методов экспертной оценки, связанных с прогнозированием экономических и общественных явлений и процессов.
Экспертные методы используются при решении прогностических, аналитических и проектных задач, связанных с неформализуемостью и отсутствием определенности в представлениях об организационно-экономических объектах. Сущность данного метода: проведение экспертами интуитивно-логического анализа проблемы с качественной оценкой суждения и формальной обработкой результатов. Особенности метода экспертных оценок: необходимость научно обоснованной организации экспертизы, применение количественных методов для оценки качественных суждений экспертов.
Экспертный метод может использоваться при определении прогнозов развития объектов; при определении целей и задач, альтернативном распределении ресурсов; при принятии решений в условиях неопределенности и риска.
1-й этап использования данного метода - формирование группы экспертов. Свойства, которые необходимы специалисту для включения его в экспертную группу.
Компетентность (степень квалификации в определенной области знаний);
Креативность (способность решать творческие задачи);
Аналитичность и широта мышления; конструктивность (способность формировать конкретные предложения);
Самокритичность эксперта; отношение к экспертизе.
Для формирования экспертных групп могут использоваться способ тестирования, документационный и другие методы.
Способ тестирования состоит в том, что на основе разработанных тестов проходят обследование возможные кандидаты, и по результатам ответов формируется группа.
Документационный способ - отбор экспертов по их объективным характеристикам, которые содержатся в их личных документах (стаж работы, должность, ученая степень, количество публикаций и др.).
Способ назначения - определение руководителем группы экспертов из числа сотрудников. Главный недостаток способа: мнение сотрудников может быть согласованным, но ошибочным, выражающим официальную позицию организации в данном вопросе («эффект школы»). Результаты экспертизы в этом случае представляют интерес в основном лишь для внутреннего пользования.
2-й этап применения экспертного метода - проведение экспертизы. Данный этап начинается с выбора способа опроса экспертов. Различают индивидуальный, групповой и дельфийский способы.
При индивидуальном способе от каждого эксперта посредством анкетирования или интервьюирования получают оценки, не зависимые от мнения других. Затем после их обобщения и обработки определяют общую, результирующую оценку. Индивидуальную экспертизу рационально использовать при необходимости выработки точечного прогноза состояния объекта, при ранжировании совокупности объектов и в других случаях, когда важнейшими качествами экспертами выступают его компетентность и конструктивность.
Групповой способ предусматривает получение суммарной оценки или общего решения сразу от всех экспертов путем совместного обсуждения. Его использование целесообразно при поиске нетрадиционных решений, при оценке характеристик малоизученных объектов, т.е. при необходимости получения творческого решения. Групповой опрос может осуществляться посредством проведения дискуссий, совещаний, конференций, «мозгового штурма».
Метод Дельфи синтезирует ряд положительных черт индивидуальной и групповой экспертиз. Эксперты независимо друг от друга высказывают свое мнение в письменной форме. Важнейшая составляющая метода - тщательно разработанные программы анкетирования, осуществляемого в несколько туров, и регулирование вопросов на каждом последующем туре. По окончании каждого тура группа организаторов экспертизы анализирует полученные ответы, обобщает их и готовит по результатам тура справку-бюллетень, с текстом которой знакомятся все эксперты. При этом информация в справке анонимна. При повторном опросе эксперты получают вопросы, уточняющие первоначальные ответы и сформулированные выводы с учетом итогов предыдущего тура. В третьем туре экспертам сообщают, по каким пунктам имеется единое мнение, экспертов, высказавших отличное от других мнение, просят его обосновать. Четвертый, чаще всего последний, тур повторяет процедуру третьего. Таким образом, область расхождения мнений сужается и вырабатывается общее решение. Достоинство дельфийского метода - он уменьшает или полностью устраняет такие психологические факторы, как показная убежденность, нежелание отказаться от публичного высказывания своего мнения, влияния авторитета.
3 -й этап экспертных методов - обработка результатов опроса. Для обеспечения возможности формальной обработки результатов экспертизы необходима численная система, описывающая свойства объектов и отношения между ними с помощью количественных параметров (различные шкалы наименований (классификации), порядков, интервалов, отношений, разностей).
Шкала наименований используется для описания принадлежности объекта к определенным классам. Шкала порядка - для измерения упорядочения объектов по одному или ряду признаков (шкала рангов). Шкала интервалов - для отображения величины различий между свойствами объектов. Шкала отношений - для отражения отношения свойств объектов, например, их весомости. Шкала разностей - при необходимости определить, на сколько один объект превосходит другой по одному или нескольким признакам.
Выбор шкалы определяется задачами экспертизы, особенностями объекта, возможностями группы.
При обработке результатов экспертизы важное значение имеет выбор метода измерения. Наиболее употребительные методы: ранжирование, парное сравнение, непосредственная оценка, последовательное сравнение.
Регламент должен отвечать следующим требованиям: обеспечить достаточное разнообразие формулировок; единство структуры формулировки (например, формулировка должна последовательно отвечать на вопросы: что необходимо? над чем (с чем)? для чего?) Полученные формулировки должны достаточно полно отражать важнейшее их содержание, т.е. обладать значительной емкостью; формулирование должно происходить таким образом, чтобы исключить разночтение.
Проблемы совершенствования экспертных технологий связаны с проработкой следующих направлений: формирование экспертной комиссии, организация и проведение экспертиз на основе использования современных методов, использование многокритериальных оценок при интерпретации результатов.
25. ЭВРИСТИЧЕСКИЕ МЕТОДЫ
Эвристические методы основаны на логике, интуиции и опыте лиц, принимающих решение (ЛПР). Данные методы позволяют «уловить» и использовать эти процессы при разработке альтернатив. В зависимости от используемого подхода эвристические методы подразделяются на формально-эвристические и неформально-эвристические.
Основа формально-эвристических методов - формализация приемов решения сложных задач человеком путем моделирования его мыслительных процессов. Включают метод эволюционного моделирования, лабиринтные методы и др.
Эволюционное моделирование предполагает наличие исходного опыта по процессу принятия УР. Этот опытный, информационный материал необходим, чтобы запустить модель эволюции. На основе имеющегося опыта разрабатывается несколько вариантов решения, позволяющих подойти к ликвидации проблемы и достижению цели решения с разных позиций. Каждый вариант исследуется на основе заранее определенных критериев. В режиме испытаний исходное, опорное решение («родительское») изменяется случайным образом, в результате чего производится «потомок» (генерированная идея). Если «потомок» хуже «родителя», он отбрасывается, и путем очередной мутации рождается новый «потомок». Если же «потомок» лучше, то отбрасывается «родитель», а «потомок» занимает его место, и процедура повторяется вновь. Основное достоинство данного метода: возможность использования вычислительной техники, что позволяет проводить поиск довольно быстро. Однако нельзя получить выдающегося, нестандартного, творческого решения.
Лабиринтные методы основаны на пошаговом поиске с последующей оценкой возможного продолжения пути ликвидации проблемы. Если направление «тупиковое» происходит возврат в исходную точку, и процесс повторяется вновь, пока не будет найден путь дальнейшего перемещения.
Концептуальное моделирование основано на сборе исходной информации при анализе ситуации и построении структурной модели, позволяющей вычленять наиболее важные элементы отношений. Основное средсию для достижения цели - метод структуризации, базирующийся на принципе декомпозиции (разъединении).
В основе неформально-эвристических методов лежит управление интеллектуальной деятельностью человека. Необходимость такого управления обусловлена особенностями его мышления (неформальность, способность к обобщениям, к ориентации в неопределенной ситуации, склонность к рассеиванию и к потере информации). Для усиления первых трех свойств и нейтрализации двух последних используется психоинтеллектуальная генерация идей.
Процесс решения сложных задач с использованием генерации идей осуществляется в виде целенаправленной, управляемой беседы-дискуссии двух непосредственных участников: ведущего и решающего. Ведущий ставит перед решающим вопросы, на которые решающий должен высказать свои суждения. Вокруг этих суждений завязывается дискуссия. В помощь ведущему могут быть выделены оппоненты и эксперты. Задача оппонентов - критика суждений решающего и вовлечение его в дискуссию. Задача экспертов - помочь ведущему оценить суждения и наметить последствия дальнейшего обсуждения. Несколько возможных схем организации сеансов генерации идей:
По числу ведущих: полиуправление (несколько ведущих), моноуправление (один ведущий), автогенерация (отсутствие ведущего);
По числу решающих: односторонние схемы (один решающий), многосторонние схемы (много решающих);
По виду контакта: с непосредственным контактом (в одном помещении), с опосредованным контактом (через технические средства).
Условия для обеспечения целенаправленности генерации идей:
Необходимо обеспечить психологический комфорт (создание удобства рабочего места, приподнятого настроения и чувства раскованности решающего);
Обеспечить структуризацию процесса поиска решения (разработать психоэвристическую программу, содержащую перечень обсуждаемых вопросов, цели дискуссии и рекомендации);
Создать системы информационного и технического обеспечения.
В результате генерации должен быть получен набор данных, составляющих основной информационный массив или поле возможных решений.
На концепции психоинтеллектуальной генерации идей базируется целый ряд метод психологической активизации. Выбор способа генерации производится в зависимости от характера задачи. При решении неотложных вопросов наилучшими методами могут являться прямая мозговая атака или деловые игры. В изобретательском творчестве - разновидности мозговой атаки и синектические методы. В задачах прогностики - анкетные методы, морфологический анализ и др.
Метод номинальной групповой техники построен на принципе ограничений межличностных коммуникаций, поэтому все члены группы, собравшиеся для разработки решения, на начальном этапе излагают свои предложения в письменном виде самостоятельно, независимо от других. Затем каждый участник докладывает суть своего проекта, представленные варианты рассматриваются членами группы (без обсуждения и критики), и только после этого каждый член группы независимо от других в письменной форме представляет ранжирование рассмотренных идей. Предложения, получившие наивысшую оценку, принимаются за основу решения. Особенность данного метода и его достоинство - несмотря на совместную работу членов группы, не происходит ограничения индивидуального мышления.
Методика атаки разносом может быть применена для обнаружения недочетов, ошибочных заключений и выводов в исследовании, находящемся на стадии завершения. В заседании принимают участие до 50 человек, которые заранее ознакомлены с рабочим документом, являющимся предметом обсуждения. Все участники выступают по очереди. Задачей каждого выступающего является обнаружение возможно большего числа недостатков работы. О достоинствах работы и путях ликвидации недостатков не упоминают. Время одного выступления 1-3 мин., запрещается повторять недостатки, отмеченные другими участниками. Иногда целесообразно проводить обсуждение в два круга, предоставляя возможность повторного выступления желающим, уточнить свои замечания.
Атака разносом является действующим средством негативного анализа. Поэтому авторам обсуждаемого документа не следует присутствовать на обсуждении. Организация атаки разносом аналогична прямой мозговой атаке.
Синектические методы базируются на методе мозгового штурма, проводимого специальной группой специалистов, отличающихся гибкостью мышления, широким кругозором. Такие группы, накапливая приемы и опыт работы, добиваются положительных результатов при нахождении новых технических решений.
Синектика - это метод прогнозирования по аналогии, перенесения выводов относительно некоторых признаков с одного предмета на другой. На первом этапе руководитель ставит задачу, отвечает на вопросы членов группы. На втором этапе каждый из участников предлагает свои идеи, пытаясь взглянуть на проблемы с различных точек зрения, таким образом, преодолевая «психологическую инерцию». Руководитель выбирает одну из них и формирует ее сущность (ключевые представления). На третьем _ участники ведут поиск аналогий к ключевому представлению, используя известные факты из других областей знаний. На четвертом - руководитель пытается применить некоторые из аналогий и представлений, предложенных членами группы, к поставленной задаче. Далее осуществляется экспертная оценка выбранного направления, и при положительном заключении работа продолжается до принятия решения.
Морфологические методы при разработке альтернатив _ это подход к установлению типичных логических связей и взаимообусловленности. Чаще всего данная группа методов применяется при выявлении возможных вариантов технических, экономических, организационных решений.
Строится морфологическая таблица. Весь процесс разработки вариантов решения в таблице представляется в области трех полей. Первое поле - информационное служит для обозначения всех операций сбора, предварительной обработки, хранения и передачи информации. В аналитическом поле представляются операции, связанные с анализом информации и выбором альтернатив. В целевом - формируются выводы, целевые установки, ограничения и требования к решению. Прослеживаются все операции, протекающие в процессе разработки и принятия решения.
На практике ни один из методов не применяется изолированно от других, получение эффективного решения возможно лишь путем целесообразного их сочетания.
Экспертный метод определения показателей качества основан на учете мнений специалистов-экспертов. Эксперт - это специалист, компетентный в решении конкретной задачи (от латинского слова expertus - опытный). Этот метод применяют в тех случаях, когда показатели качества не могут быть определены другими методами из-за недостаточного количества информации, необходимости разработки специальных технических средств и т. п.
Экспертный метод является совокупностью нескольких различных методов, которые представляют собой его модификации. Известные разновидности экспертного метода применяются там, где основой решения является коллективное решение компетентных людей (экспертов). Например, решения различных советов, конференций, совещаний, комиссий, а также экзаменаторов при оценке знаний учащихся и т.п. - это решения, принимаемые экспертными методами. При использовании экспертного метода важны следующие факторы: компетентность экспертов при формировании экспертной группы; способы опроса экспертов; способы обмена информацией; типы шкал, применяемых для оценки. Для экспертной оценки целесообразно пользоваться шкалами с нечетным числом градаций, в которых кроме нижнего и верхнего имеется средний (удовлетворительный) уровень.
Экспертный метод может использоваться при формировании общей оценки (без детализации) уровня качества продукции, а также при решении многих частных вопросов, связанных с определением показателей качества. Области применения экспертного метода следующие:
оценка нормативных документов на продукцию;
обобщенная оценка качества продукции;
классификация оцениваемых товаров;
определение номенклатуры показателей качества оцениваемой продукции;
определение коэффициентов весомости показателей качества:
выбор базовых образцов и определение значений базовых показателей качества;
измерение и оценка показателей качества с помощью органов чувств (органолептически);
оценка единичных показателей, значения которых определены измерительным или расчетным методами;
идентификация продукции;
определение комплексного показателя качества на основе совокупности единичных (обобщенных и групповых показателей);
оценка конкурентоспособности продукции;
сертификация продукции.
Экспертный метод не используется, если качество можно оценить другими методами с большей точностью или с меньшими затратами.
Результаты экспертной оценки имеют элементы неопределенности и необоснованности. Достоверность результатов оценки зависит от компетентности и квалификации экспертов. Компетентность эксперта складывается из профессиональной и квалиметрической компетентности. Профессиональная компетентность предусматривает знание:
истории развития оцениваемой продукции, изменение ее свойств и показателей качества;
условий проектирования (конструирования) и производства (переработки) продукции;
значений показателей качества отечественных и зарубежных аналогов;
перспектив развития продукции, отраженных в научно-исследовательских работах, патентах, конструкторских разработках;
требований потребителей, условий и характера потребления (эксплуатации) и утилизации.
Квалиметрическая компетентность предусматривает четкое понимание подхода к оценке качества товаров, методов оценки качества, вопросов построения и применения оценочных шкал, определения субъективных вероятностей и различия достаточного числа градаций оцениваемого объекта.
Квалификация эксперта определяется не только знанием предмета обсуждения, но и умением высказывать четкие, однозначные суждения. Учитываются специфические возможности эксперта. Например, в пищевой промышленности при оценке качества продуктов питания учитывают возможности эксперта воспринимать вкус, запах и т.д., а также его состояние здоровья. Эксперты, оценивающие эстетические и эргономические показатели качества, должны быть хорошо осведомлены в области художественного конструирования.
При использовании экспертного метода для оценки качества формируют рабочую и экспертную группы. Рабочая группа организует процедуру опроса экспертов, собирает анкеты, обрабатывает и анализирует экспертные оценки.
Экспертная группа формируется из высококвалифицированных специалистов в области создания и использования оцениваемой продукции: товароведы, маркетологи, дизайнеры, конструкторы, технологи и др. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок, допустимой трудоемкости оценочных процедур, возможностей управления группой и организации, в которой формируется группа, но в группе должно быть не менее 7-12 чел. При необходимости повышения точности оценок качества состав группы может быть увеличен до 15 - 20 экспертов.
Желательно, чтобы экспертная группа формировалась не для одной экспертизы, а как постоянно функционирующий орган с достаточно стабильным составом экспертов.
В процессе работы группы у экспертов на основе анализа результатов предыдущей работы вырабатываются общие подходы и принципы оценки качества продукции, что повышает эффективность оценки.
При проведении оценки качества экспертам предлагается построить иерархическую номенклатуру показателей качества, при этом желательно начинать оценку с уровня рассмотрения, на котором находятся единичные показатели, для которых существуют объективные методы оценки.
При построении номенклатуры показателей качества целесообразно выполнять следующие четыре условия:
признак, по которому любой комплексный показатель делится на п показателей ниже расположенного уровня (классификационный признак), должен быть единым для всех п показателей. Это обеспечивает экспертам наилучшие возможности для сопоставления показателей при определении коэффициентов весомости (следующая после построения номенклатуры операция);
определяя коэффициенты весомости, эксперт сравнивает между собой важность различных показателей качества, входящих в однородную группу. Поскольку при значительном числе показателей эта операция становится затруднительной, что снижает объективность результатов, число показателей, входящих в однородную группу, не должно превышать 10;
если показатель качества повторяется на двух или более уровнях, то его коэффициент весомости считается завышенным. Следовательно, повторение показателей нежелательно;
число показателей качества, входящих в однородные группы: на одном уровне номенклатуры показателей качества, не должны резко отличаться, так как увеличение числа показателей может привести к снижению значений коэффициентов весомости. Например, в номенклатуре показателей качества на первом уровне расположено три показателя (S = 1, 2, 3), на втором уровне каждый из них состоит из некоторого числа показателей - соответственно q , I, р. Желательно, чтобы выполнялось условие q I р или чтобы эти числа были достаточно близкими.
Возможные погрешности могут быть уменьшены включением в пояснительную записку необходимых разъяснений.
Работа экспертов заключается в выполнении двух самостоятельных, но взаимосвязанных операций - корректирования (уточнения) номенклатуры показателей качества и определения коэффициентов весомости этих показателей.
После изучения представленной номенклатуры показателей качества каждый эксперт приходит к одному из следующих выводов:
в номенклатуре есть показатели качества, весомость которых незначительна. Их можно не учитывать при оценке качества (эти показатели качества эксперт вычеркивает);
в номенклатуре не включены достаточно важные показатели (эти показатели эксперт вносит в номенклатуру);
следует вычеркнуть показатели, которые можно считать маловажными и одновременно дополнить номенклатуру показателями, достаточно важными;
номенклатура показателей качества составлена правильно.
Мотивы своих действий эксперт записывает на отдельном листе, приложенном к номенклатуре, или излагает техническому работнику, который заполняет этот лист.
После анализа мнений экспертов членами рабочей группы номенклатура корректируется и вновь поступает к экспертам для определения коэффициентов весомости показателей качества.
Определение экспертами коэффициентов весомости показателей качества начинается с ранжирования, когда каждому показателю качества присваивается определенный ранг. Если в однородную группу входят четыре и более показателей, эксперты предварительно ранжируют их: ранг 1 присваивается самому важному показателю, ранг 2 - следующему по важности и т.д. Если эксперт считает, что весомость двух или более показателей одинакова, то он присваивает им одинаковые ранги. Если показателей менее четырех, операцию ранжирования можно не выполнять.
Каждый эксперт знакомится со значениями коэффициентов весомости, назначенными другими экспертами, и их обоснованиями. Если экспертная группа сформирована из работников различных организаций, которых трудно собрать для совместной работы, то каждый эксперт прикладывает к заполненной анкете краткое обоснование. Поскольку эта процедура весьма трудоемка, ее рекомендуется использовать, когда число показателей, входящих в структурную схему, сравнительно невелико (примерно 10... 15). В противном случае экспертам предлагается дать обоснования лишь некоторых значений коэффициентов весомости по своему усмотрению. Для упрощения процедуры можно отказаться от обоснований и запросить их лишь в случае необходимости.
Каждый эксперт знакомится с анонимными мнениями других экспертов и вновь проставляет значения коэффициентов весомости.
На сборе экспертной группы проводится открытое обсуждение всех коэффициентов весомости. Все эксперты имеют возможность кратко аргументировать свои суждения о значении коэффициента весомости каждого показателя и критиковать другие мнения. Для исключения возможного влияния служебного положения на мнения экспертов желательно, чтобы эксперты высказывались в последовательности от младшего к старшему (по служебному положению). После обсуждения эксперты фиксируют в документах значения коэффициента весомости показателя качества и переходят к обсуждению следующего показателя.
По результатам оценки коэффициентов весомости оценивается согласованность мнений экспертов с помощью коэффициентов вариации, конкордации и др.
Значения коэффициентов вариации определяются: числом уровней в номенклатуре показателей качества, разнообразием мнений потребителей, компетентностью экспертов и т.д. При определении коэффициентов весомости можно рекомендовать следующие значения коэффициентов вариации, полученные на основании анализа результатов работы различных экспертных групп: V < 0,10 - согласованность высокая; V= 0,11 ...0,15 - согласованность выше средней; V=0,16...0,25 - согласованность средняя; V= 0,26...0,35 - согласованность ниже средней; V > 0,35 - согласованность низкая.
Если согласованность мнений экспертов средняя или выше средней, то можно перейти к оценке согласованности мнений группы экспертов о весомости всех показателей. При согласованности ниже средней требуется дополнительный анализ. Причины низкой согласованности мнений экспертов могут быть субъективными и объективными. К субъективным относятся: недостаточная информированность экспертов о показателе качества, коэффициент весомости которого определяется; нечеткое понимание решаемой задачи; арифметические ошибки экспертов и т.д.
Объективные причины - проведенная классификация потребителей, на которую эксперты опираются при определении коэффициентов весомости, недостаточна. Следовательно, необходимо более четко определить условия потребления.
Для выявления причины низкой согласованности проводится повторное определение коэффициентов весомости данного показателя с обсуждением и вновь рассчитывается коэффициент вариации. Если после этой процедуры коэффициент вариации не улучшился (или улучшился незначительно), то следует обсудить полученные значения коэффициентов весомости с обоснованием мнений экспертов и уточнением группы потребителей.
Цель обсуждений состоит в стремлении выработать общее понимание всеми экспертами характера работы и вопросов, выявить истинное мнение каждого эксперта, не стремиться сблизить значения коэффициентов весомости, которые назначают эксперты. Таким образом, коэффициент вариации в значительной степени является не мерой «неблагополучия» во мнениях, а мерой различия требований отдельных групп потребителей к оцениваемой продукции.