15.09.2019

Метод дельфи входит в группу. Что такое метод Дельфи и как им пользоваться


Введение

Метод «Дельфи» - метод быстрого поиска решений, основанный на их генерации в процессе мозговой атаки, проводимой группой специалистов, и отбора лучшего решения исходя из экспертных оценок. Дельфийский метод используется для экспертного прогнозирования путем организации системы сбора и математической обработки экспертных оценок.

Метод Дельфи (другие названия: «Дельфийский метод», «Метод дельфийского оракула») появился в 1950-1960 годы в США для исследования военно-стратегических и военно-технических проблем. Разработан корпорацией RAND, авторами являются О. Хелмер, Т. Гордон, Н. Долки.

Метод Дельфи является методом экспертных оценок.

Метод экспертных оценок - метод анализа и оценки экономических процессов, выработки управленческих решений на основе мнения квалифицированных экспертов. Включает генерацию идей в процессе обсуждения, проводимого группой специалистов, и отбора лучшего решения исходя из экспертных оценок. Метод используется для экспертного прогнозирования. Этот метод применяется при неопределенности значимости факторов.

Метод Дельфи является наиболее формальным из всех методов экспертного прогнозирования и чаще всего используется в технологическом прогнозировании, данные которого применяются потом в планировании производства и сбыта продукции.

Суть метода Дельфи

Целью метода Дельфи является получение согласованной максимально достоверной информации для принятия правильного решения.

Метод Дельфи - способ выбора и оценки решения по проблемам, по которым ощущается недостаток информации.

Метод Дельфи позволяет учесть независимое мнение по обсуждаемому вопросу всех участников группы экспертов и прийти к единому решению, последовательно объединяя идеи, предложения и выводы.

Данный метод заключается в последовательном осуществлении процедур, направленных на формирование группового мнения по различным вопросам.

Метод Дельфи основывается на принципе, гласящем, что независимые эксперты (в большинстве случаев несвязанные и даже не знающие друг о друге) могут гораздо лучше оценить и предсказать результат, нежели чем специально организованный коллектив.

Выявление преобладающих суждений с помощью метода Дельфи позволяет сблизить точки зрения экспертов. Вместе с тем учитывается, что, несмотря на сближение оценок, различие будет существовать и в конце опроса.

Этапы

дельфи мозговой атака экспертный

Метод Дельфи осуществляется в несколько этапов:

.Предварительный. На этом этапе формируют группу экспертов, состоящую из специалистов, компетентных в обсуждаемом вопросе, и организационную (рабочую, аналитическую) группу для сбора и обобщения мнений экспертов.

.Основной. На этом этапе экспертам рассылается вопрос и предлагается разделить его на подвопросы. Организационная группа отбирает наиболее часто встречающиеся, таким образом составляется общий опросник, который рассылается экспертам. Далее экспертам предлагается ответить на вопросы: можно ли добавить ещё что-то; достаточно ли информации; есть ли дополнительная информация по вопросу. В итоге на основе их ответов, где есть дополнительные аспекты, запрос информации, предоставленная информация, составляется следующий опросник, который вновь рассылается экспертам, для того, чтобы они дали свой вариант решения и рассмотрели наиболее крайние точки зрения, высказанные другими экспертами. Эксперты должны оценить проблему по аспектам: эффективность, обеспеченность ресурсами, в какой степени соответствует изначальной постановке задачи. Таким образом выявляются преобладающие суждения экспертов, сближаются их точки зрения. Всех экспертов знакомят с доводами тех, чьи суждения сильно отличаются от мнения большинства. После этого все эксперты могут менять мнение, а процедура повторяется до тех пор, пока не достигается согласованность между экспертами, или не устанавливается отсутствие единого мнения по проблеме. При изучении причины расхождений в оценках экспертов выявляются незамеченные ранее аспекты проблемы, и фиксируется внимание на вероятных последствиях развития анализируемой проблемы или ситуации. Обычно проводится три этапа, но если мнения сильно расходятся - то больше.

.Аналитический. На этом этапе проводится проверка мнений экспертов, анализ полученных выводов, обработка результатов статистическими методами, обобщаются экспертные заключения, разрабатываются и выдаются конечные практические рекомендации по поставленной проблеме.

Схематически процедуру экспертного оценивания опроса по методу Дельфи можно изобразить следующим образом:


Особенности метода Дельфи

Особенностями метода Дельфи являются анонимность и заочность регулируемая обратная связь и многоуровневость, групповой ответ.

Анонимность и заочность процедур, используемых в методе Дельфи, обеспечивают отсутствие влияния наиболее авторитетных участников опроса на ответы остальных экспертов, исключает групповое влияние мнения большинства, даёт возможность проводить опрос экстерриториально, с помощью применения специальных вопросников, электронной или обычной почты, обеспечения контактом экспертов с ЭВМ.

Многоуровневые опросы дают более надежный и объективный результат. Регулируемая обратная связь уменьшает влияние индивидуальных и групповых интересов, не связанных с решаемыми проблемами с помощью многократности опросов и обработки результатов статистическими методами и сообщения их экспертам. С помощью статистических методов определения группового ответа можно уменьшить статистический разброс индивидуальных оценок и получить групповой ответ, в котором правильно отражено мнение каждого эксперта.

При проведении опроса по методу Дельфи необходимо соблюдать несколько условий:

-формулировки анкеты должны быть четкими и однозначно трактуемыми, предполагать однозначные ответы;

-поставленные вопросы должны допускать возможность выражения ответа в виде числа;.

-эксперты должны располагать достаточной информацией для того, чтобы дать оценку;

-ответ на каждый вопрос (оценка) должен быть обоснован экспертом;

-группы экспертов должны быть стабильными и численность их должна удерживаться в благоразумных рамках;

-время между турами опросов должно быть не более месяца;

-число туров должно быть достаточным, чтобы обеспечить всех участников возможностью ознакомиться с причиной той или иной оценки, а также и для критики этих причин;

-должен проводиться систематический отбор экспертов;

-необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам;

-нужна формула согласованности оценок, основанная на данных самооценок.

Практическое применение метода Дельфи

Метод Дельфи широко используется в стратегическом планировании, применим практически в любой ситуации, требующей прогнозирования. Данный метод исследования применяется в планировании в таких областях, как техника, бизнес, футурология, исследование космоса и др. Таким образом, можно сделать вывод о том, что метод Дельфи наиболее часто используется именно в областях, связанных с научно-техническим прогрессом.

Пример 1

Политическая сфера

Задача: дать максимально достоверный прогноз о том, какие шансы на лидерство в результате выборов депутатов Государственной думы Федерального собрания Российской Федерации VI созыва будут у политической партии Единая Россия.

.Формирование группы экспертов из 10 человек, которые являются представителями самых разных областей политической сферы (политические советник, журналист, политический публицист, партийный функционер, специалист в области избирательных технологий, независимый аналитик и т.д.), что делает исследование более объективным. Формирование аналитической группы.

.Экспертам по электронной почте рассылается первый вариант анкеты с вопросом «какие шансы на лидерство в результате выборов депутатов Государственной думы Федерального собрания Российской Федерации VI созыва будут у политической партии Единая Россия» и базовая информация по этой проблеме. Шансы партии нужно представить в виде цифр в диапазоне от 0 до 100.

.Эксперты дают себе индивидуальную самооценку в баллах в диапазоне от 0 до 10 и отвечают на вопрос, и отправляют свои ответы аналитикам. Экспертиза показала, что разброс ответов слишком велик. На основе полученных ответов рабочая группа составляет новую расширенную анкету.

.В течение 2 последующих туров эксперты отвечают на вопросы, запрашивают информацию, составляют дополнительные подвопросы, знакомятся с противоположными мнениями. Таким образом формируется окончательный вариант анкеты, с наименьшим разбросов в ответах экспертов. Ответы таковы:

№ эксперта12345678910Индивидуальная самооценка109789510978Шансы Единой России1001008090100801008090100

.Далее аналитическая группа обобщает мнения экспертов с помощью формулы:

где i=1…m - номера экспертов, m - число экспертов;i - оценка (в баллах), выставленная i-м экспертом данному элементу;

Yi - индивидуальная самооценка i-го эксперта.

медиана (Me) служит характеристикой группового ответа, при четном количестве элементов ранжированного ряда определяется как средняя арифметическая величина, которая рассчитывается из двух смежных величин. Me=(100+90):2=95;

область доверительности (предпочтительный интервал квартилей) - показатель разброса индивидуальных оценок - рассчитается следующим образом:

определяется минимальная и максимальная оценка из набора экспертизы - 80 и 100 соответственно, определяется квартиль (25% от начала и конца ряда) - 5, т.е. верхний квартиль (Qверх.) - верхняя граница области доверительности - равен 100- Qверх.=95, а нижний (Qниж.) - нижняя граница области доверительности - равен 100- Qниж.=85, отрезок Qверх. Qниж. - область доверительности, медиана Me - групповой ответ.

.Область доверительности заняла небольшой интервал, что указывает на то, что разброс во мнениях экспертов очень мал. И аналитическая группа, и группа экспертов довольны результатом, и его принимают как окончательный. Итоговое обобщенное мнение является основой для максимально достоверного прогноза о том, какие шансы на лидерство в результате выборов депутатов Государственной думы Федерального собрания Российской Федерации VI созыва будут у политической партии Единая Россия: шансы высоки, а именно 95 баллов (по стобальной шкале).

Пример 2

Духовная сфера

С помощью опроса по методу Дельфи сотрудники Нижегородского государственного художественного музея могут приблизительно узнать, насколько интересна будет нижегородцам предстоящая выставка литографий Сальвадора Дали из частной итальянской коллекции, какие группы населения она привлечет.

Пример 3

Экономическая сфера

На Сормовском хлебозаводе решено производить новый диетический хлеб. Метод Дельфи поможет определить, насколько велик будет спрос на этот товар и какой доход он принесет.


Социальная сфера

Минздравсоцразвитию необходимо составить список бесплатных лекарств для обеспечения ими населения. Анализ по методу Дельфи поможет узнать в каких лекарствах нуждается большинство людей, какие наиболее эффективны и т.д.

Заключение

Метод Дельфи - это систематический способ обобщения оценок экспертов.

Метод Дельфи - это групповой метод, при котором проводится индивидуальный опрос группы экспертов относительно их предположений о будущих событиях в различных областях, где ожидаются новые открытия или усовершенствования.

Опрос проводится с помощью специальных анкет, исключая личные контакты экспертов и коллективные обсуждения, т.е. анонимно. Полученные ответы сопоставляются специальными работниками, и обобщенные результаты снова направляются членам группы. На основе такой информации члены группы, по-прежнему сохраняя анонимность, делают дальнейшие предположения о будущем, причем этот процесс может повторяться несколько раз (так называемая многотуровая процедура опроса). После того как начинает появляться совпадение мнений, результаты используются в качестве прогноза.

Среди достоинств метода Дельфи можно выделить следующие: этот метод способствует выработке независимости мышления членов группы и обеспечивает спокойное и объективное изучение проблем, которые требуют оценки.

В тоже время, проведение опроса по методу Дельфи требует достаточно много времени и организационных усилий, а также наблюдается некоторая субъективность оценок.

Источники и литература

Монографии

Авдулов П.В., Гойзман Э.И., Кутузов В.А. и др. Экономико-математические методы и модели для руководителя. - М.: Экономика, 1984. - 232 с.

Агафонов В.А. Анализ стратегий и разработка комплексных программ. - М.: Наука, 1990. - 216с.

Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. 2-е изд., перераб. и доп. - М.: Статистика, 1980. - 264 с.

Математические методы в планировании отраслей и предприятий / Под ред. И.Г. Попова. - М.: Энергия, 1973. - 376 с.

Учебники и учебные пособия

Бобровников Г.Н., Клебанов А.И. Прогнозирование в управлении техническим уровнем и качеством продукции: Учеб. пособие. - М.: Изд-во стандартов, 1984. - 232с.

Электронные ресурсы

Энциклопедия Экономиста. Web: #"justify">Кузьмин А.М. Метод Дельфи. Электронный ресурс // Inventech, Центр креативных технологий. - М. Web: http://inventech.ru/pub/methods/metod-0013.

Метод Дельфи – это метод быстрого поиска решений, основанный на их генерации в процессе «мозговой атаки», проводимой группой специалистов, и отбора лучшего решения, исходя из экспертных оценок.

Метод Дельфи используется в тех случаях, когда требуется оценка эффективности решений. Он применим, как в повседневной жизни, так и в профессиональной сфере деятельности.

Метод Дельфи позволяет учитывать мнение разных людей, имеющих отношения к тому или иному вопросу, с помощью последовательного объединения соображений, предложений и результатов.

Вследствие всех этих действий становится возможным прийти к какому-либо конкретному соглашению.

Главной задачей Дельфийского метода было прогнозирование воздействия разработок будущего на способы ведения военных действий. Свое название метод получил в честь известного Дельфийского оракула.

Особенности метода Дельфи

Помня о том, что этот метод позволяет проводить экспертное оценивание, главными его особенностями является анонимность, заочность и многоуровневость.

Основной предпосылкой служит идея о том, что если соответствующим образом проанализировать индивидуальные оценки экспертов, в том или ином вопросе, можно получить общее мнение, которое окажется предельно надежным и достоверным.

Мораль метода Дельфи заключается в том, что при помощи определенных приемов, таких как мозговые штурмы, опросы или интервью, удается отыскать способ для определения правильного решения.

То есть группа независимых друг от друга экспертов может гораздо лучше дать оценку той или иной ситуации, нежели структурированная группа людей. Поскольку участники могут даже не знать о существовании друг друга, – это полностью исключает столкновение их интересов и мнений.

Еще одной положительной стороной метода Дельфи является то, что он может проводиться где угодно, независимо от местонахождения его участников.

В ходе использования данного метода принимают участие две группы людей:

  • 1-я группа – это эксперты, имеющие свою точку зрения по какому-то вопросу.
  • 2-я группа – это аналитики, приводящие все мнения к единому знаменателю.

Этапы метода Дельфи

Дельфийский метод состоит из нескольких этапов. Рассмотрим их по порядку.

Предварительный этап

На этом этапе происходит отбор экспертной группы. Он может состоять из разного количества людей, но лучше всего, если их количество не будет превышать 20.

Основной этап

  • Постановка проблемы. Экспертам предоставляют на рассмотрение главный вопрос, а их задача заключается в том, чтобы разбить его на несколько более мелких. Аналитики отбирают наиболее распространенные вопросы и составляют общий опросник.
  • Сформированный опросник снова представляется на рассмотрение экспертам. Им следует подумать, что можно добавить в него или, как можно еще дополнить информацию в отношении проблемы. В результате этого получается 20 ответов (в том случае если было 20 экспертов) с подробной информацией. Затем аналитики составляют еще один опросник.
  • Новый опросник заново предоставляется на рассмотрение экспертам. На этом этапе они должны предоставить свои способы решения поставленной перед ними задачи и проанализировать мнение своих коллег. В случае если чьи-то мнения расходятся с мнением большинства, – они должны быть озвучены. В результате этого, эксперты вполне могут изменить свое мнение, после чего данный этап повторяется вновь.
  • Такие шаги повторяются до тех пор, пока экспертная группа не придет к какому-то единому мнению. В это время аналитики тщательно следят за размышлениями экспертов, и при необходимости могут указывать на какие-либо ошибки или недочеты с их стороны. В самом конце подводится итог и составляются практические рекомендации по решению поставленной задачи.

Аналитический этап

На третьем этапе проверяется согласованность мнений каждого отдельно взятого эксперта. Анализируются полученные результаты и разрабатываются окончательные рекомендации.

Экспертные методы Дельфи

Помимо основного принципа действия метода Дельфи, существуют и другие его модификации. Самая известная из них включает в себя бесструктурный этап.

Она полезна в том случае, если исследование направлено на поиск чего-то конкретного, а авторам исследования не удается сразу увидеть проблему в форме специализированных вопросов. В этом случае уже на этапе формирования задачи привлекают экспертов.

Также существует «Экспресс-Дельфи». Этот метод используется для того, чтобы сократить время, затраченное на осуществление аналитического этапа.

Каждый эксперт на протяжении определенного времени находится за своим компьютером. При этом все компьютеры подчинены руководителю мероприятия.

После того, как эксперты предлагают свои решения в ускоренном режиме, аналитикам, как и раньше, необходимо быстро оценивать действия экспертной группы. Важную роль в таком процессе играет скорость обработки материала.

Однако у метода «Экспресс-Дельфи» есть и свои недостатки. Из-за оперативности всех действий, экспертам не предоставляется возможности хорошо обдумать поставленную перед ними проблему, а также оценить мнение своих коллег.

Недостатки метода Дельфи

Невзирая на то, что метод Дельфи очень эффективен в своем роде, у него есть некоторые недостатки.

После того как он был разработан в 60-х годах прошлого века, его сразу же подвергли серьезной критике. Вот некоторые из основных претензий критиков:

  • У организаторов мероприятия, по отношению к экспертной группе, гораздо больше полномочий. Из-за этого эксперты в каком-то смысле остаются беззащитными.
  • Мнение коллектива далеко не всегда является правильным.
  • Аналитики могут отвергнуть некоторые креативные решения, имеющие меньшее количество сторонников, а ведь они в свою очередь могут быть наиболее эффективными.
  • Исключен оперативный анализ, поскольку для осуществления последнего этапа, необходимо много времени. Каждый этап анализа может занимать около суток.
  • Эксперты могут поддаваться давлению группы, что в свою очередь может лишить их собственного мнения.
  • Организаторы могут манипулировать экспертами.

Выявив перечисленные недостатки метода Дельфи, специалистами были предложены разные варианты из устранения:

  • Организаторы должны принадлежать к разным социальным и научным направлениям.
  • Одну и ту же задачу нужно рассматривать с разными группами.
  • Важно не забывать о креативных вариантах решения задач.

Метод Дельфи очень популярен на Западе, в то время как в он применялся крайне редко. В основном его используют крупные организации, в которых уделяется серьезное внимание вопросам стратегического планирования.

Метод Дельфи способен помочь решить разные вопросы, как в жизни отдельно взятого человека, так и какой-либо организации. С его помощью можно добиться оригинального решения абсолютно любых проблем и задач.

Теперь вы знаете, что такое метод Дельфи, и как он работает. Если вам понравилась данная статья – поделитесь ею в социальных сетях.

Если же вам вообще нравится , и – подписывайтесь на сайт I nteresnye F akty.org . С нами всегда интересно!

Введение


Метод «Дельфи» - метод быстрого поиска решений, основанный на их генерации в процессе мозговой атаки, проводимой группой специалистов, и отбора лучшего решения исходя из экспертных оценок. Дельфийский метод используется для экспертного прогнозирования путем организации системы сбора и математической обработки экспертных оценок.

Метод Дельфи (другие названия: «Дельфийский метод», «Метод дельфийского оракула») появился в 1950-1960 годы в США для исследования военно-стратегических и военно-технических проблем. Разработан корпорацией RAND, авторами являются О. Хелмер, Т. Гордон, Н. Долки.

Метод Дельфи является методом экспертных оценок.

Метод экспертных оценок - метод анализа и оценки экономических процессов, выработки управленческих решений на основе мнения квалифицированных экспертов. Включает генерацию идей в процессе обсуждения, проводимого группой специалистов, и отбора лучшего решения исходя из экспертных оценок. Метод используется для экспертного прогнозирования. Этот метод применяется при неопределенности значимости факторов.

Метод Дельфи является наиболее формальным из всех методов экспертного прогнозирования и чаще всего используется в технологическом прогнозировании, данные которого применяются потом в планировании производства и сбыта продукции.


Суть метода Дельфи


Целью метода Дельфи является получение согласованной максимально достоверной информации для принятия правильного решения.

Метод Дельфи - способ выбора и оценки решения по проблемам, по которым ощущается недостаток информации.

Метод Дельфи позволяет учесть независимое мнение по обсуждаемому вопросу всех участников группы экспертов и прийти к единому решению, последовательно объединяя идеи, предложения и выводы.

Данный метод заключается в последовательном осуществлении процедур, направленных на формирование группового мнения по различным вопросам.

Метод Дельфи основывается на принципе, гласящем, что независимые эксперты (в большинстве случаев несвязанные и даже не знающие друг о друге) могут гораздо лучше оценить и предсказать результат, нежели чем специально организованный коллектив.

Выявление преобладающих суждений с помощью метода Дельфи позволяет сблизить точки зрения экспертов. Вместе с тем учитывается, что, несмотря на сближение оценок, различие будет существовать и в конце опроса.


Этапы

дельфи мозговой атака экспертный

Метод Дельфи осуществляется в несколько этапов:

.Предварительный. На этом этапе формируют группу экспертов, состоящую из специалистов, компетентных в обсуждаемом вопросе, и организационную (рабочую, аналитическую) группу для сбора и обобщения мнений экспертов.

.Основной. На этом этапе экспертам рассылается вопрос и предлагается разделить его на подвопросы. Организационная группа отбирает наиболее часто встречающиеся, таким образом составляется общий опросник, который рассылается экспертам. Далее экспертам предлагается ответить на вопросы: можно ли добавить ещё что-то; достаточно ли информации; есть ли дополнительная информация по вопросу. В итоге на основе их ответов, где есть дополнительные аспекты, запрос информации, предоставленная информация, составляется следующий опросник, который вновь рассылается экспертам, для того, чтобы они дали свой вариант решения и рассмотрели наиболее крайние точки зрения, высказанные другими экспертами. Эксперты должны оценить проблему по аспектам: эффективность, обеспеченность ресурсами, в какой степени соответствует изначальной постановке задачи. Таким образом выявляются преобладающие суждения экспертов, сближаются их точки зрения. Всех экспертов знакомят с доводами тех, чьи суждения сильно отличаются от мнения большинства. После этого все эксперты могут менять мнение, а процедура повторяется до тех пор, пока не достигается согласованность между экспертами, или не устанавливается отсутствие единого мнения по проблеме. При изучении причины расхождений в оценках экспертов выявляются незамеченные ранее аспекты проблемы, и фиксируется внимание на вероятных последствиях развития анализируемой проблемы или ситуации. Обычно проводится три этапа, но если мнения сильно расходятся - то больше.

.Аналитический. На этом этапе проводится проверка мнений экспертов, анализ полученных выводов, обработка результатов статистическими методами, обобщаются экспертные заключения, разрабатываются и выдаются конечные практические рекомендации по поставленной проблеме.

Схематически процедуру экспертного оценивания опроса по методу Дельфи можно изобразить следующим образом:

Особенности метода Дельфи


Особенностями метода Дельфи являются анонимность и заочность регулируемая обратная связь и многоуровневость, групповой ответ.

Анонимность и заочность процедур, используемых в методе Дельфи, обеспечивают отсутствие влияния наиболее авторитетных участников опроса на ответы остальных экспертов, исключает групповое влияние мнения большинства, даёт возможность проводить опрос экстерриториально, с помощью применения специальных вопросников, электронной или обычной почты, обеспечения контактом экспертов с ЭВМ.

Многоуровневые опросы дают более надежный и объективный результат. Регулируемая обратная связь уменьшает влияние индивидуальных и групповых интересов, не связанных с решаемыми проблемами с помощью многократности опросов и обработки результатов статистическими методами и сообщения их экспертам. С помощью статистических методов определения группового ответа можно уменьшить статистический разброс индивидуальных оценок и получить групповой ответ, в котором правильно отражено мнение каждого эксперта.

При проведении опроса по методу Дельфи необходимо соблюдать несколько условий:

-формулировки анкеты должны быть четкими и однозначно трактуемыми, предполагать однозначные ответы;

-поставленные вопросы должны допускать возможность выражения ответа в виде числа;.

-эксперты должны располагать достаточной информацией для того, чтобы дать оценку;

-ответ на каждый вопрос (оценка) должен быть обоснован экспертом;

-группы экспертов должны быть стабильными и численность их должна удерживаться в благоразумных рамках;

-время между турами опросов должно быть не более месяца;

-число туров должно быть достаточным, чтобы обеспечить всех участников возможностью ознакомиться с причиной той или иной оценки, а также и для критики этих причин;

-должен проводиться систематический отбор экспертов;

-необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам;

-нужна формула согласованности оценок, основанная на данных самооценок.


Практическое применение метода Дельфи


Метод Дельфи широко используется в стратегическом планировании, применим практически в любой ситуации, требующей прогнозирования. Данный метод исследования применяется в планировании в таких областях, как техника, бизнес, футурология, исследование космоса и др. Таким образом, можно сделать вывод о том, что метод Дельфи наиболее часто используется именно в областях, связанных с научно-техническим прогрессом.


Пример 1


Политическая сфера

Задача: дать максимально достоверный прогноз о том, какие шансы на лидерство в результате выборов депутатов Государственной думы Федерального собрания Российской Федерации VI созыва будут у политической партии Единая Россия.

Решение методом Дельфи:

.Формирование группы экспертов из 10 человек, которые являются представителями самых разных областей политической сферы (политические советник, журналист, политический публицист, партийный функционер, специалист в области избирательных технологий, независимый аналитик и т.д.), что делает исследование более объективным. Формирование аналитической группы.

.Экспертам по электронной почте рассылается первый вариант анкеты с вопросом «какие шансы на лидерство в результате выборов депутатов Государственной думы Федерального собрания Российской Федерации VI созыва будут у политической партии Единая Россия» и базовая информация по этой проблеме. Шансы партии нужно представить в виде цифр в диапазоне от 0 до 100.

.Эксперты дают себе индивидуальную самооценку в баллах в диапазоне от 0 до 10 и отвечают на вопрос, и отправляют свои ответы аналитикам. Экспертиза показала, что разброс ответов слишком велик. На основе полученных ответов рабочая группа составляет новую расширенную анкету.

.В течение 2 последующих туров эксперты отвечают на вопросы, запрашивают информацию, составляют дополнительные подвопросы, знакомятся с противоположными мнениями. Таким образом формируется окончательный вариант анкеты, с наименьшим разбросов в ответах экспертов. Ответы таковы:


№ эксперта12345678910Индивидуальная самооценка109789510978Шансы Единой России1001008090100801008090100

где i=1…m - номера экспертов, m - число экспертов;i - оценка (в баллах), выставленная i-м экспертом данному элементу;

Yi - индивидуальная самооценка i-го эксперта.

медиана (Me) служит характеристикой группового ответа, при четном количестве элементов ранжированного ряда определяется как средняя арифметическая величина, которая рассчитывается из двух смежных величин. Me=(100+90):2=95;

область доверительности (предпочтительный интервал квартилей) - показатель разброса индивидуальных оценок - рассчитается следующим образом:

определяется минимальная и максимальная оценка из набора экспертизы - 80 и 100 соответственно, определяется квартиль (25% от начала и конца ряда) - 5, т.е. верхний квартиль (Qверх.) - верхняя граница области доверительности - равен 100- Qверх.=95, а нижний (Qниж.) - нижняя граница области доверительности - равен 100- Qниж.=85, отрезок Qверх. Qниж. - область доверительности, медиана Me - групповой ответ.

.Область доверительности заняла небольшой интервал, что указывает на то, что разброс во мнениях экспертов очень мал. И аналитическая группа, и группа экспертов довольны результатом, и его принимают как окончательный. Итоговое обобщенное мнение является основой для максимально достоверного прогноза о том, какие шансы на лидерство в результате выборов депутатов Государственной думы Федерального собрания Российской Федерации VI созыва будут у политической партии Единая Россия: шансы высоки, а именно 95 баллов (по стобальной шкале).


Пример 2


Духовная сфера

С помощью опроса по методу Дельфи сотрудники Нижегородского государственного художественного музея могут приблизительно узнать, насколько интересна будет нижегородцам предстоящая выставка литографий Сальвадора Дали из частной итальянской коллекции, какие группы населения она привлечет.


Пример 3


Экономическая сфера

На Сормовском хлебозаводе решено производить новый диетический хлеб. Метод Дельфи поможет определить, насколько велик будет спрос на этот товар и какой доход он принесет.


Пример 4


Социальная сфера

Минздравсоцразвитию необходимо составить список бесплатных лекарств для обеспечения ими населения. Анализ по методу Дельфи поможет узнать в каких лекарствах нуждается большинство людей, какие наиболее эффективны и т.д.


Заключение


Метод Дельфи - это систематический способ обобщения оценок экспертов.

Метод Дельфи - это групповой метод, при котором проводится индивидуальный опрос группы экспертов относительно их предположений о будущих событиях в различных областях, где ожидаются новые открытия или усовершенствования.

Опрос проводится с помощью специальных анкет, исключая личные контакты экспертов и коллективные обсуждения, т.е. анонимно. Полученные ответы сопоставляются специальными работниками, и обобщенные результаты снова направляются членам группы. На основе такой информации члены группы, по-прежнему сохраняя анонимность, делают дальнейшие предположения о будущем, причем этот процесс может повторяться несколько раз (так называемая многотуровая процедура опроса). После того как начинает появляться совпадение мнений, результаты используются в качестве прогноза.

Среди достоинств метода Дельфи можно выделить следующие: этот метод способствует выработке независимости мышления членов группы и обеспечивает спокойное и объективное изучение проблем, которые требуют оценки.

В тоже время, проведение опроса по методу Дельфи требует достаточно много времени и организационных усилий, а также наблюдается некоторая субъективность оценок.


Источники и литература


Монографии

Авдулов П.В., Гойзман Э.И., Кутузов В.А. и др. Экономико-математические методы и модели для руководителя. - М.: Экономика, 1984. - 232 с.

Агафонов В.А. Анализ стратегий и разработка комплексных программ. - М.: Наука, 1990. - 216с.

Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. 2-е изд., перераб. и доп. - М.: Статистика, 1980. - 264 с.

Математические методы в планировании отраслей и предприятий / Под ред. И.Г. Попова. - М.: Энергия, 1973. - 376 с.

Учебники и учебные пособия

Бобровников Г.Н., Клебанов А.И. Прогнозирование в управлении техническим уровнем и качеством продукции: Учеб. пособие. - М.: Изд-во стандартов, 1984. - 232с.

Электронные ресурсы

Энциклопедия Экономиста. Web: #"justify">Кузьмин А.М. Метод Дельфи. Электронный ресурс // Inventech, Центр креативных технологий. - М. Web: http://inventech.ru/pub/methods/metod-0013.


Репетиторство

Нужна помощь по изучению какой-либы темы?

Наши специалисты проконсультируют или окажут репетиторские услуги по интересующей вас тематике.
Отправь заявку с указанием темы прямо сейчас, чтобы узнать о возможности получения консультации.

Сущность метода «Дельфи»

Метод Дельфи (Дельфы - древнегреческий город, располагавшийся у подножия горы Парнас, где находился так называемый дельфийский оракул) на сегодня представляет собой совокупность способов организации проведения экспертизы, опроса экспертов, обработки и оценки их результатов, получения группового заключения, удовлетворяющих определенным общим требованиям.

Метод Дельфи первоначально был предложен О. Хелмером как итеративная процедура при проведении мозговой атаки, которая должна помочь снизить влияние психологических факторов при проведении повторных заседаний и повысить объективность результатов. Однако почти одновременно Дельфи-процедуры стали основным средством повышения объективности экспертных опросов с использованием количественных оценок при оценке деревьев цели и при разработке сценариев.

Процедура Дельфи-метода:

в упрощенном виде организуется последовательность циклов мозговой атаки;

в более сложном виде разрабатывается программа последовательных индивидуальных опросов обычно с помощью вопросников, исключая контакты между экспертами, но предусматривающая ознакомление их с мнениями друг друга между турами; вопросники от тура к туру могут уточняться;

в наиболее развитых методиках экспертам присваиваются весовые коэффициенты значимости их мнений, вычисляемые на основе предшествующих опросов, уточняемые от тура к туру и учитываемые при получении обобщенных результатов оценок.

Первое практическое применение метода Дельфи к решению некоторых задач Министерства обороны США во второй половине 40-х годов, показало его эффективность и целесообразность распространения на широкий класс задач, связанных с оценкой будущих событий.

Исследуемые проблемы: научные открытия, рост народонаселения, автоматизация производства, освоение космоса, предотвращение войны, военная техника. Результаты статистической обработки мнений экспертов позволили нарисовать вероятную картину будущего мира в указанных шести аспектах. Была оценена также степень согласованности мнений экспертов, которая оказалась приемлемой после проведения четырех туров опроса.

Сущность метода заключается в организации итерационного (многотурового) процесса выявления суждений экспертов по возможным альтернативам исследуемого объекта с последовательным сужением размаха в оценках экспертов соответствующих альтернатив на основе предоставления им дополнительной информации на второй и последующих итерациях с целью выявления одной или нескольких обоснованных точек зрения экспертной комиссии по исследуемому объекту. Данный метод предполагает использование серии анкет, в каждой из которых содержаться информация и мнения, полученные из предыдущей анкеты.

При реализации метода должны выполняться следующие требования:

анонимность каждого включенного в проведение экспертизы эксперта и информации по сути исследуемого объекта, сгенерированной конкретным экспертом в процессе проведения экспертизы;

наличие обратной связи в процессе проведения экспертизы, выражающейся в передаче на последующем шаге (туре) другим экспертам анонимной информации, сгенерированной конкретными экспертами на предшествующем шаге, для принятия решения по уточнению своих оценок;

получение групповой оценки на основе обработки индивидуальных оценок членов группы. При этом значимым является обеспечение возможности давать экспертам ответы на поставленные вопросы преимущественно в количественной форме, организация достаточной информированности экспертов, системное обоснование своих точек зрения экспертами.

Область применения метода: прогноз развития науки и техники, будущих открытий и изобретений, для которых нет достаточной теоретической базы в момент составления прогноза, а также составление картины будущего мира, долгосрочного прогнозирования, изучения ряда экономических и социальных проблем.

Сбор и обработка индивидуальных мнений экспертов о прогнозах развития объекта исследования производится исходя из следующих принципов:

вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;

опрос экспертов проводится в несколько этапов, на каждом последующем этапе вопросы и ответы все более уточняются;

после каждого этапа всех опрашиваемых экспертов знакомят с результатами опроса;

эксперт обосновывают оценки и мнения, отклоняющие от мнения большинства;

статическая обработка ответов производится последовательно, от этапа к этапу, с целью получения обобщающих характеристик.

Опрос экспертов производится в четыре этапа с промежутками в один месяц.

Разумеется, еще до первого этапа должны быть проведены подготовительные мероприятия с экспертами.

Первый этап. Целью первого этапа является составление перечня событий для прогноза в определенной области науки и техники.

Первая анкета может быть полностью бесструктурной и допускать любые ответы.

Эксперты в письменной форме называют изобретения, или научные открытия, которые, по их мнению, должны быть сделаны в последующие 50 лет (можно взять и другой период). При этом требуется доказать, что потребность в данных открытиях ощущается уже в настоящее время, поэтому их реализация должна осуществиться в течение 50 лет. В результате этого этапа эксперты называют определенное число событий (изобретений и открытий).

После того как прогнозы группы возвратились к организатору, он должен объединить их, идентифицировать и составить перечень, который становится основой второй анкеты.

Второй этап. Экспертам направляют свободный перечень событий и просят оценить даты, когда могут произойти эти события. Эксперты приводят соображения, по которым они считают свои оценки правильными, т.е. указать причины того, почему, по их мнению, то или иное событие не должно произойти раньше или позже прогнозируемой ими даты.

После того как прогнозы и оценки дат, сделанные членами группы, вернулись к организатору, последний должен подготовить статическую сводку мнений, упоминая аргументы и доводы в пользу того, что рассматриваемое событие произойдет раньше или позже средней оценки.

Успеху экспертизы способствует предоставление эксперту дополнительной информации о предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку промежуточных и окончательных результатов экспертизы.

Аналитическая группа определяет экспертов, высказавших «крайние» точки зрения, давших самую высокую и самую низкую оценку альтернативе, усредненное мнение экспертов -- медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативе, выше и ниже которых расположены 25% численных значений оценок. Расстояние между квартилиями характеризует разброс экспертных оценок, и тем самым характеризует согласованность точек зрения экспертов.

Вводятся следующие обозначения:

Q0 -- значение наиболее ранней оценки;

Q0,25 -- значение оценки, определяющей 25% наиболее ранних оценок (из всех имеющихся), -- нижний квартиль;

Q0,5 -- значение оценки разделяющей упорядоченную по оси времени совокупность оценок на две равные по количеству оценок части -- медиана;

Q0,75 -- значение оценки, определяющей 25% наиболее поздних оценок (из всех имеющихся), -- верхний квартиль;

Q1,0 -- значение наиболее поздней оценки;

Значение Q0,15 принимается за показатель обобщенного мнения экспертов об ожидаемом времени свершения определенного события.

Степень согласованности мнений экспертов определяют коэффициентом вариации n.

xi - оценка каждого эксперта;

x- число экспертов, участвующих в экспертизе.

Затем аналитики проводят статическую обработку полученных оценок: уточняют перечень событий и анализирует характеристики ряда, т.е. рассчитывают медианы, моды, квартили и децили.

Под медианой понимается такое значение прогнозируемого признака, которым обладает центральный член ряда, составленного в порядке возрастания значений признака. Под модой понимается наиболее часто встречающееся в ранжированном ряду значение прогнозируемого признака. Квартилем называется значение прогнозируемого признака, которым обладают члены ряда под номером, представляющим ј всего ряда (нижний квартиль) и ѕ от всего ряда (верхний квартиль). Аналогично определяются децили.

Предположим, что от экспертов получено какое - либо число оценок. Эти оценки упорядочиваются, скажем, в порядке убывания. За медиану принимается средний член ряда (при нечетном числе экспертов), по отношению к которому число оценок с начала и с конца ряда будет одинаковым.

При четном числе экспертов медиана равна среднему из значений оценок двух центральных экспертов. В нашем случае - нечетное число экспертов 11, медиана будет совпадать с оценкой N6 (рисунок 3). Затем определяются верхний и нижний квартили, т.е. интервалы Q1Me и Q3Me. Величины этих квартилей в первом приближении равны значениям оценок ряда в интервале, равном 25% от начала и 25% от конца ряда. Таким образом, медиана и квартили образуют на оси ряда четыре интервала, среди которых два средних и считаются наиболее предпочтительными. Полученные таким образом показатели принимаются за характеристики распределения оценок: медиана служит характеристикой группового ответа, а предпочтительный интервал квартилей - показателем разброса индивидуальных оценок.

Каждому эксперту сообщаются значения этих характеристик. Экспертов, чьи оценки оказались в крайних квартилях, просят их мотивировать, т.е. обосновать причины расхождения с групповым мнением. Эксперты могут приводить любые аргументы или возрождения, такие же, какие они приводят во время дискуссии. Разница заключается лишь в том, что эти аргументы анонимны. Они могут пересмотреть свои мнения и при желании исправить оценки.

С полученными обоснованиями знакомят остальных экспертов, не указывая при этом, чьи они. Такая процедура позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми пренебрегли во время первого и второго этапа.

Третий этап. Третья анкета состоит из перечня событий, групповой медианы, дат наступления события, верхнего и нижнего квартилей для каждого события, а также сводных данных о причинах более ранних или поздних оценок. Участники экспертизы вновь рассматривают аргументы и формулируют новые оценки по каждому событию. Если их новая оценка не попала в интервалы между квартилями, полученными на втором этапе опроса, то их просят обосновать свою точку зрения.

После того как пересмотренные оценки и новые аргументы возвратились к организатору, он опять должен суммировать оценки группы, рассчитав новые медианы и новые квартили, суммировать аргументы, представленные с обеих сторон, и подготовить на этой основе новые прогнозы.

Четвертый этап. Участникам экспертизы вновь передают перечень событий, статическое описание оценок группы и аргументы обеих сторон.

Эксперты должны принять во внимание аргументы и их критику и составить новый прогноз.

Организатор рассчитывает медианы и квартили дат каждого события. На этом заканчивается работа экспертов.

Процедуры, используемые в методе Дельфи, характеризуется тремя основными чертами: анонимность, регулируемой обратной связью и групповым ответом. Анонимность достигается применением специальных вопросников или другими способами индивидуального опроса, регулируемая обратная связь осуществляется за счет проведения нескольких этапов опроса, причем результаты каждого этапа обрабатываются и сообщаются экспертам. С помощью статических методов группового ответа уменьшается статический разброс индивидуальных оценок и получается групповой ответ, в котором правильно отражено мнение каждого эксперта.

При прогнозировании, в целях минимизации расходов, на прогноз стараются привлекать минимальное число экспертов при условии обеспечения ошибки результата прогнозирования не более b, где 0

Рекомендуют определять минимальное число экспертов по формуле: Nmin=0,5(3/b+5) . При этом должна наблюдаться стабилизация средней оценки прогнозируемой характеристики. О достижении этой стабилизации свидетельствует тот факт, что включение или исключение эксперта из группы не изменяет относительную оценку искомой величины более, чем на b.

При использовании метода «Дельфи» следует учитывать следующее:

  • 1. Группы экспертов должны быть стабильными и численность их должна удерживаться в благоразумных рамках.
  • 2. Время между турами опросов должно быть не более месяца.
  • 3. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.
  • 4. Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомится с причиной той или иной оценки, а также и для критики этих причин.
  • 5. Должен проводиться систематический отбор экспертов.
  • 6. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.
  • 7. Нужна формула согласованности оценок, основанная на данных самооценок.
  • 8. Следует установить влияние общественного мнения на экспертные оценки и на сходимость этих оценок.
  • 9. Необходимо установить влияние различных видов передачи информации экспертам по каналам обратной связи.

Следует также отметить, что использование меридианы и квартилей в методе «Дельфи» имеет помимо положительной стороны и отрицательную. В частности при рассмотрении оценок группы экспертов оценка, слишком сильно отличающаяся от других, практически исключается, не смотря на то, что она может оказаться более верной, чем остальные, т.е. большинство экспертов могут сойтись в ошибочной оценке.

В последние годы разработан ряд модификаций метода Дельфи. В этих модификациях изменяются многие элементы методики, используемой в классическом методе Дельфи, но принцип группового ответа соблюдается. Метод структуризации относится к модифицированным методам Дельфи.

Здравствуйте, уважаемые читатели! Метод дельфи это особый инструмент, позволяющий разработать оптимальные решения какой-либо сложности, а также провести качественную оценку этих решений и, конечно же, спрогнозировать дальнейшие события.

Немного истории

Название взяло начало благодаря Дельфийскому Оракулу. Изначально этот метод был создан Олафом Хэлмером, Норманом Дэлки и Николасом Решером для того чтобы предугадать, какое влияние окажут научные открытия будущего на способы ведения военных действий. Это случилось примерно в 1950—1960 годы в Санта Монике.

Учёные трудились в исследовательском центре «RAND», пытаясь изобрести инструмент, позволяющий прогнозировать точные события. Когда его удалось закончить, именно Каплан (он был сотрудником и профессором Калифорнийского университета) дал ему такое название. Если помните, храм Делфи являлся местом, где систематизировалась и аккумулировалась информация, её записывали на специальные пластины и считали истинной и единственно верной.

По такому же принципу строилась работа и современного оракула. Только информация о будущем появляется не благодаря провидцам, а от обычных людей, компетентных в той сфере, где возникла сложность. Происходит это с помощью анкетирования, в письменном или в электронном виде.

Структура

  1. Изначально подбирается группа экспертов. Количество участников не ограничено, но рекомендуется не более 20 человек, иначе получение результатов значительно затянется, да и усложнится процесс работы.
  2. Когда экспертный состав готов, каждый из специалистов получает одинаковую задачу – обработав тему вопроса, составить план исследования и вопросник, или же просто разбить проблему на более мелкие сложности.
  3. Далее подбирается группа аналитиков, которые рассматривают все созданные экспертами списки и выделяют из них схожие моменты. После чего создают уже новый вопросник, на основе полученных общих данных и отправляют обратно.
  4. Теперь эксперты вносят дополнения и свои коррективы в обновлённый общий список. То есть мы получаем, к примеру, 20 разнообразных мнений и взглядов на одну и ту же проблему.
  5. Скорректированный вопросник отсылается опять к аналитикам, которые пытаются обнаружить схожести в ответах, чтобы создать обновления и отправить обратно, чтобы группа на этот раз разработала свои пути решения проблемы. В этот период оценивается эффективность и актуальность предложенных способов, а также осуществляется проверка ресурсов, необходимых для реализации задуманных действий.
  6. Аналитики опять пытаются проанализировать ответы. Если они обнаруживают кардинально различные точки зрения, то обязательно выносят их на обсуждение, чтобы предыдущая группа, в свою очередь, или привела аргументы в защиту своих идей, или пересмотрела их адекватность и уместность.
  7. Каждый шаг будет повторяться до тех пор, пока не исчезнут все риски и «слабые места», и, конечно же, пока все специалисты не придут к единому мнению. Желательно, чтобы таких туров было не более 5, иначе утратится большая часть необходимой и ценной информации. А промежуток между ними – не более одного месяца.

Вариации

Вышеописанный метод считается классическим, но существуют ситуации, когда решение необходимо принять в максимально краткие сроки, поэтому активной популярностью пользуется «Экспресс — Делфи». Он позволяет проанализировать проблему и прийти к единому мнению буквально за несколько часов, необходимо только подготовить хорошую техническую базу.

То есть, у каждого участника должен быть компьютер, подключённый к одной общей сети. Весь процесс анализа и выбора наиболее оптимального варианта проводится ускоренно, без глубокой обработки предоставленного материала. Несмотря на то, что этот метод очень удобный и эффективный, у него есть один недостаток, существенно влияющий на результат – из-за ограниченности по времени, специалисты не успевают тщательно обдумать стоящую перед ними задачу и дать объективную оценку заключениям остальных.

Тут даже не стоит приводить какой-то пример, вы и сами знаете, чем обычно заканчивается спешка и невнимательность к деталям. Поэтому, если от этого способа будет зависеть чья-то жизнь или здоровье, то лучше воспользоваться традиционной пошаговой инструкцией с соблюдением временных рамок.

  • Привлекать рекомендуется компетентных специалистов, которые обладают знаниями касательно возникшей проблемы. Только не общей направленности, а из разных сфер, тогда можно будет рассмотреть вопрос под разными углами, согласовав выводы экспертов.
  • Прежде, чем начинать работу, используя метод Делфи, необходимо уточнить такую информацию:
    — Как именно будет строиться работа? То есть, где будут находиться участники, каким образом они будут анализировать информацию и куда отправлять результаты.
    — Кто будет ответственным за принятие окончательного решения? Кто решит, что достаточно и пора завершать этот процесс?
    — Существуют ли ещё способы, с помощью которых возможно было бы проконтролировать и перепроверить результаты?
    — Примерно, какие варианты вы ожидаете получить в итоге? Чего именно добиваетесь?
  • Предоставляйте специалистам время для того чтобы подумать над своими выводами, а также приобрести новые знания по теме.

В каких случаях применяется?

Дельфи позволяет осуществлять прогнозирование путём систематизации мнений о какой-либо ситуации различных групп людей. Поэтому применяется, в основном для того чтобы произвести оценку долгосрочных проблем, идентифицировать тему и построить суждение на основе различных утверждений.

В комплексе с другими техниками окажется прекрасным инструментом, на который можно будет опираться в дальнейшем. Используется чаще всего для того чтобы рассмотреть как личные перспективы в будущем, так и технические, организационные.

Преимущества и недостатки

Участники не пересекаются между собой, они даже могут быть не знакомы друг с другом и не иметь понятия, с кем согласовывают своё мнение в процессе. А это удобно для тех, кто испытывает чрезмерное напряжение от самой мысли, что придётся с кем-то общаться и отстаивать своё мнение, аргументировать точку зрения и прочее. К тому же имеет влияние и тип темперамента на качество работы, ведь каким бы ни был профессионалом своего дела человек с интровертной акцентуацией характера, ему будет намного легче дать свою оценку происходящему, не вступая в прямой контакт с остальными участниками процесса.
+ Отсутствует давление на экспертов, с целью добиться определённых выводов. Поэтому исследование будет проходить без подтасовки результатов, что важно для получения максимально честных и объективных суждений.

— Количество участников нестабильно, так как процесс трудоёмкий и длительный по времени, отчего люди по разным причинам могут «выпадать».
— Если большинство членов группы будут обладать поверхностными знаниями о возникшей сложности, в силу неопытности и прочее, то и соответственно, такие поверхностные и ошибочные решения будут приняты во внимание.

Заключение

А на сегодня всё, уважаемые читатели! Практическое применение этого способа подходит больше для компаний и корпораций, если же вы хотите проанализировать ситуацию с включением меньшего количества людей, или даже самостоятельно, то рекомендую подписаться на обновления или вступить в группы соц.сетей. В ближайшее время мы рассмотрим еще множество подобных методов. Сил вам и успехов!

Материал подготовила Журавина Алина.