Руководитель работы, доктор техн. наук, проф.
   А.И.Орлов, доцент, канд.физ.-мат.наук
   В.А.Цупин, ст. преподаватель
   В.Н.Жихарев, мл. научн. сотр.
   Л.А.Орлова

   Будущее нам неизвестно. А потому неизвестны и будущие доходы и расходы, мы можем лишь прогнозировать их с той или иной степенью уверенности. Как описывать неопределенность будущего? Чем мы рискуем и что вообще понимать под "риском"? Как отражается неопределенность будущего на потоках платежей, их характеристиках и выводах об эффективности инвестиционных и инновационных проектов? Как уменьшить возможные потери и защититься от рисков? Кратко рассмотрим эти проблемы.

   Не претендуя на исчерпывающую классификацию различных видов рисков, укажем некоторые из них:
   - риски, связанные с недостаточными знаниями о природе (например, нам неизвестен объем полезных ископаемых , а потому мы не можем точно предсказать развитие добывающей промышленности и объем налоговых поступлений от ее предприятий; нам не до конца известны свойства определенных химических соединений, например, катализаторов, а потому не можем предсказать результаты выполнения инновационного проекта, нацеленного на разработку технологии с участием этих катализаторов),
   - риски, связанные с неопределенностью природных явлений (погода и урожайность; удастся ли провести необходимые опыты в сельскохозяйственном инновационном проекте?),
   - риски, связанные с осуществлением действующих (аварии) и проектируемых (ошибки разработчиков или физическая невозможность осуществления процесса) технологических процессов,
   - риски, связанные с деятельностью участников экономической жизни, в частности, с их деловой активностью, финансовым положением, соблюдением обязательств (в частности, с деятельностью делового партнера по выполнению инновационного проекта),
   - риски, связанные с социальными и административными факторами в конкретных регионах,
   - риски, связанные с неопределенностью будущей рыночной ситуации в стране (будущих действий поставщиков в связи с меняющимися предпочтениями потребителей - будет ли нужна продукция, на изготовление которой направлен инновационный проект?),
   - риски, связанные с колебаниями цен (динамикой инфляции), нормы процента, валютных курсов и других макроэкономических показателей,
   - риски, связанные с нестабильностью законодательства и текущей экономической политики (т.е. с деятельностью руководства страны, министерств и ведомств),
   - риски, связанные с политической ситуацией, действиями партий, профсоюзов, экологических и других организаций в масштабе страны,
   - внешнеэкономические риски и т.д.
   Каждый из перечисленных видов рисков может быть структурирован далее. Так, имеются крупные разработки по анализу рисков технологических аварий, в частности, на химических производствах и на атомных электростанциях. Ясно, что аварии типа Чернобыльской существенно влияют на значения СТЭП-факторов и тем самым на поступления и выплаты из бюджета как на местном, так и на федеральном уровне.

   С точки зрения математического моделирования в настоящее время для описания неопределенностей чаще всего используют:
   - вероятностно-статистические методы,
   - методы интервальной статистики и интервальной математики, а также методы теории нечеткости,
   - методы теории конфликтов (теории игр).
   Они применяются в имитационных, эконометрических, экономико-математических моделях (содержание этих терминов здесь не обсуждается).
    Некоторые виды неопределенностей связаны с безразличными к инвестору силами - природными (погодные условия) или общественными (смена правительства). Если явление достаточно часто повторяется, то его естественно описывать в вероятностных терминах. Так, прогноз урожайности зерновых вполне естественно вести в вероятностных терминах. Если событие единично, то вероятностное описание вызывает внутренний протест, поскольку частотная интерпретация вероятности невозможна. Так, для описания неопределенности, связанной с исходами выборов или со сменой правительства, лучше использовать методы теории нечеткости, в частности, интервальной математики. Наконец, если неопределенность связана с активными действиями соперников или партнеров, целесообразно применять методы анализа конфликтных ситуаций.

   Понятие "риск" многогранно. При использовании статистических методов управления качеством риски - это вероятности некоторых событий (в статистическом приемочном контроле риск поставщика - это вероятность забракования партии продукции хорошего качества, а риск потребителя - приемки "плохой" партии; при статистическом регулировании процессов рассматривают риск незамеченной разладки и риск излишней наладки). Тогда для управления риском задают ограничения на вероятности нежелательных событий. Иногда под уменьшением риска понимают уменьшение дисперсии случайной величины. В теории принятия решений риск - это плата за принятие решения, отличного от оптимального, он обычно выражается как математическое ожидание. В экономике плата выражается обычно в денежных единицах, т.е. в виде потока платежей в условиях неопределенности.
   Методы математического моделирования позволяют предложить и изучить разнообразные методы оценки риска. Широко применяются два вида методов - статистические, основанные на использовании эмпирических данных, и экспертные, опирающиеся на мнения и интуицию специалистов. Теория и практика экспертных оценок - большое направление научно-практической деятельности, активно развиваемое в нашей стране с начала 70-х годов (см. обзор [19]).
   Чтобы продемонстрировать сложность проблемы оценивания риска и различные существующие подходы, рассмотрим простейший случай. Пусть неопределенность носит вероятностный характер, а потери описываются случайной величиной (не вектором и не процессом, а также и не в качественных терминах - т.е. не объектом нечисловой природы). Тогда минимизация риска может состоять:
   - в минимизации математического ожидания (ожидаемых потерь),
   - в минимизации квантиля распределения (например, медианы функции распределения потерь или квантиля порядка 0,99, выше которого располагаются большие потери, встречающиеся крайне редко - в 1 случае из 100),
   - в минимизации дисперсии (т.е. показателя разброса возможных значений потерь),
   - в минимизации суммы математического ожидания и утроенного среднего квадратического отклонения (на основе известного "правила трех сигм"), или иной линейной комбинации математического ожидания и среднего квадратического отклонения (используют в случае близости распределения потерь к нормальному как комбинацию подходов, нацеленных на минимизацию средних потерь и разброса возможных значений потерь),
   - в максимизации математического ожидания функции полезности (в случае, когда полезность 1 руб. меняется в зависимости от общей располагаемой суммы [20], в частности, когда необходимо исключить возможность разорения экономического агента), и т.д.
   Если неопределенность носит интервальный характер, то естественно рассчитать минимальный и максимальный возможный доход, и т.д.
   Разработаны различные способы уменьшения экономических рисков, связанные с выбором стратегий поведения, в частности, диверсификацией, страхованием и др.

   Из сказанного выше вытекает, что разнообразные формальные методы оценки инвестиционных и инновационных проектов и их рисков во многих случаях (реально во всех нетривиальных ситуациях) не могут дать однозначных рекомендаций. В конце процесса принятия решения - всегда человек.
   Поэтому процедуры экспертного оценивания естественно применять не только на конечном, но и на всех остальных этапах анализа проекта, используя при этом весь арсенал теории и практики экспертных оценок, весьма развитой области научной и практической деятельности [19].
   Мы не призываем отказаться от формально-экономических методов, вычисление чистого приведенного дохода и других характеристик. Использование соответствующих программных продуктов полезно для принятия обоснованных решений. Однако нельзя абсолютизировать формально-экономические методы. На основной вопрос: что лучше - быстро, но мало, или долго, но много - ответить могут только эксперты.

   В настоящее время экспертные исследования широко применяются для решения различных сложных задач, связанных, в частности, с оцениванием, ранжированием и классификацией видов риска, оценкой и выбором технологий и проектов. Экспертные методы могут применяться, например, для отбора возможных исполнителей тех или иных работ, для оценивания совокупности объектов и выбора из них лучшего, для выяснения возможностей разработки объекта с заданными характеристиками в увязке с временными, финансовыми и иными ограничениями, и т.д. При этом высококвалифицированные специалисты-эксперты с соответствии со специально разработанной процедурой формулируют свои мнения по рассматриваемым вопросам, которые затем сводятся вместе с целью подготовки для лица, принимающего решения, необходимой информации и проекта решения.

   Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.
   Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения.
   Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).
   К настоящему времени разработано много различных методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто ещё является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (см., например, [23] ). В рамках настоящего отчета нельзя подробно рассказать о различных методах экспертных оценок (да и нет в этом необходимости, поскольку существуют многочисленные публикации).
   Большое распространение экспертных методов в практических работах находит свое отражение в том, что разрабатываются и утверждаются соответствующие нормативно-технические документы, например, ГОСТ 23554.2-82 "Экспертные методы оценки качества промышленной продукции. Обработка значений экспертных оценок качества продукции" или "Руководство по разработке комплексной оценки качества объекта" (в/ч 64518). Разрабатываются и иные проекты, например, проект фирмы "Бектел Нэшнл. Инк." (США) по методологии выбора технологии уничтожения химического оружия.
   В настоящее время не существует научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Вполне естественно, что сначала в нашей стране появились публикации о простейших методах экспертных оценок. Как обычно бывает, эти простые идеи широко распространились, вошли в массовое сознание инженеров и управленцев (менеджеров) - и стали, увы, тормозом на пути внедрения современных результатов в области экспертных оценок. По нашему мнению, наиболее продвинутые результаты в рассматриваемой области были получены в результате работы комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика" в 70-90-х годах.

   Процедуры формирования экспертной группы, сбора и анализа мнений экспертов предполагают постоянное использование методов из области прикладной математической статистики. Без применения таких методов невозможно осуществить выбор возможных экспертов и подбор состава экспертной комиссии, проверить согласованность мнений экспертов, выделить группы единомышленников, сформировать итоговое (среднее) мнение экспертной комиссии. Поэтому необходимо использовать при планировании и проведении экспертных обследований весь арсенал методов современной прикладной математической статистики. Однако приходится констатировать, что имеющиеся нормативно-технические и методические разработки не вполне соответствуют этому требованию, методы анализа мнений экспертов имеют недостатки с точки зрения современной прикладной математической статистики, не позволяют в полной мере использовать возможности современной вычислительной техники.
   Поэтому анализ используемых в настоящее время процедур экспертных оценок целесообразно начать с анализа современных методов прикладной математической статистики.

   Математические методы выборочных исследований - классическая область прикладной математической статистики. Начиная с 70-х годов в нашей стране развитие современных выборочных методов, в частности, статистики объектов нечисловой природы, стимулировалось запросами социологических и экспертных исследований [6]. Были разработаны новые теоретические и практические подходы, сформулированы постановки статистических задач описания данных, оценивания характеристик и параметров, проверки гипотез, предложены алгоритмы анализа разнотипных данных (включающих значения количественных и качественных признаков), получены теоремы о свойствах этих алгоритмов, о состоятельности оценок и т.д. В частности, сводка теоретических результатов была издана в виде сборника [24], подготовленного подкомиссией "Статистика объектов нечисловой природы" Научного Совета АН СССР по комплексной проблеме "Кибернетика" и Институтом социологических исследований АН СССР (сейчас - Институт социологии РАН).
   Итак, на основе более чем двадцатилетнего опыта комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика" и двадцати лет работы ее научного семинара "Математические методы анализа экспертных оценок" можно утверждать, что современные математические методы экспертных оценок - это в основном методы статистики объектов нечисловой природы.

   Разработано и применяется весьма большое число методов (и особенно их разновидностей) организации и проведения экспертных исследований. Для решения конкретной задачи можно применять, как правило, не один, а много методов, и выбор наиболее подходящего из них лежит на организаторах экспертизы. (Попытки стандартизовать правила принятия подобных решений в настоящее время рассматриваются как нецелесообразные - таков один из результатов развития стандартизации в нашей стране в 70-90-е годы, в частности, стандартизации статистических методов.) Разрабатываемый нашим коллективом АРМ "МАТЭК" предоставляет организаторам экспертизы большие возможности для выбора тех или иных методов планирования, организации, проведения экспертизы, анализа экспертных оценок, обеспечивает необходимую компьютерную поддержку в проведении экспертного исследования.
   АРМ "МАТЭК" предназначен для подготовки и проведения экспертизы по определенной теме. С помощью АРМ "МАТЭК" можно автоматизировать процесс подбора экспертов, работу комиссии экспертов и анализ экспертных мнений, а также подготовку опросных листов, бланков и всей отчётной документации.

   Работа на АРМ в соответствии с методологией работы [19] состоит из двух частей:
   А. Подготовка экспертизы.
   В. Проведение экспертизы.
   А. Этап подготовки экспертизы включает в себя ввод всей информации, необходимой для проведения экспертизы. Итогом этого этапа являются два документа: "ТЗ" и "Сценарий".
   Подробнее: на этом этапе ЛПР должен сформулировать цель экспертизы, сформировать руководство рабочей группы (РГ).
   Далее к работе приступает РГ. Её руководитель должен ввести данные для формирования документа "ТЗ". Затем собираются данные для компоновки документа "Сценарий".
   РГ может включать в себя Руководителя, Группу обработки, Группу связи и Интервьюеров.
   Данные для документа "ТЗ" следующие: основание для проведения экспертизы, задачи экспертных опросов, сформулированные в соответствии с целью экспертизы, требования к ЭК, опросному листу, сроки выполнения экспертизы и порядок контроля за ними.
   В зависимости от того, введены или нет те или иные данные для "ТЗ", они соответственно будут или нет включены в документ "ТЗ". Последний можно просмотреть на экране и распечатать.
   Данные для документа "Сценарий" следующие: вводный текст (в этом тексте должна содержаться собственно последовательность действий при проведении экспертизы), календарный план (КП), список используемых методов анализа экспертных мнений (ЭМ). Как и при формировании "ТЗ", "Сценарий" может иметь разную структуру, в зависимости от того, какие пункты будут в него включены. Как приложение к "Сценарию" могут быть использованы примеры бланков опросных листов, анкеты "Согласие" (для выявления согласия экспертов участвовать в экспертизе), анкеты "Снежный ком", "Взаимооценка" (если соответствующие этапы включены в КП). Для этих бланков также требуется ввести оповещение (либо выбрать стандартное). Документ "Сценарий" можно просмотреть на экране и распечатать.
   При формировании "Сценария" будет сформирован опросный лист экспертизы. Опросный лист состоит из оповещения (стандартного или оригинального - по выбору РГ) и собственно вопросов. Вопросы группируются по задачам из ТЗ. При формулировке вопросов учитывается список методов обработки ответов. Точнее, пользователь, сформулировав вопрос, должен точно знать формат ответа. Для каждого формата ответа в АРМ предусмотрен список методов обработки ответов (краткое описание каждого из них можно будет просмотреть при выборе метода). Если пользователя не устраивает ни один из этих методов, он должен будет переформулировать вопрос (т. е. изменить формат ответа) так, чтобы в списке соответствующих методов оказался подходящий ему. Тем самым при формировании опросного листа будет одновременно сформулирован список используемых методов анализа экспертных мнений (ЭМ).
   В. Этап проведения экспертизы недоступен до тех пор, пока не будет завершен этап подготовки экспертизы. После того как подготовка создана, можно запустить или открыть проведение экспертизы. Тем самым возможно проведение нескольких экспертиз с одной и той же подготовкой (для каждой экспертизы выделяется собственная, идентифицируемая по названию экспертизы, база данных).
   На этапе проведения экспертизы формируется ЭК, проводится сбор и анализ ЭМ, формируется отчет и заключение для ЛПР.
   Формирование ЭК - многоступенчатый процесс. Сначала член РГ (руководитель) в соответствии с информацией об экспертах из БДЭ (базы данных об экспертах) может отобрать подходящих кандидатов в ЭК. Далее с помощью анкеты "Согласие" из этого списка отбираются согласившиеся быть членами ЭК. Два последних шага могут проводиться или нет, в зависимости от того, включены ли они в КП. Это этапы "Снежный ком" и "Взаимооценка". После того, как сформирован ЭК, можно проводить сбор ЭМ. Это осуществляется с помощью бланка вопросника. ЭМ будут храниться так, чтобы доступ к ним был удобен (то есть по любому эксперту и любому вопросу можно было получить ответ, и т.д.). Анализ ЭМ по каждому вопросу проводится методом, выбранным пользователем АРМ (руководителем РГ) на этапе подготовки экспертизы для этого вопроса .
   По всем предыдущим этапам формируются отчеты, из которых в результате получается общий отчет о проведении экспертизы. В соответствии с задачами из ТЗ формируется заключение для ЛПР.
   В соответствии с КП ведется контроль за сроками проведения экспертизы.
   Ведется протокол экспертизы, т. е. при выходе из системы фиксируется текущее состояние этапа проведения экспертизы, и при открытии данной экспертизы происходит возврат именно на тот этап экспертизы, на котором произошел выход из системы. ( На этапе подготовки экспертизы протокол не ведется. )
   Разграничены права доступа к БДЭ (база данных экспертов), ЭМ и результатам обработки ЭМ.

   Разработаны два основных подхода к оцениванию рисков (см., например, [25]). Первый из них основан на предположении о возможности точного измерения потерь и их представления в виде известной исследователю (экономисту, инженеру) функции. Второй предполагает, что точное измерение потерь невозможно, но имеется некоторое количество показателей, характеризующих риски, а интегральная оценка рассчитывается по этим показателям с учетом мнений экспертов (например, коэффициентов весомости отдельных показателей). Это - квалиметрический подход в смысле работы [26].
   Первый подход соответствует традиционному пониманию риска в математической статистике и исследовании операций. Однако его непосредственное применение в ряде областей, в частности, при изучении рисков инновационных проектов, встречает трудности, поскольку предполагает денежное измерение потерь от невыполнения научно-исследовательской работы в срок по внутринаучным или чисто финансовым причинам либо соизмерение таких потерь между собой. В терминах теории измерений [27,28,29] это означает, что используемые в первом подходе переменные предполагаются имеющими количественную природу, в то время как в рассматриваемой прикладной области эти переменные естественно считать качественными.
   Второй подход основан на агрегировании оценок, рассчитанных по различным группам показателей, в том числе имеющих нечисловую природу. Он идейно связан с методами измерения технического уровня и качества промышленной продукции (отсюда и название "квалиметрический").

   Структуру показателей будем представлять в виде дерева: единичные показатели (признаки, свойства) объединяются в группы, которым соответствуют групповые показатели, а те, в свою очередь, при объединении дают обобщенный показатель. Могут быть групповые показатели нескольких уровней, соответствующие подгруппам, объединяющимся в группы).
   Использование структуры дерева позволяет осуществить декомпозицию задачи. В частности, это дает возможность рассматривать и оценивать отдельные группы показателей независимо друг от друга. Так, в теории техногенного риска в качестве групповых показателей пожаро- и взрывоопастности разработаны индексы Доу, Монд, Гретенера, Бесчастнова. Они могут быть непосредственно использованы при расчете обобщенного показателя - оценки риска [26].
   Декомпозиция также позволяет разделить оценивание единичных показателей и агрегирование этих оценок в групповые и обобщенный показатели. Первая операция проводится, обычно с участием экспертов, для каждого объекта по отдельности, вторую необходимо рассматривать один раз - при построении системы расчета обобщенного квалиметрического показателя риска.

   Показатели всех уровней могут иметь как числовую, так и нечисловую природу [6,30].
   Числовая природа показателя может быть обманчивой, например, если число приписывается экспертом достаточно произвольно, или из некоторого конечного множества возможных значений, или если измерения имеют погрешности (в последнем случае данные имеют интервальный характер [30], а потому их анализ должен проводиться с помощью методов статистики интервальных данных).
   Наиболее распространенным видом показателей являются, как представляется, качественные признаки с конечным числом упорядоченных градаций (значений). Перспективным представляется также использование нечетких оценок (в смысле теории нечетких множеств [6,31]).
   Большое значение имеют также номинальные признаки, фактически задающие классификацию объектов, для которых оценивается риск.
   Могут использоваться данные сравнений объектов между собой, а не только экспертных измерений каждого из них по отдельности. Например, по какому-то показателю эксперты сравнивают объекты, но не дают каждому индивидуальные оценки. Сравнения могут иметь различную природу: парные сравнения (сравниваются два объекта), множественные сравнения (сравниваются несколько объектов), ранжировки (все объекты упорядочиваются по степени риска) и др. [30].

   При использовании методики квалиметрического оценивания риска роль экспертов сводится к оцениванию значений единичных показателей.
    При построении методики квалиметрического оценивания риска эксперты участвуют:
   - в выделении признаков (свойств) объектов и их иерархической структуры в виде дерева;
   - в описании множеств значений признаков (свойств) объектов, в частности, в выделении градаций;
   - в изучении связей между признаками (свойствами) объектов, т.е. первичными показателями, а также групповыми и обобщающим показателями;
   - в фиксации правил построения агрегированных показателей на различных уровнях структуры;
   - в оценке весовых коэффициентов (непосредственно или на основе экспертно-статистического метода подбора весовых показателей на основе наилучшего соответствия итоговых экспертных оценок агрегированному показателю);
   - в итоговой оценке практической пригодности методики квалиметрического оценивания риска, и др.
   Таким образом, для построения методики квалиметрического оценивания риска необходимо провести целый ряд экспертных исследований в соответствии с современными представлениями о таких работах [19].

   Обычно признаки (свойства) объектов и агрегированные показатели в той или иной степени дублируют друг друга. Это имеет отрицательные некоторые последствия. В частности, дублирование признаков, свидетельствующих об одном и том же, искажает значение обобщающего показателя. На сбор данных о дублирующих друг друга признаках расходуются излишние средства.
   Поэтому возникает задача учета связей между признаками, а также сокращения числа используемых признаков. Обычно рекомендуют провести кластер-анализ признаков, выделить группы сходных между собой (т.е. одинаково меняющихся от объекта к объекту), а затем из каждой группы оставить по одному, наиболее легко измеряемому. При решении этой задачи следует применять современные методы теории классификации [32]. Так, расстояния между признаками, используемые в алгоритмах классификации, могут быть выведены на основе тех или иных систем аксиом в соответствующих пространствах объектов нечисловой природы, а сами значения признаков могут быть измерены непосредственно или оценены с помощью экспертов.
   Методы изучения связей между признаками различной природы могут быть полезны также в случае, когда измерение части признаков требует значительных затрат или недоступно для ряда объектов. Тогда могут быть полезны методы восстановления зависимостей (регрессионного анализа) и дискриминантного анализа в пространствах произвольной природы [33].

   В некоторых ситуациях имеются традиции расчета групповых (агрегированных) показателей. Примером является уже упомянутый индекс Доу в теории техногенного риска. На настоящем этапе разработки методики оценивания рисков реализации инновационных проектов в высшей школе нельзя указать такие традиционные агрегированные показатели.
   В случае, когда все входящие в группу признаки измерены в шкалах одного типа (порядковой, отношений, интервалов и др.), в соответствии с теорией измерений [6, 26-29] следует использовать средние величины, адекватные в соответствующих шкалах. При этом признаки могут учитываться с весами, в том числе заданными экспертами. Необходимо также учитывать традиции. Так, в связи с широкой популярностью среднего арифметического рекомендуется наряду с адекватными средними, например, медианами в порядковых шкалах, рассчитывать также и средние арифметические.
   В случаях разнотипных признаков, ранжировок объектов в качестве исходных данных, нечетких оценок и других подобных ситуациях предлагается использовать средние значения, введенные в статистике объектов нечисловой природы как решения экстремальных задач [34]. В частности, если имеются ранжировки объектов, полученные от экспертов или - при расчете обобщенного показателя - соответствующие отдельным признакам, то итоговая ранжировка согласно методологии статистики объектов нечисловой природы - это медиана по Кемени или среднее по Кемени [35].

   Эксперты могут иметь принципиально различные мнения. На этапе сбора информации это полезно, поскольку позволяет расширить список аргументов "за" и "против", список возможных подходов к решению проблемы, и т.д. [19].
   Однако на этапе принятия решения необходимо проверить экспертов на согласованность, в случае необходимости - выделить группы экспертов со сходными мнениями (т.е. провести кластерный анализ мнений экспертов) и рассматривать их отдельно.
   Для проверки согласованности экспертов в случае каждой конкретной постановки нужны свои методы. К настоящему времени проработаны три постановки - количественные данные, ранжировки [36] и (непараметрические) парные сравнения [37].
   Кластерный анализ мнений экспертов основывается на использовании расстояний между этими мнениями, представленными в виде элементов соответствующих пространств нечисловой природы. В случае (непараметрических) парных сравнений [37] результатам кластерного анализа удается придать математико-статистический смысл в рамках проверок гипотез в соответствующих вероятностных постановках [37,38].

   Использование весовых коэффициентов для построения агрегированных показателей - распространенный прием в методиках экспертных опросов. Однако при этом перед экспертами ставят задачу, которую они не всегда могут решить так, чтобы результаты были обоснованными (надежными), поскольку оценивать численно относительную важность показателей не свойственно мышлению человека. Эксперименты, в частности, проведенные фирмой "Бектэл Нэшнл.Инк.", показывают большой разброс так полученных экспертных весовых коэффициентов, настолько большой, что дальнейшее их использование не представляется обоснованным.
   Один из подходов - подбор весовых коэффициентов, исходя из наибольшего соответствия глобальным оценкам (которые также могут быть получены в результате экспертного опроса). Глобальные оценки объектов могут быть даны как численно, так и в виде парных сравнений, ранжировок, разбиений и других видов нечисловых экспертных суждений, поэтому для конкретных расчетов необходимы соответствующие методы восстановления нечисловых зависимостей [33].
   Другой подход основан на изменении задачи, стоящей перед экспертами - им надо представить не весовые коэффициенты, а иные сравнительные оценки параметров, например, парные сравнения этих параметров по относительной важности. Имеются методы, основанные на моделях Терстоуна, Бредли-Терри-Льюса и др., позволяющие по подобным парным сравнениям рассчитать весовые коэффициенты [39], описывающие представления экспертов о сравнительной ценности тех или иных объектов. Недостатком является предположение нормальности распределения ответов экспертов.

   Поскольку используемые величины и оценки имеют разброс, то и итоговые значения имеют разброс, а потому выводы необходимо исследовать на устойчивость [6]. Например, в качестве агрегированного значения может быть использована медиана, а может - среднее арифметическое. Сильно ли будут отличаться итоговые значения? Сильно ли будут отличаться выводы, например, о том, какой из объектов наиболее предпочтителен с точки зрения минимизации риска? Ответ зависит от конкретных объектов. Возможно, различия выводов, полученных по различным методикам, окажутся не настолько сильными, как можно было бы ожидать.
   Рекомендуется давать весь спектр итоговых значений и соответствующих выводов экспертной комиссии, порождаемый теми или иными методами анализа экспертных и реальных данных, а затем анализировать устойчивость предлагаемых для ЛПР решений по отношению к переходу от одного элемента этого спектра к другому. Возможно, множества Парето для конкретных объектов таковы,что все разумные методы обработки данных дадут один и тот же результат. Если же это не так, то окончательный вывод имеет неустранимую неопределенность, и ЛПР должен знать об этом при принятии решения.

   Методика оценивания рисков должна, вообще говоря, иметь компьютерную поддержку двух уровней - ориентированную на непосредственного пользователя, занимающегося управлением процесса распределения и финансирования инновационных проектов в высшей школе, и ориентированную на разработчиков конкретных вариантов методики (с использованием различных современных методов экспертных исследований). Для создания работоспособной обоснованной методики понадобится многолетняя работа. Поэтому при планировании дальнейших исследований необходимо предусмотреть выделение необходимых ресурсов для обеспечения возможности совершенствования методики и ее адаптации к конкретным условиям.

   Проблема агрегирования квалиметрических показателей - это проблема перехода от описания объектов векторами к описанию их числами. Как и при любом "сжатии данных", можно ожидать потерь содержательной информации. Задача состоит в том,чтобы сократить эти потери до минимума.

   Пусть объект описывается вектором ( x(1,k), x(2,k),..., x(m,k)), где k - номер объекта в списке, k = 1,2,...,n, а m - число используемых показателей. Таким образом, x(h,k) - это оценка k-го объекта по h-му показателю, которая может быть как числом, так и объектом нечисловой природы, в частности, значением качественного признака, нечетким экспертным суждением, оценкой эксперта в виде текста и т.д.
   Агрегированная оценка k-го объекта имеет вид

   где f(.) - некоторая функция. Основной вопрос состоит в том, какие функции f(.) можно использовать. При этом надо учитывать, что объекты и мнения экспертов описываются вполне определенными значениями переменных, а не произвольными, а потому "плохие" свойства агрегирующей функции в той области значений переменных,> которая реально не используется, не должны влиять на решение о выборе агрегирующей функции.

   Сформулируем некоторые требования к методике агрегирования (в дополнение к общим требованиям к статистическим методам, приведенным в [40]).
   2.1. Метод агрегирования должен быть согласован с естественным порядком в множестве значений описаний объектов: если x(1,k)>x(1,q), x(2,k)>x(2,q),...,x(m,k)>x(m,q), то c(k)>c(q).
   Отсюда следует, что точки, оптимальные по Парето, получают наибольшие значения агрегированного показателя по сравнению с теми точками, которые они доминируют, т.е. с теми, значения показателей для которых соответственно ниже или равно (для каждого показателя). Если по каждому показателю упорядочение объектов одно и то же, то и по агрегированному показателю должно быть то же самое упорядочение.
   2.2. Выводы (значения агрегирующей функции) должны быть устойчивы по отношению к малым вариациям исходных данных - мнений экспертов.
   Это общее требование [6] можно конкретизировать как условие использования небольшого числа градаций (2-4) для значений агрегирующей функции.
   2.3. Выводы (значения агрегирующей функции) должны быть инвариантны по отношению к допустимым преобразованиям шкал. В соответствии с результатами [6] для порядковых и номинальных шкал это означает, что реально при агрегировании следует использовать лишь бинарные отношения между объектами, возникающие по каждому показателю, как это показано в [6].
   2.4. Метод агрегирования должен давать возможность проводить расчеты и делать выводы по реально имеющимся данным.

   Один из вариантов практической методики, учитывающий приведенные выше требования, может выглядеть так.
   4.3.1. Анализируется структура векторов, описывающих мнения экспертов об объектах, на основе упорядоченности по отдельным показателям. Выделяются "крайние" объекты, т.е. оптимальные по Парето при использовании прямого (>) и обратного (<) упорядочений.
   Крайним объектам приписываются крайние значения агрегирующего показателя.
   4.3.2. На основе предварительно проведенного опроса экспертов определяются относительные веса показателей (находятся весовые коэффициенты).
   Это может быть сделано по справедливо критикуемой методике непосредственного опроса экспертов (при условии, что число опрошенных не менее 10 и названные ими относительные веса согласуются между собой).
    Более обоснованным представляется использование экспертно-статистического метода, в котором сначала объекты оцениваются экспертами в целом, а затем весовые коэффициенты подбираются (рассчитываются) так, чтобы оценка или упорядочение с помощью весовых коэффициентов наиболее соответствовало упорядочению (оценке), полученному от экспертов.
   Единая оценка объектов может даваться экспертами в разных формах - в виде числовой оценки каждого объекта по отдельности, в виде ранжировки всех или части объектов, в виде результатов попарных сравнений объектов и т.д. (вариантом числовой оценки является балльная, при которой эксперту предлагается пользоваться лишь числами из заранее заданного конечного перечня, например, из множества баллов {2,3,4,5}). Математико-статистические методы расчета весовых коэффициентов в каждом из случаев будут своими, но методологическая основа подхода при этом не меняется.
   4.3.3. Строятся два вида агрегированных оценок - на основе средних взвешенных арифметических значений показателей и на основе взвешенных медиан.
   Метод взвешенных медиан состоит в том, что значения отдельных показателей умножаются на весовые коэффициенты, а затем рассчитывается медиана полученных чисел. Весовые коэффициенты определяются при предварительном экспертном опросе, причем находятся из условия наилучшего соответствия взвешенных медиан (с неизвестными весами) глобальным экспертным оценкам.
   Рекомендация по использованию медиан опирается на "теорему о медиане", согласно которой в порядковой шкале следует использовать для усреднения медиану, но никак не среднее арифметическое [6]. С другой стороны, в настоящее время среднее арифметическое настолько широко используется в прикладных исследованиях, что полностью отказаться от его использования было бы нецелесообразно.
   4.3.4. Сопоставляются упорядочения по двум описанным в п.4.3.3 видам агрегированных оценок. Строится "толерантность расхождений", т.е. бинарное отношение на множестве объектов. Два объекта связаны этим отношением тогда и только тогда, когда два упорядочения для них противоречивы. Это возможно в двух случаях. Первый - средний взвешенный арифметический показателей для первого (из двух рассматриваемых) объектов больше такового для второго вида, а взвешенная медиана для первого, наоборот, меньше, чем для второго. Второй - средний взвешенный арифметический показателей для первого (из двух рассматриваемых) объектов меньше такового для второго вида, а взвешенная медиана для первого, наоборот, больше, чем для второго.
   4.3.5. "Толерантность расхождений" замыкается (в смысле теории бинарных отношений). Получаем разбиение объектов на классы. Классы между собой упорядочены: все объекты одного класса одновременно лучше (или одновременно хуже) всех объектов другого класса по обоим используемым агрегированным показателям. Внутри же классов имеются противоречия: для каждого объекта есть другой из того же класса такой, что упорядочение по одному показателю противоречит упорядочению по другому показателю.
   4.3.6. Если построенное согласно п.4.3.5 разбиение объектов на классы удовлетворяет заказчика, то оно и определяет итоговый агрегированный показатель (выражающийся, например, в номере класса). Если же нет (например, получился ровно один класс), то требуется дополнительный анализ с привлечением экспертов.
   4.3.7. Дополнительный анализ должен быть нацелен на уточнение предпочтений экспертов. Например, им могут быть предъявлены для сравнения пары объектов, входящих в "толерантность расхождений". Это исследование может описаться на методику выявления предпочтений (в экономических терминах - функций полезности), развитую в работах Ю.Н.Гаврильца, Г.А.Сатарова и др. [41-44].

    Заметим, что описанная выше методика может применяться в различных вариантах. В облегченном варианте весовые коэффициенты не оцениваются. Например, они априори предполагаются равными или же задаются исследовательской группой, строящей агрегированный показатель.
   Целесообразно численно изучить устойчивость значений агрегированного показателя к малым отклонениям значений весовых коэффициентов, а также ответов экспертов. Развитие этой идеи ведет к разработке методики численного эксперимента, а также к применению и изучению интервальных экспертных оценок, когда ответ эксперта - интервал действительных чисел или интервал в порядковой шкале (несколько соседних градаций), и т.д.
   Могут быть использованы и иные виды средних величин, кроме среднего арифметического и медианы, в частности, среднее геометрическое и другие виды средних по Колмогорову.
   Теория экспертных оценок заслуживает дальнейшего развития, и ничто так не способствует этому, как решение прикладных задач на профессиональном уровне.

*      *      *

   На сайте http://antorlov.chat.ru или его зеркале http://www.newtech.ru/~orlov Вы можете найти:
   1. Полезные макросы для Microsoft Word 97/2000 для верстки в Word книжек размером в половину листа, обьединения множества файлов в один, создания каталогов своих файлов, извлечения из недр Word'а красивых значков.
   2. Макрос для Microsoft Word 97/2000 - Конвертор "Число-текст", обладающий возможностью автоматического обновления вставленных текстовых расшифровок при изменении значений исходных чисел.
   3. Учебник профессора А.И.Орлова по менеджменту.
   4. Статьи А.И.Орлова по актуальным вопросам статистики и экономики.
   5. Лекцию об устройстве ядерных реакторов.
   6. Информацию об Институте высоких статистических технологий, который занимается развитием, изучением и внедрением наиболее современных методов анализа технических, экономических, социологических, медицинских данных.
   Страница рассылки - http://antorlov.chat.ru/ivst.htm или http://www.newtech.ru/~orlov/ivst.htm.
   Если Вы живете в Москве, то для доступа к сайту www.newtech.ru/~orlov Вы можете воспользоваться бесплатным демо-доступом компании NewTech. Телефоны: (095)234-94-49, (095)956-37-46. Login: demo (или imt). Password: test. Вход под этим логином абсолютно бесплатный и открыт круглосуточно. Сеанс связи неограничен. Одновременно возможен вход не более 5 пользователей по демо-доступу. Если Вы видите сообщение об отказе в авторизации, значит, Вы - 6-й пользователь, входящий под этим логином, - повторите попытку позже. Доступ с использованием программы Netscape Navigator требует указания DNS: Primary DNS: 212.16.0.1, Secondary DNS: 193.232.112.1. Отказ сервера в принятии пароля не должен служить основанием для прекращения дозвона.
   На сайте http://karamurza.chat.ru представлена книга видного современного философа и политолога С.Г.Кара-Мурзы "Опять вопросы вождям", которая является глубоким научным исследованием проблем западного и российского общества. Данная книга может серьезно повысить образовательный уровень интересующихся политологическими и социологическими проблемами.
   Из книги Максима Калашникова "Битва за Небеса", представленной на сайте http://skywars.chat.ru, Вы узнаете о том, какими должны были стать воздушно-космические силы СССР 2000 года и прочтете о русской авиации 20 века. Вы познакомитесь с планом построения страны-сверхкорпорации, которой так боялись США, узнаете, как и кем планомерно уничтожалась советская цивилизация.
   Книга "Тайны и секреты компьютера", вышедшая в издательстве "Радио и связь", предназначена для тех, кто самостоятельно осваивает мир информационных технологий. Программирование в среде Microsoft Office, создание сайтов, устройство сети Интернет, структура системного реестра Windows и файловой системы, сеть Fidonet, строение жидкокристаллических дисплеев и проблема наличия различных кодировок русского языка, - про все это рассказывается в ней. Многообразие тем и легкий стиль изложения сделают ее вашим спутником на долгое время, и вы всегда сможете найти в ней нужную именно в данный момент информацию. Если Вы интересуетесь компьютерными технологиями, желали бы расширить свои знания и умения в этой области, то она Вам наверняка понравится. На сайте http://comptain.chat.ru, посвященном этой книге, вы можете ознакомиться с ее оглавлением и аннотацией, прочитать некоторые главы. Вы можете купить эту книгу в Интернет-магазине по этой ссылке.