Московский государственный технический университет им. Н.Э. Баумана, Россия, 105005, Москва, Бауманская 2-я, д. 5; e-mail: prof-orlov@mail.ru

Теория принятия решений - важная составная часть математических методов исследования. В настоящей статье обсуждаются некоторые аспекты применения теории принятия решений при разработке сложных технических систем. Основное внимание уделено методам формирования оценочных показателей и на их основе - оценок качества и технического уровня сложных технических систем. Обсуждается применение теории принятия решений для оценки технического уровня конкретных сложных технических систем, при разработке автоматизированной системы прогнозирования и предотвращения авиационных происшествий. В качестве примера в статье предложен подход к выбору приоритетности выполнения НИОКР в ракетно-космической отрасли. Для реализации инструментария проектного управления предлагаются пять критериев выбора приоритетности проектов с учетом особенностей космической деятельности в России. После формирования перечня возможных проектов необходимо установить их приоритеты, т.е. расположить их в порядке предпочтений для реализации. Для установления приоритетов предлагаем использовать методы экспертных оценок. Приказом руководителя предприятия назначается комиссия экспертов. В теории принятия решений разработано два подхода к установлению приоритетов на основе экспертных оценок - на основе непосредственного сравнения объектов экспертизы и на основе экспертных оценок объектов экспертизы по набору факторов. При использовании первого подхода путем сравнения по средним арифметическим рангов, а затем и медиан рангов получаем две вспомогательные кластеризованные ранжировки, затем строим согласующую ранжировку. Другой способ нахождения единого мнения комиссии экспертов основан на расчете медианы Кемени экспертных упорядочений. Во втором подходе объекты экспертизы упорядочиваются не непосредственно, а на основе значений некоторого набора факторов. Для каждого объекта экспертизы определяют (обычно с помощью экспертов) значения факторов, входящих в этот перечень. Значения факторов объединяются в интегральном показателе приоритетности проектов. Для расчета интегрального показателя могут быть использованы взвешенные средние по Колмогорову и взвешенные медианы.

Ключевые слова: теория принятия решений, инновационный проект, приоритетность реализации проектов, экспертные оценки, интегральный показатель, согласующая ранжировка, медиана Кемени, средние по Колмогорову.

Bauman Moscow State Technical University, 5, 2-ya Baumanskaya ul., Moscow, 105005, Russia; e-mail: prof-orlov@mail.ru

Decision theory is an important component of mathematical research methods. This article discusses some aspects of the application of decision theory in the development of complex technical systems. The main attention is paid to the methods of forming the estimated indicators and on their basis - estimates of the quality and technical level of complex technical systems. The application of decision theory for estimation of the technical level of some complex technical systems, in the development of an automated system for predicting and preventing aviation accidents is discussed. As an example in the article proposes an approach to choosing the priority of R&D in the rocket and space industry. To implement the project management toolkit, five criteria are proposed for choosing the priority of projects taking into account the peculiarities of space activities in Russia. After forming a list of possible projects, it is necessary to establish their priorities, i.e. arrange them in order of preference for implementation. To establish priorities, we suggest using expert estimators methods. By order of the leader of the enterprise, a commission of experts is appointed. In decision theory, two approaches have been developed to set priorities based on expert estimations - based on direct comparison of the objects of expertise and based on expert estimators of the objects of expertise based on a set of factors. When using the first approach by comparing the arithmetic mean ranks and then the median ranks, we get two auxiliary clustered rankings, then we build a matching ranking. Another way to find a consensus of the expert commission is based on the calculation of the Kemeny median of expert orderings. In the second approach, objects of expertise are not ordered directly, but based on the values of a certain set of factors. For each object of examination, the values of factors included in this list re determined (usually with the help of experts). The values of the factors are combined in an integral indicator of the priority of projects. To calculate the integral indicator of the priority of projects, weighted Kolmogorov averages and weighted medians can be used.

Keywords: decision theory, innovative project, priority of project implementation, expert estimation, integral indicator, matching ranking, Kemeny median, Kolmogorov averages.

Теория принятия решений - важная составная часть математических методов исследования. Развитие теории принятия решений, включая экспертные методы, проанализировано в [1].

В настоящей статье обсудим некоторые аспекты применения теории принятия решений при разработке сложных технических систем. В качестве примера работ предшественников будем рассматривать монографию [2], посвященную методам оценки качества и технического уровня сложных систем, используемых в различных видах специальной техники. В ней широко используются теория принятия решений и, в частности, методы экспертных оценок.

В [2] одни читатели обратят внимание на тщательный разбор формирования оценочных показателей разнообразных сложных технических систем - летательных аппаратов, судов, танков, управляемых авиационных бомб, радиотехнических систем, стрелкового оружия, металлорежущих станков и т.д. - не будем повторять здесь содержание книги. Для других читателей основное - интеллектуальные инструменты, которые применяет автор для определения технического уровня сложных технических систем. Обсудим их место в науке и практике.

Подготовка и принятие управленческих решений сопровождает все этапы жизненного цикла сложных технических систем. В рамках современного направления организационно-экономической науки под названием "менеджмент высоких технологий" (см., например, [3]) разработаны математические модели и методы проектирования и управления производством и эксплуатацией сложных технических систем, оценки их эффективности и устойчивости к внешним воздействиям. Менеджмент высоких технологий применяется для организации и управления наукоемкими производствами, прежде всего при выпуске специальной техники.

Сердцевина менеджмента высоких технологий - теория принятия решений. Она позволяет с единой точки зрения рассмотреть процессы подготовки, принятия и реализации управленческих решений в различных областях деятельности. В ее рамках разработаны различные оптимизационные, статистические, экспертные методы. К оптимизационным относятся, например, методы математического программирования (линейного, дискретного, целочисленного, динамического и др.) и оптимального управления (по Л.С. Понтрягину),

Статистические методы - это методы современной прикладной математической статистики, другими словами, методы анализа данных. Данные - элементы выборок - могут иметь различную природу. Это могут быть числа, вектора, функции, объекты нечисловой природы. Первые три типа данных (числа, вектора, функции) являются элементами линейных пространств, их можно складывать и умножать на числа. С объектами нечисловой природы (значениями качественных признаков, упорядочениями и другими видами бинарных отношений, графами, обычными и нечеткими множествами и т.д.) так поступать нельзя. Математический аппарат анализа нечисловых данных основан на использовании метрик (показателей различия) и решений оптимизационных задач, а не сумм чисел, векторов, функций, как в классических областях прикладной математической статистики. В конце 1970-х годов выделена самостоятельная область прикладной статистики - статистика объектов нечисловой природы, известная также как статистика нечисловых данных или, короче, нечисловая статистика [4].

В последние годы получило распространение организационно-экономическое моделирование - научная, практическая и учебная дисциплина, посвященная разработке, изучению и применению математических и статистических методов и моделей в экономике и управлении народным хозяйством, прежде всего промышленными предприятиями и их объединениями. Основное содержание организационно-экономического моделирования - статистические методы анализа данных, теория и практика экспертных оценок как неотъемлемые составные части теории принятия решений. В этих двух областях различны источники данных, а потому и методы их сбора (получения). Статистические методы анализа данных обычно связывают с обработкой результатов измерений, наблюдений, испытаний, анализов, опытов. Экспертные оценки - это мнения высококвалифицированных специалистов. Однако нет оснований разделять математические методы анализа статистических и экспертных данных. Нечисловая статистика была разработана как ответ на запросы теории и практики экспертных оценок.

Экспертное оценивание часто является незаменимым инструментом, позволяющим разрабатывать обоснованные управленческие решения при отсутствии достаточного объема результатов наблюдений. Например, при разработке АСППАП - автоматизированной системы прогнозирования и предотвращения авиационных происшествий (проект выполнялся совместно Группой компаний "Волга-Днепр", Ульяновским государственным университетом и МГТУ им. Н.Э. Баумана) возникла необходимость применения экспертных оценок при решении многих конкретных задач. В 2011-2012 гг. проведено несколько сот экспертиз. В частности, экспертами оценивались передаточные параметры для дерева событий при развитии авиационного события (происшествия) на основе логико-вероятностной модели (представляющие собой в первом приближении условные вероятности) в условиях почти полного отсутствия статистических данных. Отсутствие данных связано с несколькими причинами. Во-первых, для сбора части данных требовались большие человеческие и временные затраты, и к моменту проведения экспертного опроса они не были готовы. Во-вторых, часть данных для оценки условных вероятностей невозможно получить в принципе, поскольку промежуточные события из дерева событий, не приведшие к авиационному происшествию, часто никак и нигде не анализируются, не записываются и не сохраняются. Здесь можно привести простую аналогию: затруднительно статистически оценить, с какой вероятностью превышение скорости приведет к автомобильной аварии, поскольку большинство превышений скорости не приводят к авариям и остаются вне поля зрения исследователей.

Большинство алгоритмов сбора и анализа экспертных оценок в проекте АСППАП основано на предположении, что экспертные оценки измерены в порядковых шкалах, поскольку экспертам (летному составу) легче сказать, какое событие встречается чаще, а какое реже, чем оценить число осуществлений событий на 1000 полетов. Оценивать вероятности событий эксперты почти не берутся, в то время как задачи сравнения событий по частоте встречаемости или оценки их по встречаемости условными баллами не вызывают сложностей. Этот факт, обнаруженный при работе с летным составом Группы компаний "Волга-Днепр", соответствует теории экспертных оценок.

Как правило, экспертные оценки используются в тех случаях, когда статистические данные недостаточны, отсутствуют или в настоящее время недоступны. По мере проведения дополнительных исследований по сбору и анализу данных результаты экспертных процедур будут заменяться объективными данными. Однако при разработке АСППАП нередко встречаются ситуации, когда за все время наблюдений определенное событие не произошло вообще, произошло 1, 2 или небольшое число раз. В таких ситуациях статистические методы дают весьма широкие доверительные границы для вероятности этого события, в то время как экспертные технологии позволяют получить достаточно точные оценки.

В [2] подробно рассмотрена роль экспертов при проведении оценки технического уровня сложных технических систем. Описана процедура проведения экспертной оценки и согласования оценок экспертов при проведении сравнительного анализа. Надо подчеркнуть, что ряд вопросов статистического анализа экспертных данных, как и данных иного происхождения, требует дальнейшего развития.

Хорошо известно, что распределения почти всех видов реальных данных не являются нормальными и не входят в какие-либо иные параметрические семейства распределений. Современная парадигма прикладной статистики основана на непараметрических и нечисловых моделях [4, 5]. Однако продолжают кочевать из учебника в учебник, из одной методики в другую методы начала ХХ в., основанные на нереалистическом предположении нормальности. Иногда это предположение приводит к серьезным ошибкам, например, при отбраковке резко выделяющихся элементов выборки (выбросов) [6]. Иногда ошибки имеют другую природу. Так, двухвыборочный критерий Стьюдента нельзя применять для проверки однородности двух независимых выборок не потому, что он предполагает нормальность распределений элементов выборок (влияние отклонений от нормальности сглаживается с ростом объемов выборок), а по другой причине - этот критерий Стьюдента исходит из равенства дисперсий элементов двух выборок, а это выполняется весьма редко [6]..

Методы проверки согласованности ответов экспертов также требуют дальнейшего развития. Поскольку число экспертов обычно не превышает 20 - 30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением экспертов на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Для примера обратимся к конкретным методам расчетов с помощью коэффициентов конкордации (т.е. - в переводе на русский язык - согласия) на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Необходимо напомнить, что согласно теории математической статистики положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Таким образом, проверяется нулевая гипотеза, согласно которой ранжировки, описывающие мнения экспертов, являются независимыми случайными бинарными отношениями, равномерно распределенными на множестве всех ранжировок. Отклонение этой нулевой гипотезы по дурной традиции толкуется как согласованность ответов экспертов. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном математико-статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела нашу научную группу к разработке нового математико-статистического аппарата для проверки согласованности - непараметрических методов, основанных на т.н. люсианах [1] и входящих в нечисловую статистику). Группы экспертов с близкими взглядами можно выделить методами кластер-анализа.

В [2] подробно рассмотрены методы формирования оценочных показателей и на их основе - оценок качества и технического уровня сложных технических систем. Необходимо использовать иерархическую систему показателей - единичные, групповые, обобщенные, интегральные. Как для оценивания многих единичных оценочных показателей, так и для их агрегирования (объединения) в показатели, стоящие выше в иерархической системе, необходимо применение процедур экспертного оценивания. При проведении процедур агрегирования итогом экспертного оценивания являются коэффициенты весомости (важности, значимости) [7]. Отметим, что и в этой области необходимы дальнейшие исследования. Так, недавно установлена некорректность метода анализа иерархий [8, 9, 25]. Весьма важны монография [7]. Она посвящена новому разделу математической теории принятия решений при многих критериях. Раскрываются основные идеи и дается представление о методах выбора оптимальных вариантов решений, оцениваемых по нескольким критериям с использованием информации об их относительной важности. Изложение опирается на строгие определения понятий "Один критерий важнее другого" и "Один критерий важнее другого во столько-то раз".

Новизна подхода [2] состоит, во-первых, в разработке методов проведения оценки технического уровня сложных технических систем на основе современной теории принятия решений с широким применением экспертных технологий, во-вторых, в применении этих методов для решения многочисленных весьма важных прикладных задач. Большую ценность представляет проведенный им анализ технического уровня многочисленных конкретных сложных технических систем. Анализ эффективности применения таких систем обычно проводят на основе трехфакторной модели "Человек-Машина-Среда". В [2] рассмотрен фактор "Машина", который можно оценить техническим уровнем. Влиянию на эффективность применения сложной технической системы личностных свойств и подготовленности персонала, работающего с этой системой, и окружающей среды (часто противоборствующей), в которой действует система, должны быть дальнейшие исследования.

Высокий научный уровень работы [2] объясняется как квалифицированным применением современных организационно-экономических и экономико-математических методов, так и огромным опытом решения конкретных прикладных задач, связанных с оценкой технического уровня разнообразных сложных технических систем. Нельзя не согласиться с тем, что следование в форматере чужих разработок чревато еще большим отставанием [10] в создании сложных технических систем, необходимых для обеспечения независимости и территориальной целостности нашей страны. Для технологического рывка, обгона геополитических соперников путем применения принципиально новых подходов необходимы соответствующие интеллектуальные инструменты, выполненные на современном научном уровне. Их разработке и широкой апробации посвящена работа [2], развивающая и продолжающая, в частности, книгу "Оценка технического уровня образцов вооружения и военной техники" [11]. Опыт научного признания новых методических подходов к оценке технического уровня образцов вооружения и военной техники на примере управляемых авиационных бомб подробно рассмотрен в сборнике [12].

В последние годы выпущен ряд изданий, посвященных практическим вопросам применения методов принятия решений для оценки качества и технического уровня сложных технических систем. Так, формирование научно-технического задела в судостроении рассмотрено в [13]. Одиннадцать конкретных производственных ситуаций. требующих инженерно-экономической оценки создания корпоративных структур и производственных стратегий, надежности, газотранспортных систем, внедрения информационных систем и мониторинга производства, оптимизации управления обеспечением нефтепродуктами, использования альтернативных источников энергии обсуждаются в [14]. Методы принятия решений в задачах оценки качества и технического уровня сложных технических систем рассмотрены в [15]. Оценка технического уровня систем наведения управляемых авиационных бомб посвящена книга [16]. Опыт практического использования методов теории принятия решений, отраженный в перечисленных изданиях, после соответствующей адаптации может быть с успехом применен в ракетно-космической отрасли при реализации проектов создания ракетно-космической техники.

Подход к выбору приоритетности выполнения проектов (НИОКР) в ракетно-космической отрасли развит в [17]. Для реализации инструментария проектного управления предложены пять критериев выбора приоритетности проектов с учетом особенностей космической деятельности в России. После формирования перечня возможных проектов необходимо установить их приоритеты, т.е. расположить их в порядке предпочтений для реализации. Для упорядочения проектов предлагается использовать методы экспертных оценок. В теории принятия решений разработано два подхода к установлению приоритетов на основе экспертных оценок - на основе непосредственного сравнения объектов экспертизы и на основе экспертных оценок объектов экспертизы по набору факторов. При использовании первого подхода путем сравнения по средним арифметическим рангов, а затем и медиан рангов получаем две вспомогательные кластеризованные ранжировки, затем строим согласующую ранжировку. Другой способ нахождения единого мнения комиссии экспертов в рамках первого подхода основан на расчете медианы Кемени экспертных упорядочений. Во втором подходе объекты экспертизы упорядочиваются не непосредственно, а на основе значений некоторого набора факторов. Для каждого объекта экспертизы определяют (обычно с помощью экспертов) значения факторов, входящих в этот перечень. Значения факторов объединяются в интегральном показателе приоритетности проектов. Для расчета интегрального (обобщенного) показателя приоритетности проектов могут быть использованы взвешенные средние по Колмогорову и взвешенные медианы.

В рамках Государственной программы по космической деятельности до 2025 года "Стратегии развития космической деятельности до 2030 года и дальнейшую перспективу" на предприятиях ракетно-космической отрасли (РКО) реализуется большое число проектов. Все проекты, выполняемые по этим программам, являются инновационными. Реализация этих проектов связана с большими финансовыми, материальными, временными, кадровыми затратами. Инновационные проекты РКО имеют свои особенности [18]: они имеют четко поставленные цели и сопряжены с новизной; им присущи комплексность и слабая (относительно других отраслей) структурированность; финансирование таких проектов ограничено (по величине и времени); сроки реализации проекта по созданию ракетно-космической техники (РКТ) могут быть от трех до семи и более лет; эти проекты не имеют аналогов в России; реализация проектов сопряжена с высокими рисками (поэтому весьма важно применение современных методов контроллинга рисков [19]) и др.

Создание ракетной техники (до 80% проектов) реализуется в рамках НИОКР. Это обстоятельно оправдывает выделение НИОКР в качестве объекта исследования в [17]. Анализ [17, 18] выполнения Федеральных целевых программ по космонавтике, Федеральной космической программы (2005-2015) показывает, что наблюдается невыполнение отдельных ее пунктов (например: создания ракеты носителя сверхтяжелого класса в РФ). Несмотря на своевременное и полное финансирование, срок завершения работ по принятию космического ракетного комплекса "Ангара" в эксплуатацию был продлен на 3 года - с 2012 г. до 2015 г. Связано это с отсутствием соответствующего задела по НИОКР, в то время как имелись в наличии необходимое ресурсное обеспечение (кадры, производственные мощности, технологии), а также скоординированный и согласованный план работ, и др. Возможности реализации проектов по созданию ракетно-космической техники (РКТ) и ее составных частей на некоторых предприятиях отрасли по объективным причинам ограничены. Кроме того, при планировании и реализации НИОКР необходимо учитывать недостаточное (в ряде случаев) ресурсное обеспечение, жесткие сроки создания опытных образцов и различные виды наземной отработки, летных испытаний и др.

Планирование НИОКР производится в соответствии с жизненным циклом создания РКТ. Согласно регламенту создания ракетно-космической техники выделяют несколько этапов жизненного цикла [18]:

1. Создание концепции.

2. Разработка технического проекта (т.е. аванпроекта и эскизного проекта).

3. Разработка рабочей конструкторской документации.

4. Разработка технологической документации и технологических процессов.

5. Изготовление макета и опытных изделий (опытного образца).

6. Наземная отработка (включая испытания).

7. Лётные испытания и доработка документации для производства по результатам испытаний.

8. Опытная эксплуатация.

9. Запуск в производство.

В соответствии с отраслевым регламентом этапы 2 - 8 выполняются в рамках НИОКР.

Все НИОКР на создание ракетной техники имеют ряд общих признаков. Рассмотрим этапы НИОКР на примере создания космического аппарата (КА).

Перед началом НИОКР на проектирование КА разработчику представляется формализованное тактико-техническое задание (ТТЗ) на разработку аванпроекта (АП), эскизного проекта (ЭП), технического проекта (ТП) на все изделие и составные части КА [20], такие, как двигательная установка; подсистема ориентации и стабилизации; подсистема энергообеспечения; подсистема терморегулирования; подсистема коррекции; бортовая аппаратура командно-измерительной системы; платформа для запуска. После разработки этих документов на основе данных, полученных расчетным путем, выбирается оптимальный проект и формируется облик будущего изделия. При этом решается задача внешнего проектирования [20]: формирование показателей качества и целевой функции; обеспечение структурной устойчивости проекта; формирование задачи на внутреннее проектирование. Показатели надежности задаются сверху вниз, т.е. на изделие в целом (КА), а затем распространяются на его составные части. На показатели надежности накладываются ограничения конструктивного, технологического, эксплуатационного и экономического характера.

На этапе внешнего проектирования реализуются следующие процедуры [20]: выбор параметров орбитальной группировки; расчет радиолинии и формирование требований к параметрам полезной нагрузки; выбор средств и схем выведения, предварительная оценка предельной массы КА; анализ контуров управления и определение требований к бортовой аппаратуре управления; обеспечение структурной устойчивости проекта; формирование задания на внутреннее проектирование.

К задачам внутреннего проектирования относятся: синтез вариантов конструкции КА; формирование номенклатуры критических параметров (совместимость со средствами выведения, управление движением КА, управление угловым движением, энергосбережение и сброс тепла и др.). По результатам полученных на этом этапе проектирования технических характеристик выбираются параметры допустимого проекта. После этого конструктора приступают к выбору компоновки КА. После определения компоновочной схемы КА и согласования с заказчиком всех критических параметров проекта начинается процедура разработки рабочей конструкторской документации (РКД), макетирование изделия, изготовление опытного образца, комплекс наземных, летных испытаний, опытная эксплуатация и корректировка РКД по результатам выполнения этих процедур.

Проекты по созданию перспективных образцов РКТ требуют учета многих факторов, в том числе следует рассмотреть следующие вопросы [18]: источник финансирования проекта и наличие финансовых ресурсов в полном объеме; прогнозирование и оценка трудоемкости и затрат на создание изделий РКТ и их составных частей; обеспечение наличия научной и экспериментальной базы для реализации КП; обеспечение наличия соответствующих технологий на предприятии; оценка продолжительность технологического цикла создания РКТ; обеспечение наличия подготовленного кадрового потенциала; обеспечение поставок сырья, материалов, комплектующих изделий по всей номенклатуре, объемам в установленные сроки; обеспечение кооперированных поставок сырья, материалов, комплектующих и др.

Рассмотрим выбор критериев ранжирования и классификация НИОКР для нужд ракетно-космической отрасли. Выполнение НИОКР по созданию перспективных образцов РКТ - это инновационная деятельность. На практике предприятия, как правило, реализуют одновременно несколько проектов. В условиях дефицита высококвалифицированных научных и инженерных кадров на предприятиях отрасли возникает проблема для руководства предприятий отрасли: в какой последовательности осуществлять реализацию НИОКР. Для формирования рациональной структуры и определения приоритетности выполнения НИОКР на предприятии будем исходить из того, что на предприятиях отрасли изучена и внедрена методология проектного управления при создании РКТ. В дальнейшем для простоты изложения вместо НИОКР будем применять термин "проект".

При проектном управлении проектные менеджеры должны ответить руководству предприятия, выполняющего проекты, на ряд вопросов [21 - 23]:

- Какие проекты следует реализовать и в какой последовательности?

- Каким проектам дать приоритет?

- Когда и с какими проектами можно стартовать?

- Какие проекты могут выполняться параллельно с другими исходя из возможностей предприятия?

- В какой очередности следует выполнять проекты?

- Когда и в каком объеме потребуются инвестиции и откуда можно привлечь дополнительные мощности для изготовления опытного образца, проведения испытаний?

- Как высоки расчетные затраты на реализацию проектов?

- Каковы реальные сроки реализации проектов?

- Можно ли реализовать проект с заданным ТТЗ?

Ответ на все эти вопросы можно получить, используя методологию проектного управления.

Анализ существующих подходов по формированию приоритетности проектов показывает, что существующая в проектном менеджменте практика неприемлема для РКО. Связано это в первую очередь с тем, что финансирование космической деятельности в России производится из бюджета государства в рамках Государственных контрактов. Для реализации инструментария проектного управления в [17] предлагаются пять критериев выбора приоритетности проектов с учетом особенностей КД в России: вклад проектов в стратегию развития страны и отрасли; значимость проектов для экономики, науки, безопасности государства; научная новизна проектов и его значение получения новых знаний и развития новых космических технологий; направленность проекта на техническое перевооружение предприятий отрасли, внедрение новейших технологий для создания конкурентоспособной РКТ; учет стратегического, функционально-структурного уровней, а также уровня текущего производства. Исходя этих критериев в [17] предложен принципы ранжирования всей совокупности проектов для РКО.

Рассмотрим более подробно некоторые категории этих проектов.

Финансирование проектов по космической деятельности (КД) в основном осуществляется из бюджета РФ [23]. Российская космонавтика всегда была локомотивом экономики нашего государства. Она давала импульс развития многим отраслям промышленности, в том числе машиностроительному комплексу, металлургии, станкостроению, приборостроению, информатике и информационным технологиям, химико-технологической промышленности и ряду других. По состоянию на 2018 г. создание одного рабочего места в госкорпорации Роскосмос приводит к созданию 9 рабочих мест в экономике страны [17]. Очевиден значительный вклад предприятий РКО в фундаментальную науку и получение новых знаний для общества.

Согласно Основным положениям Основ государственной политики Российской Федерации в области космической деятельности на период до 2030 года важнейшими, равнозначными в отношении приоритетов, направлениями отечественных фундаментальных космических исследований на долгосрочную перспективу в дальнем космосе являются исследование планет и малых тел Солнечной системы, поиск путей предотвращения возможных угроз Земле и ее биосфере, детальное изучение Луны с помощью автоматических космических аппаратов и робототехнических систем, развертывание на ее поверхности астрономических обсерваторий, пунктов мониторинга Солнца и станций наблюдения за Землей; астрофизические исследования, включая физику космических лучей; изучение Солнца и солнечно-земных связей; изучение влияния факторов космического полета и космического пространства на живые системы, в том числе в интересах осуществления пилотируемых полетов за пределами магнитосферы Земли, поиск внеземной жизни.

Реализация проектов по фундаментальным исследованиям космоса требует комплекса мер научно-технического, организационного характера, больших финансовых затрат. Связано это в первую очередь с тем, что для этих целей необходима уникальная научная аппаратур, требуются РН различного класса, космические аппараты (КА) с множеством специальных функций (например: мягкая посадка на другую планету, исследование ее атмосферы, поверхности, забор грунта и доставка его на Землю и др.). Реализация таких проектов является весьма длительной и требует участия многих структур и ведомств.

Проекты по астероидно-кометной опасности выполняются для предотвращения столкновения с Землей различных небесных тел: астероидов, комет, космического мусора. Для этого рассчитываются траектории небесных тел, приближающихся на близкое расстояние к нашей планете и, в случае необходимости, реализуется комплекс мер, направленных на перевод астероида на другую орбиту, а также на безопасное затопление крупных частей ОС, КА в мировом океане Земли и др.

Проекты по развитию новых (прорывных) космических технологий направлены на достижение мирового уровня технологий, осваиваемых отечественной промышленностью, как ракетно-космической, так и смежными с ней отраслями. Они направлены на обеспечение реализации стратегических интересов России в ближнем и дальнем космосе, а также развитие отечественной системы средств выведения и наземной инфраструктуры. К таким проектам относятся: проекты по пилотируемой космонавтике; развитие орбитальной группировки ГЛОНАСС; разработка КА для орбитального обслуживания долгоживущих космических средств; создание высоконадежных компонентов и систем бортовой радиоэлектронной аппаратуры, стойкой к воздействию факторов космического пространства; создание космических ядерных энергоустановок большой мощности и их ключевых элементов и др.

Проекты по пилотируемой космонавтике реализуют цикл исследований на околоземной орбите по металлургии, биологии, медицине, метеорологии, сельскому хозяйству и другим сферам деятельности. В перспективе на основе конструкции МКС и опыта ее эксплуатации возможно создание орбитальных станций (ОС) на орбите Луны и других планет солнечной системы.

Развитие системы ГЛОНАСС расширяют спектр космической деятельности в интересах потребителя, включая граждан РФ. В первую очередь это спутниковые навигационные системы в интересах потребителя, спутниковая связь, телерадиовещание, спутники по дистанционному зондированию земли, спутники по наблюдению за атмосферой Земли, аномальными явлениями (цунами, землетрясения, пожары и т.п.) и передачи соответствующей информации для оперативного принятия мер и т.п.

Направленность проектов на техническое перевооружение предприятий отрасли, для создания конкурентоспособной РКТ обусловлена технологическим отставанием по некоторым направлениям ракетной отрасли России от ведущих космических держав. Эта категория проектов направлена на создание технологий производства создания ракетной техники, превосходящей по своим характеристикам зарубежные аналоги, а также на совершенствование системы качества этих изделий.

После формирования перечня возможных проектов необходимо установить их приоритеты, т.е. расположить их в порядке предпочтений для реализации - сначала самый приоритетный проект (реализуется первым), затем второй по предпочтению (реализуется после первого), третий и т.д.

Для установления приоритетов предлагаем использовать методы экспертных оценок [1]. Для выявления приоритетности НИОКР (на уровне предприятия) путем применения экспертных технологий приказом генерального директора предприятия назначается комиссия экспертов из состава членов научно-технических советов, начальников отделов, руководителей научных направлений, т.е. из числа наиболее квалифицированных специалистов предприятия. Применяют и экспертные процедуры на более высоком организационном уровне.

В теории принятия решений разработано два подхода к установлению приоритетов на основе экспертных оценок [1]:

(1) на основе непосредственного сравнения объектов экспертизы;

(2) на основе экспертных оценок объектов экспертизы по набору факторов.

В первом подходе ответ каждого эксперта - упорядочение (нестрогое), т.е. кластеризованная ранжировка. В качестве примера рассмотрим установление приоритетов для совокупности из семи проектов. Пусть рассматриваемые проекты (объекты экспертизы) занумерованы числами 1, 2, 3, 4, 5, 6, 7. Пример экспертного упорядочения:

3 < 1 < (2, 4) < 6 < 5.(1)

Эта запись означает, что проект 3 - самый лучший, проект 1 - второй по привлекательности, далее идут равноценные между собой проекты 2 и 4 (то, что они равноценны, соответствуют размещению их в одном кластере, выделенном скобками), далее идет проект 6 и замыкает упорядочение проект 5.

Для нахождения единого мнения комиссии экспертов в ситуации, когда ответы экспертов - упорядочения (нестрогие), т.е. кластеризованные ранжировки, проводим анализ экспертных упорядочений несколькими способами [24]. Ряд методов основан на таблице рангов объектов экспертизы (т.е. их мест в упорядоченном ряду вида (1)).

Путем сравнения по средним арифметическим рангов, а затем и медиан рангов получаем две вспомогательные кластеризованные ранжировки. Затем строим согласующую ранжировку. Этот метод предпочтительнее метода анализа иерархий Саати [25], который противоречит теории измерений и имеет другие недостатки, указанные проф. В.В. Подиновским [7 - 9]. Упоминаем про этот метод, поскольку он довольно широко известен и вводит в заблуждение исследователей, не являющихся достаточно квалифицированными в теории экспертных оценок [1], прежде всего в теории измерений как части статистики нечисловых данных [4, 6].

Другой способ нахождения единого мнения комиссии экспертов в рамках первого подхода основан на расчете медианы Кемени экспертных упорядочений.

В соответствии с рекомендациями теории устойчивых экономико-математических методов и моделей [26] следует обработать одни и те же данные различными способами. Если выводы близки (устойчивы к выбору метода расчета), то они отражают реальность. Если же выводы заметно меняются в зависимости от выбора метода расчета, то их значение для практики управления ничтожно.

Во втором подходе объекты экспертизы упорядочиваются не непосредственно, а на основе сравнения значений функции от значений некоторого набора факторов. Таким образом, имеется перечень факторов. Для каждого объекта экспертизы определяют (обычно с помощью экспертов) значения факторов, входящих в этот перечень. Значения факторов объединяются в интегральном (обобщенном) показателе приоритетности проектов. Например, значение каждого фактора для определенного объекта экспертизы умножается на коэффициент (вес этого фактора), а затем сумма таких произведений по всем факторам рассматривается как значение интегрального показателя для рассматриваемого объекта экспертизы. Заключительный шаг - упорядочение объектов экспертизы соответственно значениям интегрального показателя. Термины "интегральный показатель", "обобщенный показатель", "индекс", "рейтинг" в рассматриваемом контексте являются синонимами.

При реализации второго подхода организатору экспертизы необходимо решить ряд промежуточных задач.

А. Выбор шкал измерения значений факторов. Опыт показал целесообразность использования балльных оценок, например, 1, 2, 3, ... , 9, 10 - от наихудшей оценки (1) по наилучшей (10). Возможно использование другой системы баллов. Для обеспечения сопоставимости значений различных факторов следует использовать одну и ту же балльную шкалу для всех факторов.

Б. Формирование системы факторов. Исходный набор факторов задает организатор экспертизы. Например, в примере, разобранном в [27], он состоит из 8 факторов. Это множество факторов эксперты сначала расширяют, а потом сужают множество факторов. А именно, на первом этапе эксперты в ходе свободной дискуссии расширяют (обычно в несколько раз) множество факторов с целью учесть возможные влияния на вновь включаемых факторов на результат упорядочения проектов. Затем на втором этапе необходимо его сократить, например, до 7 - 9 факторов. Экспертам дается задание: "Укажите 5 наиболее важных факторов". В итоговый перечень включаем факторы, набравшие не менее половины голосов экспертов (возможны и другие правила принятия решений). Очевидно, процедура формирования системы факторов включает ряд параметров, которые организатор экспертизы может выбирать по своему усмотрению исходя из накопленного опыта экспертиз в определенной области и для определенных ситуаций.

В. Соизмерение важности факторов. Это делается путем введения весовых коэффициентов - чем важнее фактор, тем выше коэффициент. Обычно принимают, что весовые коэффициенты неотрицательны и в сумме составляют 1. Весовые коэффициенты определяют в ходе специально для этого организованного экспертного опроса. Целесообразно исходить из иерархической системы факторов. Это позволяет сначала получить веса групп факторов, затем ввести веса факторов внутри той или иной группы, наконец, рассчитать веса факторов (как произведения веса группы на вес фактора внутри группы).

Отметим, что при использовании линейной функции в качестве интегрального показателя нет необходимости требовать, чтобы сумма весовых коэффициентов равнялась 1, поскольку значения интегрального показателя используются только для упорядочения объектов экспертизы, а результат сравнения не меняется при умножении обеих частей неравенства на одно и то же положительное число. Это замечание дает дополнительные возможности для корректировки экспертами значимости факторов.

Встречающиеся в литературе термины "веса факторов", "коэффициенты важности", "коэффициенты значимости", "коэффициенты существенности", "весовые коэффициенты" - синонимы. Термины "интегральный показатель", "обобщенный показатель", "рейтинг" и им подобные также используются как синонимы.

Г. Измерение значений факторов. Как правило, такое измерение проводится экспертами, владеющими достаточной информацией о рассматриваемых в исследовании объектах экспертизы. Таким образом, привлекаются эксперты двух групп - работающих с факторами (см. пп. А, Б, В выше) и имеющих дело с конкретными объектами экспертизы (п. Г). Группы (комиссии) экспертов могут иметь непустое пересечение.

Д. Выбор вида интегрального показателя. Полученные при решении задач А - Г данные могут обрабатываться различными способами с целью расчета интегрального показателя (т.е. рейтинга [28, 29]) приоритетности проектов. В частности, могут быть рассчитаны взвешенные средние по Колмогорову и взвешенные медианы [30].

(См. исходный текст, в котором определены средние по Колмогорову и взвешенные медианы.))

В ряде случаев могут быть использованы другие способы расчета интегрального показателя, в частности, предусматривающие его обнуление в случае недопустимо низких значений тех или иных факторов. Например, показатель без обнуления, заданный формулой (2), умножается на 0 (т.е. обнуляется), если хотя бы одно из значений факторов x₁, x₂ , ..., x_n меньше заданной границы (или границ, определенных для тех или иных факторов), и умножается на 1 (т.е. не меняется), если все значения факторов x₁, x₂ , ..., x_n удовлетворяют ограничениям.

Системный поход к обеспечению предприятий ракетно-космической промышленности высококвалифицированными специалистами [31] позволит обеспечить возможность применения рассмотренных выше современных организационно-экономических подходов к оценке приоритетности проектов на предприятиях РКО.

Показана практическая польза методов принятия решений и экспертных оценок. Предложен подход к выбору приоритетности выполнения НИОКР в сложных технических системах (на примере систем, создаваемых в ракетно-космической отрасли). Подход основан на пяти специально разработанных критериях, учитывающих специфику предметной области. Кратко обсуждается применение интеллектуальных инструментов теории принятия решений при оценке технического уровня сложных технических систем. Проведен анализ методов анализа данных, которые можно эффективно применять на практике для решения подобных задач. Приводятся примеры некорректного использования известных статистических процедур при обработке экспертных оценок.

Предложены два новых подхода к установлению приоритетности реализации инновационных проектов (НИОКР), основанные на формировании итогового мнения комиссии экспертов путем непосредственного сравнения объектов экспертизы или же с помощью экспертных оценок объектов экспертизы по набору факторов.

В первом подходе ответ каждого эксперта - упорядочение (нестрогое), т.е. кластеризованная ранжировка. Путем сравнения по средним арифметическим рангов, а затем и медиан рангов получаем две вспомогательные кластеризованные ранжировки. Затем строим согласующую ранжировку. Другой способ нахождения единого мнения комиссии экспертов в рамках первого подхода основан на расчете медианы Кемени экспертных упорядочений.

Во втором подходе объекты экспертизы упорядочиваются не непосредственно, а на основе сравнения значений функции от значений некоторого набора факторов. Значения факторов объединяются в интегральном (обобщенном) показателе (рейтинге) приоритетности проектов. При реализации второго подхода необходимо решить ряд промежуточных задач: выбор шкал измерения значений факторов; формирование системы факторов; соизмерение важности факторов; измерение значений факторов; выбор вида интегрального показателя. В качестве интегральных показателей естественно применять средние взвешенные по Колмогорову, выборочные взвешенные медианы и др.

В наиболее простом (базовом) варианте оценки приоритетности проектов при использовании линейной функции в качестве интегрального показателя вычисляют среднее арифметическое взвешенное значение приоритетности каждого проекта по всем экспертам. Этот параметр является количественным интегральным показателем приоритетности реализации проекта. Приоритетность (очередность) выполнения имеют те проекты, у которых выше рассчитанное по всем экспертам среднее арифметическое взвешенное значение интегрального показателя.

1. Орлов А. И. О развитии теории принятия решений и экспертных оценок // Научный журнал КубГАУ. 2021. No. 167. С. 177-198.

2. Семенов С. С. Оценка качества и технического уровня сложных систем: Практика применения метода экспертных оценок. - М.: ЛЕНАНД, 2015. - 352 с.

3. Колобов А. А., Омельченко И. Н., Орлов А. И. Менеджмент высоких технологий. Интегрированные производственно-корпоративные структуры: организация, экономика, управление, проектирование, эффективность, устойчивость. - М.: Экзамен, 2008. - 621 с.

4. Орлов А. И. Статистика нечисловых данных - центральная часть современной прикладной статистики // Научный журнал КубГАУ. 2020. No.156. С. 111 - 142.

5. Орлов А. И. Новая парадигма прикладной статистики // Заводская лаборатория. Диагностика материалов. 2012. Том 78. No. 1, часть I. С. 87-93.

6. Орлов А. И. Прикладная статистика. - М.: Экзамен, 2006. - 671 с.

7. Подиновский В. В. Идеи и методы теории важности критериев в многокритериальных задачах принятия решений. - М. : Наука, 2019. - 103 c.

8. Подиновский В. В., Подиновская О. В. О некорректности метода анализа иерархий // Проблемы управления. 2011.No. 1. С.8-13.

9. Подиновский В. В., Подиновская О. В. Еще раз о некорректности метода анализа иерархий// Проблемы управления. 2012. No. 4. С.75-78.

10. Семенов С., Балахонов Л. Следование в фарватере чужих разработок / Военно-промышленный курьер. No.24(441) за 20-26 июня 2012 г. и No.25(442) за 27 июня - 3 июля 2012 г.

11. Семенов С. С., Харчев В. Н., Иоффин А. И. Оценка технического уровня образцов вооружения и военной техники. - М.: Радио и связь, 2004. - 552 с.

12. Боеприпасы: научно-технический сборник / Федеральная служба по техническому и экспортному контролю, ГНЦ Российской Федерации, Федер. гос. унитарное предприятие "Центральный научно-исслед. ин-т химии и механики им. Д. И. Менделеева". - М.: ЦНИИХМ им. Д. И. Менделеева, 2007, No. 5-6. - 2007. - 214 с.

13. Дутов А. В., Калинин И. М. Формирование научно-технического задела в судостроении. - СПб.: ФГУП "Крыловский государственный научный центр", 2013. - 308 с.

14. Захаров М. Н., Омельченко И. Н., Саркисов А. С. Ситуации инженерно-экономического анализа. - М.: Издательство МГТУ им. Н.Э. Баумана, 2014. - 430 с.

15. Семенов С. С., Воронов Е. М., Полтавский А. В., Крянев А. В. Методы принятия решений в задачах оценки качества и технического уровня сложных технических систем. - М.: ЛЕНАНД, 2016. - 520 с.

16. Семенов С. С., Щербинин В. В. Оценка технического уровня систем наведения управляемых авиационных бомб. - М.: Машиностроение, 2015. - 326 с.

17. Орлов А. И., Цисарский А. Д. Определение приоритетности реализации НИОКР на предприятиях ракетно-космической отрасли / Контроллинг. 2020. No. 2(76). С. 58-65.

18. Цисарский А. Д. Разработка механизмов и инструментария проектного менеджмента при создании ракетно-космической техники / Диссертация на соискание ученой степени доктора экономических наук. - М.: МГТУ им. Н.Э. Баумана, 2018. - 301 с.

19. Орлов А. И. Современное состояние контроллинга рисков // Научный журнал КубГАУ. 2014. No.98. С. 32-64.

20. Чеботарев В. Е., Косенко В. Е. Основы проектирования космических аппаратов информационного обеспечения. - Красноярск: СибГАУ. 2011. - 488 с.

21. Виленский П. Л., Смоляк С. А., Лифшиц В .Н. Оценка эффективности инвестиционных проектов: теория и практика. 4-ое изд., перераб. и доп. - М.: Дело, 2008. - 1104 с.

22. Туккель И. Л., Суворина А. В., Культин Н. Б. Управление инновационными проектами. - СПб.: БХВ - Петербург, 2014. - 416 с.

23. Цисарский А. Д. Управление проектами по созданию изделий ракетно-космической техники. - М.: ИД Экономическая газета, 2015. - 152 с.

24. Орлов А. И. Анализ экспертных упорядочений // Научный журнал КубГАУ. 2015. No.112. С. 21-51.

25. Саати Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь, 1993. - 278 с.

26. Орлов А. И. Устойчивые математические методы и модели // Заводская лаборатория. Диагностика материалов. 2010. Т.76. No.3. С.59-67.

27. Орлов А. И. Методы принятия управленческих решений. - М.: КНОРУС, 2018. - 286 с.

28. Лындина М. И., Орлов А. И. Математическая теория рейтингов // Научный журнал КубГАУ. 2015. No. 114. С. 1-26.

29. Карминский А. М. Кредитные рейтинги и их моделирование. - М. : Изд. дом Высшей школы экономики, 2015. - 304 с.

30. Орлов А. И. О средних величинах // Управление большими системами. 2013. Вып. 46. С. 88-117.

31. Басова В. П., Цисарский А. Д. Системный поход к обеспечению предприятий ракетно-космической промышленности высококвалифицированными специалистами // Инновации в менеджменте. 2019. No.21. С. 8-13.

References

1. Orlov A. I. On the development of decision theory and expert estimations // Nauchnyj zhurnal KubGAU. 2021. No. 167. S. 177-198.

2. Semenov S. S. Estimation of the quality and technical level of complex systems: The practice of applying the method of expert estimations. - M.: LENAND, 2015. - 352 s.

3. Kolobov A. A., Omel'chenko I. N., Orlov A. I. High technology management. Integrated production and corporate structures: organization, economics, management, design, efficiency, sustainability. - M.: Ekzamen, 2008. - 621 s.

4. Orlov A. I. Non-numerical data statistics is a central part of modern applied statistics // Nauchnyj zhurnal KubGAU. 2020. No.156. S. 111 - 142.

5. Orlov A. I. The new paradigm of applied statistics // Zavodskaya laboratoriya. Diagnostika materialov. 2012. Tom 78. No. 1, chast' I. S. 87-93.

6. Orlov A. I. Applied statistics. - M.: Ekzamen, 2006. - 671 s.

7. Podinovskij V. V. Ideas and methods of the theory of the importance of criteria in multicriteria decision-making problems. - M. : Nauka, 2019. - 103 c.

8. Podinovskij V. V., Podinovskaya O. V. On the incorrectness of the hierarchy analysis method // Problemy upravleniya. 2011.No. 1. S.8-13.

9. Podinovskij V. V., Podinovskaya O. V. Once again about the incorrectness of the hierarchy analysis method // Problemy upravleniya. 2012. No. 4. S.75-78.

10. Semenov S., Balahonov L. Following in the fairway of other people's developments // Voenno-promyshlennyj kur'er. No.24(441) za 20-26 iyunya 2012 g. i No.25(442) za 27 iyunya - 3 iyulya 2012 g.

11. Semenov S. S., Harchev V. N., Ioffin A. I. Estimation of the technical level of weapons and military equipment. - M.: Radio i svyaz', 2004. - 552 s.

12. Ammunition: scientific and technical collection / Federal'naya sluzhba po tekhnicheskomu i eksportnomu kontrolyu, GNC Rossijskoj Federacii, Feder. gos. unitarnoe predpriyatie "Central'nyj nauchno-issled. in-t himii i mekhaniki im. D. I. Mendeleeva". - M.: CNIIHM im. D. I. Mendeleeva, 2007, No. 5-6. - 2007. - 214 s.

13. Dutov A. V., Kalinin I. M. Formation of scientific and technical groundwork in shipbuilding. - SPb.: FGUP "Krylovskij gosudarstvennyj nauchnyj centr", 2013. - 308 s.

14. Zaharov M. N., Omel'chenko I. N., Sarkisov A. S. Situations for Engineering and Economic Analysis. - M.: Izdatel'stvo MGTU im. N.E. Baumana, 2014. - 430 s.

15. Semenov S. S., Voronov E. M., Poltavskij A. V., Kryanev A. V. Decision-making methods in the problems of estimation the quality and technical level of complex technical systems. - M.: LENAND, 2016. - 520 s.

16. Semenov S. S., SHCHerbinin V. V. Estimation of the technical level of guidance systems for guided aerial bombs. - M.: Mashinostroenie, 2015. - 326 s.

17. Orlov A. I., Cisarskij A. D. Prioritization of R&D implementation at the enterprises of the rocket and space industry // Kontrolling. 2020. No. 2(76). S. 58-65.

18. Cisarskij A. D. Development of mechanisms and tools for project management in the creation of rocket and space technology / Dissertaciya na soiskanie uchenoj stepeni doktora ekonomicheskih nauk. - M.: MGTU im. N.E. Baumana, 2018. - 301 s.

19. Orlov A. I. Current state of risk controlling // Nauchnyj zhurnal KubGAU. 2014. No. 98. S. 933 - 942.

20. CHebotarev V. E., Kosenko V. E. Fundamentals of spacecraft design information support. - Krasnoyarsk: SibGAU. 2011. - 488 s.

21. Vilenskij P. L., Smolyak S. A., Livshic V .N. Estimation of the effectiveness of investment projects: theory and practice / 4-oe izd., pererab. i dop. - M.: Delo, 2008. - 1104 s.

22. Tukkel' I. L., Suvorina A. V., Kul'tin N. B. Management of innovative projects. - SPb.: BHV - Peterburg, 2014. - 416 s.

23. Cisarskij A. D. Project management for the creation of products for rocket and space technology. - M.: ID Ekonomicheskaya gazeta, 2015. - 152 s.

24. Orlov A. I. Analyze of expert orderings // Nauchnyj zhurnal KubGAU. 2015. No.112. S. 21-51.

25. Saaty T. Decision-making. Hierarchy analysis method. - M.: Radio i svyaz', 1993. - 278 s.

26. Orlov A. I. Stable mathematical methods and models // Zavodskaya laboratoriya. Diagnostika materialov. 2010. T.76. No.3. S.59-67.

27. Orlov A. I. Management decision making methods. - M.: KNORUS, 2018. - 286 s.

28. Lyndina M. I., Orlov A. I. Mathematical theory of ratings // Nauchnyj zhurnal KubGAU. 2015. No. 114. S. 1-26.

29. Karminskij A. M. Credit ratings and their modeling. - M. : Izd. dom Vysshej shkoly ekonomiki, 2015. - 304 s.

30. Orlov A. I. About averages // Upravlenie bol'shimi sistemami. 2013. V. 46. S. 88-117.

31. Basova V. P., Cisarskij A. D. A systematic approach to providing enterprises of the rocket and space industry with highly qualified specialists // Innovacii v menedzhmente. 2019. No.21. S. 8-13.

Публикация:

1216. Муравьева В.С., Орлов А.И. Применение теории принятия решений при разработке сложных технических систем (Обобщающая статья) // Заводская лаборатория. Диагностика материалов. 2022. Т.88. No. 3. С. 61-72.