In this article we discuss the basic concepts and terms used in the scientific, applied and educational discipline devoted to decision-making, including through the use of expert estimations. Decision theory can be attributed to cybernetics and the study of operations, as well as economic and mathematical models and methods, to organizational and economic modeling. A review is given of the content of the author’s main works widely cited in scientific research on decision theory. These monographs can also be used as textbooks. According to the general idea: “Education through science” it is advisable to prepare scientific monographs so that they can be used as textbooks. Thus, students can and should be brought to the forefront of modern scientific research. Information is given on the author's scientific research in decision theory. Expert estimations - that part of the theory of decision-making, which the author is engaged in constantly - from the beginning of the 70s and still. Brief information on the main publications and some works of recent years is given. In particular, the role of expert estimations in the development of an automated system for forecasting and preventing aircraft accidents and the construction of additive-multiplicative risk estimation models for projects in the space and rocket industry is described. Expert estimates can be considered as an “applied mirror” of non-numerical data statistics. It is this formulation that is used in the new paradigm of mathematical research methods. It can be stated that decision theory and statistics of non-numerical data have been the core of the development of mathematical methods of economics and mathematics in general from the 1970s, now and further in the current XXI century.

Keywords: decision-making, experts estimations, terminology, basic publications, Kemeny median, expert orders.

Научная, прикладная и учебная дисциплина, посвященная принятию решений (и, в частности, экспертным оценкам), бурно развивается в XXI в. Поэтому целесообразно обсудить полученные результаты.

Учебники автора по теории принятия решений широко цитируются в научных публикациях. Так, на 30.03.2020 учебник [1] по данным Google Академии процитирован 1075 раз, а по данным Российского индекса научного цитирования - 657 раз. Налицо двойственность - эту книгу можно рассматривать не только как учебник, но и как научную монографию. Эта двойственность характерна для практически всех наших книг и отражает общую идею: "Образование через науку" [2]. Согласно этой идее научные монографии целесообразно готовить так, чтобы их можно было использовать как учебники. Таким образом можно и нужно выводить обучающихся на передний край современных научных исследований.

В докладе [2]. на юбилейной конференции "Теория активных систем - 50 лет" подведен предварительный итог работам автора по теории принятия решений и ее важнейшей составной части - экспертным оценкам. Рассматриваемая область научной и практической деятельности весьма обширна, и мы не претендуем на ее тщательный анализ.

В свое время Гаусс не публиковал результаты исследований по неевклидовой геометрии, опасаясь "криков беотийцев" [4]. По той же причине я не считал полезным обсуждать свой общий подход к теории и методам принятия решений (включая экспертные оценки), составляя учебники из частных рекомендаций. Здесь впервые рассказано о моих основных идеях, реализованных в серии учебников, монографий, научных статей.

Кратко обсудим основные понятия теории принятия решений, исходя из широко распространенных формулировок.

Под теорией принятия решений обычно понимают научную, учебную и практическую дисциплину, посвященную закономерностям выбора путей решения проблем и задач, т.е. способов достижения желаемого результата. Иногда различают нормативную теорию принятия решений, которая в формальных (обычно - математических) терминах описывает рациональный процесс подготовки, принятия и реализации решения, и дескриптивную теорию принятия решений, описывающую практику принятия решений людьми в той или иной сфере деятельности. Нормативная теория, как правило, построена на основе формализации лучших практик принятия решений в прикладных областях деятельности.

Теория принятия решений - область исследований, основанная на понятиях, методах, подходах, научных результатах математики, статистики, экономики, менеджмента, психологии ... Здесь под статистикой понимаются прежде всего математическая статистика, прикладная статистика, статистические методы. Кроме инструментария статистики, в теорию принятия решений обычно включают различные технологии экспертных оценок, оптимизационные задачи (прежде всего линейное и целочисленное программирование, принцип максимума Понтрягина), методы анализа динамики, основанные на дифференциальных и разностных уравнений.

Теорию принятия решений можно отнести к кибернетике и исследованию операций, а также к экономико-математическим моделям и методам, к организационно-экономическому моделированию. Нет ничего необычного в том, что для обозначения рассматриваемой области исследования используют или использовали столь различные названия. Например, про исследование операций иногда пишут так:

"Исследование операций - научный подход к решению задач организационного управления Под задачами организационного управления понимаются повседневные задачи управления организацией, связанные с выполнением определенных "операций": календарное планирование, управление запасами, вопросы эксплуатации оборудования и другие. Практика показывает высокую эффективность методов исследования операций при решении практических задач управления".

Ясно, что то же самое, но несколько иными словами, можно сказать и про теорию принятия решений, равно как и про другие перечисленные области. На наш взгляд, нецелесообразно вводить искусственные границы между ними. Хотя после появления границ появляется возможность их обсуждать и вести продолжительные дискуссии, т.е. создавать видимость научной работы.

Как возникли различные термины? В генезисе терминов много неясного. Например, почему термин "кибернетика" в настоящее время употребляется сравнительно редко, хотя бурно развиваются научные направления, которые естественно отнести к кибернетике? Почему в настоящее время стали популярны "нейросетевые методы" (раздел прикладной статистики), хотя основные идеи этих методов появились и были реализованы еще в середине ХХ в.?

Сформулируем два утверждения. Термин "исследование операций" неудачен, поскольку возникает ассоциация с медицинскими процедурами. Термин "теория принятия решений" популярен в настоящее время, и поэтому мы им активно пользуемся. Более подробное обсуждение вопросов терминологии не входит в задачу настоящей работы. Надеемся, что недоразумений не возникнет.

Как обычно пишут, решение - это выбор определённого сочетания

(1) цели,

(2) действий, направленных на достижение этой цели, и

(3) способов использования имеющихся ресурсов.

В рамках социально-экономических систем решение - это результат анализа, прогнозирования, оптимизации и выбора альтернативы из множества вариантов достижения конкретной цели. В узком смысле принятие решений -это заключительный акт анализа вариантов, выявления и обоснования результата выбора. В широком смысле -это процесс, протекающий во времени. Это совокупность всех этапов и стадий по подготовке решения, включая этап непосредственного принятия решения. Процесс принятия решений может быть укрупненно подразделен на две стадии: выработка рекомендаций специалистами по выбору лучшего варианта и принятие окончательного варианта непосредственно лицом, принимающим решение (ЛПР).

В настоящее время в научных исследованиях и при преподавании популярны четыре наших учебника [1, 5 - 7]. В них представлены различные методы подготовки и принятия решений - статистические, оптимизационные, экспертные, а также и более новые, но менее распространенные - нечеткие и интервальные.

Мы рассматриваем теорию и методы разработки и принятия управленческих решений не как чисто математическую дисциплину, а как математизированную часть менеджмента (теории управления людьми) [8]. Часто говорят о связке "принятие решений и экспертные оценки", а экспертными оценками мы занимаемся с начала 1970-х годов. Первые результаты касались допустимых средних и были опубликованы в 1974 г. [9]. Эта тематика до сих пор актуальна [10]. Однако термин "принятие решений" мы стали использовать в публикациях сравнительно недавно. Возможно, впервые он проявился в названии одной из написанных мной глав в учебном пособии [11].

Основные научные результаты и методические разработки в области принятия решений сведены в одной из основных моих монографий [1] (написана в 2003 г., опубликована в 2006 г.). Ее сокращенный в полтора раза вариант (подготовлен в 2004 г., опубликован в 2005 г.) вышел из печати годом раньше [7].

В базовой монографии [1] для рассказа о теории принятия решений выделены следующие разделы.

1.1. Введение в теорию принятия решений.

1.1.1. Пример задачи принятия решения.

1.1.2. Голосование - один из методов экспертных оценок.

1.1.3. Основные понятия теории принятия решений.

1.1.4. Современный этап развития теории принятия решений.

1.2.2. Роль прогнозирования при принятии решений.

1.2.3. Принятие решений при планировании.

1.2.4. Управление людьми и принятие решений.

1.2.5. Принятие решений при контроле.

1.3.1. Ретроспективный анализ развития фундаментальных и прикладных исследований по ядерной физике.

1.3.2. О развитии науки и техники во второй половине ХХ века.

1.3.3. О некоторых направлениях фундаментальной и прикладной науки.

1.3.4. Развитие математических методов исследования и информационных технологий.

1.4.1. Пирамида планирования в стратегическом менеджменте: миссия фирмы, стратегические цели, задачи и конкретные задания.

1.4.2. Проблема горизонта планирования в стратегическом менеджменте.

1.4.3. Некоторые методы принятия решений в стратегическом менеджменте.

1.5.1. Подготовка и проведение нововведений - часть работы менеджера.

1.5.2. Инструменты инновационного менеджмента.

1.5.3. Инвестиционный менеджмент.

1.5.4. Дисконт-функция.

1.5.5. Характеристики финансовых потоков.

1.5.6. Оценки погрешностей характеристик финансовых потоков инвестиционных проектов и проблема горизонта планирования.

1.5.7. Практические вопросы реализации инновационных и инвестиционных проектов.

1.6.1. Роль информации при принятии решений в стратегическом менеджменте.

1.6.2. Сущность контроллинга.

1.6.3. Реинжиниринг бизнеса.

1.6.4. Информационные системы управления предприятием (ИСУП).

1.6.5. Задачи ИСУП.

1.6.6. Место ИСУП в системе контроллинга.

1.6.7. Перспективы совместного развития ИСУП и контроллинга.

2.1.1. Основные шкалы измерения.

2.1.2. Инвариантные алгоритмы и средние величины.

2.1.3. Средние величины в порядковой шкале.

2.1.4. Средние по Колмогорову.

2.2.1. Теория вероятностей и математическая статистика в принятии решений.

2.2.2. Основы теории вероятностей.

2.2.3. Суть вероятностно-статистических методов принятия решений.

2.2.4. Случайные величины и их распределения.

2.2.5. Описание данных, оценивание и проверка гипотез.

2.2.6. Современное состояние прикладной статистики (типовые практические задачи и методы их решения).

2.3.1. О развитии статистики интервальных данных.

2.3.2. Основные идеи асимптотической математической статистики интервальных данных.

2.3.3. Интервальные данные в задачах оценивания характеристик распределения.

2.3.4. Интервальные данные в задачах оценивания параметров (на примере гамма-распределения).

2.3.5. Сравнение методов оценивания параметров.

2.3.6. Интервальные данные в задачах проверки гипотез.

2.3.7. Асимптотический линейный регрессионный анализ для интервальных данных.

2.3.8. Интервальный дискриминантный анализ.

2.3.9. Интервальный кластер-анализ.

2.3.10. Место статистики интервальных данных (СИД) среди методов описания неопределенностей

2.4.1. Нечеткие множества.

2.4.2. Пример описания неопределенности с помощью нечеткого множества.

2.4.3. О разработке методики ценообразования на основе теории нечетких множеств.

2.4.4. О статистике нечетких множеств.

2.4.5. Нечеткие множества как проекции случайных множеств.

2.4.6. Пересечения и произведения нечетких и случайных множеств.

2.4.7. Сведение последовательности операций над нечеткими множествами к последовательности операций над случайными множествами.

3.1. Простые методы принятия решений.

3.1.1. Оперативные приемы принятия решений.

3.1.2. Пример подготовки решения на основе макроэкономических данных.

3.1.3. Декомпозиция задач принятия решения.

3.2.1. Линейное программирование.

3.2.2. Целочисленное программирование.

3.2.3. Теория графов и оптимизация.

3.3.1.Эконометрические методы принятия решений в контроллинге.

3.3.2. Принятие решений в условиях риска.

3.3.3. Об одном подходе к оценке рисков для малых предприятий (на примере выполнения инновационных проектов в вузах).

3.3.4. Принятие решений в условиях рисков инфляции.

3.4.1. Основные идеи методов экспертных оценок.

3.4.2. Математические методы анализа экспертных оценок.

3.4.3. Экологические экспертизы.

4.1. Основы моделирования.

4.1.1. Основные понятия общей теории моделирования.

4.1.2. Пример процесса подготовки решений на основе демографических моделей.

4.1.3. Математическое моделирование при принятии решений.

4.1.4. О методологии моделирования.

4.2.1. Примеры типовых макроэкономических моделей.

4.2.2. Модели экономики отдельных стран и мирового хозяйства.

4.2.3. Моделирование процессов налогообложения.

4.2.4. Моделированию процессов налогообложения в России.

4.3.1. Модель функционирования промышленного предприятия.

4.3.2. Принятие решений в малом бизнесе на основе экономико-математического моделирования.

4.3.3. Принятие решений в задачах логистики.

4.4.1. Основы принятия решений о качестве продукции.

4.4.2. Основы теории статистического контроля.

4.4.3. Некоторые практические вопросы принятия решений при статистическом контроле качества продукции и услуг.

4.4.4. Всегда ли нужен контроль качества продукции?

4.4.5. Принятие решений, качество и сертификация.

4.5. Моделирование и оценка результатов взаимовлияний факторов.

4.5.1. Основные идеи метода компьютерного моделирования ЖОК.

4.5.2. Пример применения эконометрического метода ЖОК для изучения факторов, влияющих на налогооблагаемую базу подоходного налога с физических лиц.

4.5.3. Компьютерная система ЖОК поддержки анализа и управления в сложных ситуациях.

4.5.4. Балансовые соотношения в системе ЖОК.

В издательстве "КноРус" предложили выпустить учебник по теории принятия решений. Он вышел в середине 2010 г., хотя на титульном листе указан 2011 г. [6]. В учебник 2011 г. по сравнению с двумя предыдущими книгами 2005 г. и 2006 г. внесено много изменений. Основное внимание уделено теории и практике экспертных оценок, модернизированы главы по измерению инфляции и методу наименьших квадратов, исключены главы по менеджменту, и т.д.

Затем в 2018 г. был опубликован учебник, полностью соответствующий программе одноименной дисциплины на втором образовании факультета ИБМ [5]. В нем дан "краткий курс" теории принятия решений со следующими разделами:

1.1. Принятие решений - работа менеджера. Основные понятия и процедуры принятия решений.

1.2. О сравнении подходов к принятию решений.

1.3. Подводные камни голосования.

1.4. Методология принятия решений.

1.5. Ответственность менеджера.

2.1. Индивидуальные и коллективные экспертные оценки.

2.2. Оценка и выбор вариантов с помощью экспертов.

2.3. Экспертное прогнозирование.

2.4. Экспертные оценки на современном этапе.

2.5. Основные стадии экспертного опроса.

2.6. Подбор экспертов.

2.7. О выборе цели экспертизы.

2.8. Основания для классификации экспертных методов.

2.9. Интуиция эксперта и компьютер.

3.1. Экспертные ранжировки.

3.2. Методы средних арифметических и медиан рангов.

3.3. Метод согласования кластеризованных ранжировок.

3.4. Пример анализа экспертных упорядочений.

4.1. Основные шкалы измерения.

4.2. Инвариантные алгоритмы и средние величины.

4.3. Средние величины в порядковой шкале.

4.4. Средние по Колмогорову.

5.1. Оперативные методы принятия решений на основе экспертных оценок.

5.2. Веса факторов.

5.3. Бинарные рейтинги.

5.4. Сравнение рейтингов и линейные рейтинги.

6.1. Бизнес-процессы инновационных проектов.

6.2. Инновационные проекты в вузах.

6.3. Модель инновационного проекта.

6.4. Прогнозирование рисков.

6.5. Различные виды рисков.

6.6. Управление рисками.

7.1. Основные математические задачи анализа экспертных оценок.

7.2. Экспертные мнения и расстояния между ними.

7.3. Аксиоматическое введение расстояний.

7.4. Свойства медианы Кемени.

7.5. Коэффициенты корреляции и конкордации.

8.1. Организационно-экономические модели - инструмент получения управленческих решений.

8.2. Классическая модель управления запасами.

8.3. Решение задачи оптимизации.

8.4. Асимптотически оптимальный план.

8.5. Влияние отклонений от оптимального объема партии.

8.6. Модель с дефицитом.

8.7. Система моделей на основе модели Вильсона.

8.8. О практическом применении классической модели управления запасами.

8.9. Двухуровневая модель управления запасами.

8.10. Модель планирования размеров поставок на базу (склад).

Мы привели подробную информацию об основном содержании базовых учебников, поскольку она раскрывает наше понимание структуры и инструментов теории принятия решений.

Проблемам разработки и принятия управленческих решений посвящена работа [12]. Последствия принятия решений для научно-технического и экономического развития проанализированы в статье [13]. Отметим значительное влияние используемой методологии на последствия принятия решений [14].

При практическом применении теории принятий решения необходим частный вид контроллинга методов [15] - контроллинг процессов принятия решений. Нормативные документы (стандарты предприятия), нацеленные на контроллинг процессов принятия решений, разрабатывают предприятия и организации. В качестве примера можно отметить такую работу в Группе компаний "Волга-Днепр" (эта авиакомпания имеет самый большой в мире гражданский флот наиболее мощных грузовых самолетов "Руслан"). Из работ практической направленности отметим исследования в области экологической безопасности [16] и математических методов оценки эффективности управленческих решений [17].

Отметим большую роль сайта "Высокие статистические технологии" http://orlovs.pp.ru/ для распространения информации о научных результатах с области теории принятия решений. Так, согласно РИНЦ из цитирований монографии [1] 53% относятся к варианту, размещенному на сайте, и 47% - к бумажному варианту (это следует из указанного при цитировании года издания книги - для бумажного издания и Интернет-версии годы выпуска различаются). Аналогичная ситуация и для нашего учебника "Прикладная статистика" [18] - по состоянию на 31.03.2020 417 ссылок (49,6%) относятся к варианту, размещенному на сайте, и 424 ссылки (50,4%) - к бумажному варианту (по состоянию на 31.03.2020). На 31.03.2020 учебник [18] по данным Google Академии процитирован 1051 раз,

Экспертные оценки - та предметная область, которой автор занимается постоянно - с начала 70-х [9] и до сих пор. Как правило, каждую работу по теории экспертных оценок можно рассматривать с двух сторон - со стороны математических методов (т.е., чаще всего, со стороны статистики нечисловых данных) и со стороны предметной области (процедур экспертных оценок). Наиболее полный обзор развития этой предметной области - статьи [19 - 21].

Учебник по экспертным оценкам был написан мною в 2006 г. по заказу издательства "Экзамен". В связи с изменением издательством тематики публикаций рукопись возвращена в 2008 г. Издан как вторая часть учебника по организационно-экономическому моделированию в 2011 г. [22]. По данным РИНЦ эта книга - наиболее востребованный учебник по теории и практике экспертных оценок на русском языке.

Центральное место в теории экспертных оценок занимает медиана Кемени [23]. Недавно разработан новый программный модуль по расчету медианы Кемени [24]. Он успешно применен при анализе кредитных рисков в банках [25, 26].

Перечислим несколько наших конкретных работ по теории экспертных оценок.

Как известно, метод анализа иерархий Саати некорректен. В частности, он противоречит теории измерений. Для его замены был разработан метод анализа экспертных упорядочений, согласно которому следует построить ранжировки упорядочений по суммам рангов и по медианам рангов, а затем провести их согласование [27].

Были разработаны экспертные технологии для применения при оценивании вероятностей редких событий [28 - 30]. Речь идет, например, о методе оценивания вероятностей столкновений самолетов с птицами, разработанном при создании автоматизированной системы прогнозирования и предотвращения авиационных происшествий [31, 32].

Экспертные методы активно используются при разработке и применении аддитивно-мультипликативных моделей оценки рисков проектов, в частности, при создании ракетно-космической техники [33-38]. Различным задачам принятия решений и применения экспертных оценок в авиации и ракетно-космической промышленности посвящен доклад [39].

Выполнены и другие разработки в области теории и практики экспертных оценок (см., например, [40]). Можно констатировать, что в настоящее время экспертные оценки являются результативными инструментами аналитика, работающего в любой конкретной сфере деятельности [41]).

Экспертные оценки тесно связаны со статистикой нечисловых данных. Работа [42], в которой статистика нечисловых данных (под названием "статистика объектов нечисловой природы") была выделена из математической статистики как самостоятельная научная область и были анонсированы основные результаты статистики нечисловых данных, имела в названии слова "экспертные оценки". Дело в том, что постановки задач статистики нечисловых данных определялись потребностями теории экспертных оценок, а разработанные при решении этих задач методы и алгоритмы могли быть использованы в практике экспертного оценивания. Таким образом, экспертные оценки можно рассматривать как "прикладное зеркало" статистики нечисловых данных. Именно такая формулировка используется в новой парадигме математических методов исследования [43] и математической статистики [44]. С точки зрения экономики и управления новая парадигма проанализирована в статье [45].

Все развитие статистики нечисловых данных (она же - статистика объектов нечисловой природы, нечисловая статистика) тесно переплетено с развитием теории принятия решений, прежде всего с теорией экспертных оценок. Это хорошо видно по содержанию основного учебника по статистике нечисловых данных [46].и по обзорам, посвященным развитию этой области за последние сорок лет [47, 48]. Можно констатировать, что теория принятия решений и статистика нечисловых данных являются стержнем развития математических методов экономики и математики в целом с 1970-х годов, в настоящее время и далее в текущем XXI веке.

1. Орлов А.И. Теория принятия решений. - М.: Экзамен, 2006. - 574 с.

2. Орлов А.И. Высокие статистические технологии - из науки в преподавание / Образование через науку. Тезисы докладов Международной конференции (Москва, 2005 г.). - М.: МГТУ им. Н.Э. Баумана, 2005. - С. 555-556.

3. Орлов А.И. О работах по теории принятия решений и экспертным оценкам // Теория активных систем - 50 лет / Материалы международной научно-практической конференции, 18-19 ноября 2019 г. Под общ. ред. В.Н. Буркова. - М.: ИПУ РАН. 2019. - C. 281 - 288.

4. Клейн Ф. Лекции о развитии математики в XIX столетии. Часть 1. - М.-Л.: ОНТИ, 1937. - 432 с.

5. Орлов А.И. Методы принятия управленческих решений. - М.: КноРус, 2018. - 286 с.

6. Орлов А.И. Организационно-экономическое моделирование: теория принятия решений. - М. : КноРус, 2011. - 568 с.

7. Орлов А.И. Принятие решений. Теория и методы разработки управленческих решений. - М.: ИКЦ "МарТ"; Ростов н/Д: Издательский центр "МарТ", 2005. - 496 с.

8. Орлов А.И. Менеджмент: организационно-экономическое моделирование. - Ростов-на-Дону: Феникс, 2009. - 475 с.

9. Орлов А.И. Допустимые средние в некоторых задачах экспертных оценок и агрегирования показателей качества // Многомерный статистический анализ в социально-экономических исследованиях. - М.: Наука, 1974. - С. 388 - 393.

10. Орлов А.И. Характеризация средних величин шкалами измерения / Научный журнал КубГАУ. 2017. No.134. С. 877 - 907.

11. Боголюбов С.А., Орлов А.И. и еще 9 соавторов. Менеджмент. Учебное пособие. М.: Знание, 2000. - 288 с.

12. Орлов А.И. О разработке и принятии управленческих решений / Научный журнал КубГАУ. 2017. No.130. С. 567 - 597.

13. Орлов А.И. Последствия принятия решений для научно-технического и экономического развития // Научный журнал КубГАУ. 2015. No.113. С. 355-387.

14. Орлов А.И. О влиянии методологии на последствия принятия решений // Научный журнал КубГАУ. 2017. No.125. С. 319-345.

15. Орлов А.И. Новая область контроллинга - контроллинг организационно-экономических методов / Научный журнал КубГАУ. 2014. No.99. С. 50-72.

16. Орлов А.И. Проблемы управления экологической безопасностью. Итоги двадцати лет научных исследований и преподавания. - Saarbrьcken: Palmarium Academic Publishing. 2012. - 344 с.

17. Хрусталев С.А., Орлов А.И., Шаров В.Д. Математические методы оценки эффективности управленческих решений // Заводская лаборатория. Диагностика материалов. 2013. Т.79. No.11. С. 67 - 72.

18. Орлов А.И. Прикладная статистика. Учебник для вузов. - М.: Экзамен, 2006. - 671 с.

19. Орлов А.И. Экспертные оценки // Заводская лаборатория. Диагностика материалов. 1996. Т.62. No.1. С.54-60.

20. Орлов А.И. О развитии экспертных технологий в нашей стране // Заводская лаборатория. Диагностика материалов. 2010. Т.76. No.11. С.64-70.

21. Орлов А.И. Теория экспертных оценок в нашей стране // Научный журнал КубГАУ. 2013. No.93. С. 1652 - 1683.

22. Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч.2. Экспертные оценки. М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. - 486 с.

23. Орлов А.И. Роль медиан Кемени в экспертных оценках и статистическом анализе данных // Теория активных систем: Труды международной научно-практической конференции (14-16 ноября 2011 г., Москва, Россия). Том I. Общая редакция - В.Н. Бурков, Д.А. Новиков. - М.: ИПУ РАН, 2011. - С. 172 - 176.

24. Жуков М.С., Орлов А.И. Задача исследования итогового ранжирования мнений группы экспертов с помощью медианы Кемени / Научный журнал КубГАУ.2016. No.122. С. 785-806.

25. Жуков М.С., Орлов А.И. Использование экспертных ранжировок при расчетах кредитного риска в банке // Инновации в менеджменте. 2017. No. 1(11). С. 18 - 25.

26. Жуков М.С., Орлов А.И., Фалько С.Г. Экспертные оценки в рисках // Контроллинг. 2017. No.4 (66). С. 24-27.

27. Орлов А.И. Анализ экспертных упорядочений // Научный журнал КубГАУ. 2015. No.112. С. 21 - 51.

28. Орлов А.И., Савинов Ю.Г., Богданов А.Ю. Экспертные технологии и их применение при оценивании вероятностей редких событий // Заводская лаборатория. Диагностика материалов. 2014. Т.80. No.3. С. 63 - 69.

29. Орлов А.И., Савинов Ю.Г., Богданов А.Ю. Опыт экспертного оценивания условных вероятностей редких событий при разработке автоматизированной системы прогнозирования и предотвращения авиационных происшествий // Известия Самарского научного центра Российской академии наук. 2012. Том 14. No. 4(2). С.501-506/

30. Орлов А.И., Савинов Ю.Г., Богданов А.Ю. Методика дуальных шкал при экспертном оценивании параметров дерева промежуточных событий развития авиационного происшествия с учетом барьеров предотвращения и парирования // Научный вестник Московского государственного технического университета гражданской авиации. 2014. No. 204 (6). С.32 - 38.

31. Бутов А.А., Волков М.А., Макаров В.П., Орлов А.И., Шаров В.Д. Автоматизированная система прогнозирования и предотвращения авиационных происшествий при организации и производстве воздушных перевозок // Известия Самарского научного центра Российской академии наук. 2012. Том 14. No. 4(2). С.380-385.

32. Бутов А.А., Шаров В.Д., Макаров В.П., Орлов А.И. Прогнозирование и предотвращение авиационных происшествий при организации и производстве воздушных перевозок // Вестник Самарского государственного аэрокосмического университета имени академика С.П. Королева (национального исследовательского университета). 2012. No. 5 (36), часть 2. С. 315-319.

33. Орлов А.И., Цисарский А.Д. Метод оценки рисков при создании ракетно-космической техники // Вестник МГТУ им. Н.Э. Баумана, сер. Машиностроение. 2017. No. 2 (113). С. 99 - 107.

34. Орлов А.И., Цисарский А.Д. Особенности оценки рисков при создании ракетно-космической техники // Национальные интересы: приоритеты и безопасность. - 2013. - No.43(232). - С.37 - 46.

35. Орлов А.И., Цисарский А.Д. Аддитивно-мультипликативная модель оценки рисков и ее применение при разработке инновационно-инвестиционных проектов создания ракетно-космической техники // Проблемы управления безопасностью сложных систем: Труды ХХI Международной конференции. Москва, декабрь 2013 г. / Под ред. Н.И. Архиповой, В.В. Кульбы. М.: РГГУ, 2013. С.394-398.

36. Орлов А. И., Цисарский А. Д. Организационно-экономическая модель оценки рисков проектов // Сибирский журнал науки и технологий. 2017. Т.18. No. 2. С. 464-470.

37. Орлов А.И., Цисарский А.Д. Модель оценки рисков проектов при создании ракетно-космической техники // Вестник НПО им. Лавочкина. 2017. No.3. С. 89-94. 

38. Орлов А.И. Аддитивно-мультипликативная модель оценки рисков при создании ракетно-космической техники / Научный журнал КубГАУ. 2014. No.102. С. 78-111.

39. Орлов А.И. Принятие решений и экспертные оценки в авиации и ракетно-космической промышленности // Теория активных систем: Труды международной научно-практической конференции (17-19 ноября 2014 г., Москва, Россия). Общая редакция - В.Н. Бурков, Д.А. Новиков. - М.: ИПУ РАН, 2014. - [Электронный ресурс]. Режим доступа: https://www.elibrary.ru/download/elibrary_42510953_24210488.pdf (дата обращения 28 марта 2020 г.).

40. Орлов А.И. Комментарий II к статье Н.Г. Волкова, С.Ю. Ерофеевой "Подгонка экспериментальных кривых методами экспертного оценивания" / Заводская лаборатория. Диагностика материалов. 1992. Т.58. No.10. С.62-63.

41. Новиков Д.А., Орлов А.И. Экспертные оценки - инструменты аналитика // Заводская лаборатория. Диагностика материалов. 2013. Т.79. No.4. С.3-4.

42 Орлов А.И. Статистика объектов нечисловой природы и экспертные оценки / Экспертные оценки. Вопросы кибернетики. Вып.58. - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1979. С. 17-33.

43. Орлов А.И. О новой парадигме математических методов исследования / Научный журнал КубГАУ. 2016. No.122. С. 807-832.

44. Орлов А.И. Основные черты новой парадигмы математической статистики / Научный журнал КубГАУ. 2013. No.90. С. 187-213.

45. Орлов А.И. Новая парадигма анализа статистических и экспертных данных в задачах экономики и управления / Научный журнал КубГАУ2014. No.98. С. 105-125.

46. Орлов А.И. Организационно-экономическое моделирование. Часть 1. Нечисловая статистика. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2009. - 544 с.

47. Орлов А.И. Статистика нечисловых данных за сорок лет (обзор) / Заводская лаборатория. Диагностика материалов. 2019. Т.85. No.11. С. 69-84.

48. Орлов А.И. Статистика нечисловых данных - центральная часть современной прикладной статистики / Научный журнал КубГАУ. 2020. No. 156. С. 111-142.

Публикация:

1181. Орлов А.И. О развитии теории принятия решений и экспертных оценок // Научный журнал КубГАУ. 2021. No. 167. С. 177-198. http://ej.kubagro.ru/2021/03/pdf/12.pdf, 1,375 у.п.л.