Отправляет email-рассылки с помощью сервиса Sendsay

Эконометрика

Подписаться Бесплатная «Серебряная» новостная рассылка Подписчиков 937 RSS
←   Май 2013   →
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31


За последние 60 дней 8 выпусков (3-4 раза в месяц)


Сайт рассылки: http://orlovs.pp.ru/ivst.php
Открыта: 29-06-2000
Адрес автора: science.humanity.econometrika-owner@subscribe.ru

Автор
Орлов А.И.

Статистика

937 подписчиков
-1 за неделю
←   Все выпуски   →

Эконометрика - выпуск 644


"Эконометрика", 644 выпуск, 27 мая 2013 года.

Здравствуйте, уважаемые подписчики!
*   *   *   *   *   *   *

Предлагаем доклады А.И. Орлова "Теория измерений и методы анализа" на IV Очередном Всероссийском социологическом конгрессе и "Стратегическое управление территориальными и муниципальными образованиями с точки зрения неформальной информационной экономики будущего" на II  Международной научно-практической конференции по контроллингу.

Все вышедшие выпуски доступны в Архиве рассылки по адресу subscribe.ru/catalog/science.humanity.econometrika.

*   *   *   *   *   *   *

Теория измерений и методы анализа

Проф., д.э.н., д.т.н., к.ф.-м.н. А.И. Орлов
Директор Института высоких статистических технологий и эконометрики МГТУ им. Н.Э. Баумана

Предварительно обосновав необходимость развития научной специальности "Математические и инструментальные методы в социологии", рассматриваем роль теории измерений при выборе методов сбора и анализа социологической информации.

Математические и инструментальные методы в социологии

Статья относится к достаточно самостоятельной области - математическим методам анализа социологических данных. Основной интерес в ней - к математическим вопросам, социологические постановки служат для постановки математических задач. Эта область относится к математической социологии - научной дисциплине, аналогичной математической экономике, математической физике и др.

Классификация наук закреплена формальными решениями. Например, в нашей стране утвержден список специальностей научных работников. Однако формальные решения могут быть модернизированы. Время от времени это происходит. Например, около 20 лет назад появились новые группы специальностей - социологические и политологические. Однако недостатки действующей системы очевидны. Приведем четыре примера.

Пример 1. Продолжает использоваться термин "физико-математические науки", хотя его нелепость ясна всем специалистам. Математика относится к формальным наукам, изучает конструкции, созданные мыслью, т.е. находящиеся не в реальном мире, а в идеальном (по Платону). Математика может быть применена в любой сфере деятельности, в любой отрасли народного хозяйства. Например, широко распространен термин "экономико-математические методы и модели", очевидно, относящийся к применению математики в экономике. В то же время физика - одна из областей естествознания, наука, изучающая наиболее общие и фундаментальные закономерности, определяющие структуру и эволюцию материального мира. Термин "физико-математические науки" не более обоснован, чем, например, термины "химико-математические науки" или даже "ветеринарно-социологические науки".

Пример 2. Как известно, статистические методы применялись на практике (и, следовательно, были теоретически разработаны) с древних времен. В Библии Ветхий завет начинается с Пятикнижия Моисеева, и четвертая книга Пятикнижия называется "Числа". Она начинается с описания проведенной под руководством Моисея переписи военнообязанных. Со времен библейского Моисея статистика получила значительное развитие. В США число статистических кафедр в университетах превышает число математических, соответственно и число статистиков больше числа математиков (примерно вдвое) [1]. Следовательно, в США статистика воспринимается одной из "больших" наук: математика, физика, статистика, химия, биология... Совсем не так в нашей стране. В официальной структуре науки статистика упоминается дважды, и оба раза на вторых ролях. Во-первых, как одна из экономических наук (специальность 08.00.12 "Бухгалтерский учет, статистика", присуждаются ученые степени по экономическим наукам). Во-вторых, в названии математической специальности 01.01.05 "теория вероятностей и математическая дисциплина" (присуждаются ученые степени по физико-математическим наукам). Все остальные применения статистических методов, в частности, в социологических исследованиях, остаются вне официальной структуры науки.

Пример 3. На знамени научного прогресса второй половины ХХ в. начертано: "Кибернетика". Однако нет в нашей стране докторов и кандидатов кибернетических наук (есть, правда, математическая специальность "Дискретная математика и математическая кибернетика", при защите присуждается ученая степень по физико-математическим наукам).

Пример 4. Очевидно, что менеджмент (управление людьми) - более широкая сфера деятельности, чем экономика. Управленческие решения необходимо принимать на основе все совокупности социальных, технологических, экологических, экономических, политических факторов [2]. Между тем в действующей официальной номенклатуре специальностей научных работников (в редакции Приказа Минобрнауки РФ от 11.08.2009 N 294) менеджмент находится внутри экономической специальности 08.00.05 "Экономика и управление народным хозяйством". При этом есть целый ряд технических специальностей, включающих в себя термин "управление", среди которых выделяется специальность 05.13.10 "Управление в социальных и экономических системах" (присуждаются ученые степени по техническим (!) наукам).

Приведенные примеры показывают, что действующая официальная номенклатура специальностей научных работников нуждается в модернизации.

К социологическим наукам близки экономические. Вплоть до того, что на включение в свою сферу маркетинга (изучения предпочтений потребителей) претендуют и те, и другие. Однако у экономистов есть специальность 08.00.13 "Математические и инструментальные методы в экономике", а у социологов нет аналогичной специальности, математическая социология не выделена среди социологических наук.

К чему это приводит? В частности, к отсутствию должного внимания к развитию математических методов в социологии, к их вытеснению из перечней секций социологических конференций и конгрессов. В результате падает квалификационный уровень работ. На заседании секции "Измерение в социологии" VI научно-практической конференции памяти первого декана факультета социологии Александра Олеговича Крыштановского "Современная социология - современной России" (1-3 февраля 2012 года) пришлось урезонивать воинствующего невежду, который пытался навязать докладчику свое неправильное понимание проверки значимости при проверке статистических гипотез. Впрочем, и докладчик продемонстрировал непонимание необходимости обязательной проверки значимости различия долей тех или иных значений признаков при сравнения совокупностей, сказавши: "В журнале "Социология-4М" нас заставили проверить значимость различия долей". К необходимости повышения качества математической составляющей социологических исследований мы старались привлечь внимание в работе [3].

Мы считаем необходимым усилить внимание к проблемам развития и применения математических методов анализа социологических данных, математического моделирования социальных процессов, короче - к математической социологии. Целесообразно в рамках социологической науки создать специальность "Математические и инструментальные методы в социологии", аналогичную экономической специальности "Математические и инструментальные методы в экономике".

К математическим методам в социологии относим нет только методы анализа числовых и нечисловых социологических данных, но и методы математического моделирования социальных процессов [4, 5].

Под инструментальными методами понимаем прежде всего методы, нацеленные на развитие и применение информационных технологий, включая сетевые (в том числе модели распространения нововведений в сфере информационных и телекоммуникационных технологий [6] и онлайн исследования [7]).

О развитии математической социологии в нашей стране

Много интересных работ, относящихся к математической социологии, было выполнено в нашей стране в 70-80-е годы ХХ в. Назовем только некоторые из них. В 1977 г. Институт социологических исследований выпустил сборники [8, 9]. На основе материалов Всесоюзной научной конференции "Проблемы применения математических методов в социологическом исследовании" издательство "Наука" опубликовала солидный сборник [10]. Хотя прошло уже 30 лет, материалы этих сборников по-прежнему актуальны. Квалифицированные работы не устаревают. И даже необходимо отметить методологическую несостоятельность современных публикаций Росстата по переписям населения по сравнению с книгой "Числа" Ветхого Завета, в которой рассказано о переписи военнообязанных, проведенной под руководством Моисея.

По сей день наиболее многоплановой публикаций по методам анализа нечисловых данных является сборник [11], подготовленный совместно академическим Институтом социологии и комиссией "Статистика объектов нечисловой природы" Научного Совета АН СССР по комплексной проблеме "Кибернетика". В настоящее время анализу нечисловых данных посвящены обширные разделы в учебниках по прикладной статистике [12], есть и специальные учебники по нечисловой статистике [13], но сборник [11] по-прежнему актуален и необходим тем, кто хочет разобраться в методах анализа нечисловой (т.е. качественной) информации в социологических исследованиях. Отметим, что именно практические запросы социологов (и специалистов по экспертным оценкам) послужили стимулом для разработки нечисловой статистики [13].

В дальнейшем появились адресованные студентам-социологам учебники и учебные пособия, в частности, книги Ю.Н. Толстовой [14-16] и Г.Г. Татаровой [17, 18]. С 1991 г. выпускается журнал "Социология: методология, методы, математическое моделирование" (сокращенно "Социология-4М"). Развитию математических и статистических методов в российской социологии посвящены обзорные работы [19, 20].

Казалось бы, все хорошо в области математической социологии. Однако всё заметнее проявляются отрицательные тенденции. Большинство социологов остаются невежественными в области методов анализа данных. Проявляется это, например, в преклонении перед давно устаревшим западным статистическим пакетом SPSS (анализу статистических пакетов посвящена статья [21]). Полученные еще в 70-е годы ХХ в. научные результаты остаются неизвестными, а потому, естественно, не применяются. Научный инструментарий социолога зачастую соответствует уровню XIX в. В последнее время даже номинальное признание важности математической социологии в виде организации отдельных секций на социологических конгрессах и конференциях постепенно сходит на нет. Подробнее эти мысли развиты в нашем выступлении [22] в "Дискуссии о социологии" на сайте Российского общества социологов.

О теории измерений

Согласно теории измерений все реальные данные измерены в той или иной шкале [12-14]. Обычно выделяют шесть основных шкал - наименований (номинальную), порядковую, интервальную, отношений, разностей, абсолютную. Первые две - шкалы качественных признаков, остальные четыре - шкалы количественных признаков. Только абсолютная шкала не накладывает никаких ограничений на математические методы анализа данных.

Группы допустимых преобразований - вот что интересует нас в шкалах измерения, поскольку именно они задают ограничения на методы обработки данных, измеренных в соответствующих шкалах.

На основе анализа реальной ситуации выясняем шкалу измерения интересующих нас данных, т.е. ее группу допустимых преобразований. Методы анализа данных должны быть инвариантны относительно этой группы. Возникает целый ряд задач:

- является ли инвариантным конкретный метод анализа данных;

- найти хотя бы один конкретный метод анализа данных, решающий поставленную задачу:

- найти все инвариантные методы из некоторого заранее определенного класса;

- для каких шкал инвариантен заданный метод;

- найти все шкалы, относительно которых инвариантен определенный метод;

- найти все методы, выводы с помощью которых инвариантны с вероятностью, стремящейся к 1 (здесь своя достаточно обширная система постановок исследовательских задач), и т.д.

Перейдем к более подробному изложению. Выяснение типов используемых шкал необходимо для адекватного выбора методов анализа данных. Основополагающим требованием является независимость выводов от того, какой именно шкалой измерения воспользовался исследователь (среди всех шкал, переходящих друг в друга при допустимых преобразованиях). Например, если речь о длинах, то выводы не должны зависеть от того, измерены ли длины в метрах, аршинах, саженях, футах или дюймах. Другими словами, выводы должны быть инвариантны относительно группы допустимых преобразований шкалы измерения. Только тогда их можно назвать адекватными, т.е. избавленными от субъективизма исследователя, выбирающего определенную шкалу из множества шкал заданного типа, связанных допустимыми преобразованиями.

Требование инвариантности выводов накладывает ограничения на множество возможных алгоритмов анализа данных. В качестве примера рассмотрим порядковую шкалу. Одни алгоритмы анализа данных позволяют получать адекватные выводы, другие - нет. Например, в задаче проверки однородности двух независимых выборок алгоритмы ранговой статистики (т.е. использующие только ранги результатов измерений) дают адекватные выводы, а статистики Крамера-Уэлча и Стьюдента - нет. Значит, для обработки данных, измеренных в порядковой шкале, критерии Смирнова и Вилкоксона можно использовать, а критерии Крамера-Уэлча и Стьюдента - нет.

Выбор вида средних величин на основе условия устойчивости результата сравнения средних

Оказывается, требование инвариантности является достаточно сильным. Из многих алгоритмов анализа статистических данных ему удовлетворяют лишь некоторые. Покажем это на примере сравнения средних величин.

Пусть Х1 , Х2 ,..., Хn - выборка объема n. Наиболее общее понятие средней величины введено французским математиком первой половины ХIХ в. академиком О. Коши. Средней величиной (по Коши) является любая функция f(X1, X2,...,Xn) такая, что при всех возможных значениях аргументов значение этой функции не меньше, чем минимальное из чисел X1, X2,...,Xn, и не больше, чем максимальное из этих чисел. Средними по Коши являются среднее арифметическое, медиана, мода, среднее геометрическое, среднее гармоническое, среднее квадратическое.

Средние величины используются обычно для того, чтобы заменить совокупность чисел (выборку) одним числом, а затем сравнивать совокупности с помощью средних. Пусть, например, Y1, Y2,...,Yn - совокупность оценок экспертов, "выставленных" одному объекту экспертизы, Z1, Z2,...,Zn - второму. Как сравнивать эти совокупности? Очевидно, самый простой способ - по средним значениям.

При допустимом преобразовании шкалы значение средней величины, очевидно, меняется. Но выводы о том, для какой совокупности среднее больше, а для какой - меньше, не должны меняться (в соответствии с требованием инвариантности выводов, принятом как основное требование в теории измерений). Сформулируем соответствующую математическую задачу поиска вида средних величин, результат сравнения которых устойчив относительно допустимых преобразований шкалы.

Пусть f(X1, X2,...,Xn) - среднее по Коши. Пусть среднее по первой совокупности меньше среднего по второй совокупности:

f(Y1, Y2,...,Yn) < f(Z1, Z2,...,Zn).

Тогда согласно теории измерений для устойчивости результата сравнения средних необходимо, чтобы для любого допустимого преобразования g (из группы допустимых преобразований в соответствующей шкале) было справедливо также неравенство

f(g(Y1), g(Y2),...,g(Yn)) < f(g(Z1), g(Z2),...,g(Zn)),

т.е. среднее преобразованных значений из первой совокупности также было меньше среднего преобразованных значений для второй совокупности. Причем сформулированное условие должно быть выполнено для любых двух совокупностей Y1, Y2,...,Yn и Z1, Z2,...,Zn. И, напомним, для любого допустимого преобразования. Средние величины, удовлетворяющие сформулированному условию, назовем допустимыми (в соответствующей шкале). Согласно теории измерений только допустимыми средними величинами можно пользоваться при анализе мнений экспертов и иных данных, измеренных в рассматриваемой шкале.

С помощью математической теории, развитой в монографии [23], удается описать вид допустимых средних величин в основных шкалах. Рассмотрим обработку, для определенности, мнений респондентов или экспертов, измеренных в порядковой шкале. Справедливо следующее утверждение.

Теорема 1. Из всех средних по Коши допустимыми средними в порядковой шкале являются только члены вариационного ряда (порядковые статистики).

Теорема 1 справедлива при условии, что среднее f(X1, X2,...,Xn) является непрерывной (по совокупности переменных) и симметрической функцией. Последнее означает, что при перестановке аргументов значение функции f(X1, X2,...,Xn) не меняется. Это условие является вполне естественным, ибо среднюю величину находим для совокупности (множества) чисел, а не для последовательности. Множество не меняется в зависимости от того, в какой последовательности мы перечисляем его элементы.

Согласно теореме 1 в качестве среднего для данных, измеренных в порядковой шкале, можно использовать, в частности, медиану (при нечетном объеме выборки). При четном же объеме следует применять один из двух центральных членов вариационного ряда - как их иногда называют, левую медиану или правую медиану. Моду тоже можно использовать - она всегда является членом вариационного ряда. Можно применять выборочные квартили, минимум и максимум, децили и т.п. Но никогда нельзя рассчитывать среднее арифметическое, среднее геометрическое и т.д.

Естественная система аксиом (требований к средним величинам) приводит к так называемым ассоциативным средним. Их общий вид нашел в 1930 г. А.Н.Колмогоров [24]. Теперь их называют "средними по Колмогорову". Для чисел X1, X2,...,Xn средним по Колмогорову является

G{(F(X1) + F(X2) +...+ F(Xn))/n},

где F - строго монотонная функция (т.е. строго возрастающая или строго убывающая), G - функция, обратная к F. Среди средних по Колмогорову - много хорошо известных персонажей. Так, если F(x) = x, то среднее по Колмогорову - это среднее арифметическое, если F(x) = ln x, то среднее геометрическое, если F(x) = 1/x, то среднее гармоническое, если F(x) = x2, то среднее квадратическое, и т.д. (в последних трех случаях усредняются положительные величины).

Среднее по Колмогорову - частный случай среднего по Коши. С другой стороны, такие популярные средние, как медиана и мода, нельзя представить в виде средних по Колмогорову. Справедливы следующие утверждения.

Теорема 2. В шкале интервалов из всех средних по Колмогорову допустимым является только среднее арифметическое.

Таким образом, среднее геометрическое или среднее квадратическое температур (в шкале Цельсия), потенциальных энергий или координат точек не имеют смысла. В качестве среднего надо применять среднее арифметическое. А также можно использовать медиану или моду.

Теорема 3. В шкале отношений из всех средних по Колмогорову допустимыми являются только степенные средние с F(x) = xс, где с отлично от 0, и среднее геометрическое.

Есть ли средние по Колмогорову, которыми нельзя пользоваться в шкале отношений? Конечно, есть. Например, с F(x) = exp(x). Среднее геометрическое является пределом степенных средних при стремлении параметра с к 0. Теоремы 2 и 3 справедливы при выполнении некоторых внутриматематических условий регулярности.

На наш взгляд, теоремы 1-3 должны быть известны всем студентам-социологам. (Как и все специалисты, я не могу претендовать на полное знание литературы. Буду благодарен за указание учебников для социологов, в которых приведены теоремы 1-3.)

Аналогично средним величинам могут быть изучены и другие статистические характеристики - показатели разброса, связи, расстояния и др. Нетрудно показать, например, что коэффициент корреляции не меняется при любом допустимом преобразовании в шкале интервалов, как и отношение дисперсий. Дисперсия не меняется в шкале разностей, коэффициент вариации - в шкале отношений, и т.д.

К сожалению, достаточно систематическому изучению подверглись лишь средние величины (см. выше) и расстояния ( см. [14, 25] и другие работы Ю.Н. Толстовой). Отметим, что исходные работы 1970-х годов по средним величинам породили достаточно обширное множество следующих работ (обзор дан в [26]), к сожалению, ничего существенно не добавивших к полученному вначале.

По нашему мнению [23, 27], необходимо развивать теорию на стыке математической статистики и теории измерений. Это - призыв к математикам. А социологов надо призвать к использованию полученных результатов. Например, для усреднения порядковых данных использовать не среднее арифметическое, а медиану.

Как показали многочисленные опыты, человек более правильно (и с меньшими затруднениями) отвечает на вопросы качественного, например, - сравнительного характера, чем количественного [28]. В очередной раз мы убедились в этом в 2011-2012 гг., проводя опросы летного состава авиакомпании "Волга-Днепр" в ходе разработки автоматизированной системы прогнозирования и предотвращения авиационных происшествий. Пилоты достаточно уверенно отвечали на вопросы о том, какое из предшествующих событий сильнее влияет на последующее, без труда ранжировали предшествующие события. Измерения в порядковой шкале не представляли для них сложности. При этом на вопросы типа "В скольких случаях на 1000 полетов осуществится определенное событие" отвечали с трудом или вообще отказывались отвечать. Поэтому пришлось отказаться от измерений в количественных шкалах и ограничиться порядковыми, с соответствующими ограничениями на методы обработки данных.

Работа выполнена при поддержке Министерства образования и науки РФ в рамках Постановления Правительства РФ No. 218.

Литература

1. Налимов В.В. О преподавании математики экспериментаторам // О преподавании математической статистики экспериментаторам. Препринт Межфакультетской лаборатории статистических методов No.17. - М.: Изд-во Московского университета им. М.В. Ломоносова, 1971. - С.5-39.

2. Орлов А.И. Менеджмент: организационно-экономическое моделирование. Учебное пособие для вузов. Ростов-на-Дону: Феникс, 2009.

3. Орлов А.И. Об оценке качества процедур анализа данных // Социологические методы в современной исследовательской практике: Сборник статей, посвященный памяти первого декана факультета социологии НИУ ВШЭ А.О. Крыштановского / Отв. ред. и вступит. ст. О.А. Оберемко; НИУ ВШЭ, ИС РАН, РОС. М.: НИУ ВШЭ, 2011. - С.7-13.

4. Математическое моделирование социальных процессов. Вып. 10: сб. ст. / Под ред. А.П. Михайлова. М.: КДУ, 2009.

5. Шведовский В.А. Особенности социолого-математического моделирования в исследовании социальных процессов. - М.: АПКиППРО,2009.

6. Делицын Л.Л. Количественные модели распространения нововведений в сфере информационных и телекоммуникационных технологий. М.: МГУКИ, 2009.

7. Онлайн исследования в России 2.0 / Под ред. Шашкина А.В., Девятко И.Ф., Давыдова С.Г. - М.: РИЦ "Северо-Восток", 2010.

8. Методы современной математики и логики в социологических исследованиях. / Под ред. Э.П.Андреева. М.: Институт социологических исследований АН СССР, 1977.

9. Математические методы и модели в социологии. / Под ред. В.Н. Варыгина. М.: Институт социологических исследований АН СССР, 1977.

10. Математические методы в социологическом исследовании. / Под ред. Т.В. Рябушкина и др. М.: Наука, 1981.

11. Анализ нечисловой информации в социологических исследованиях. / Под ред. В.Г. Андреенкова, А.И.Орлова, Ю.Н. Толстовой. М.: Наука, 1985.

12. Орлов А.И. Прикладная статистика. М.: Экзамен, 2006.

13. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. М.: Изд-во МГТУ им. Н.Э. Баумана. 2009.

14. Толстова Ю.Н. Измерение в социологии. М.: Инфра-М, 1998.

15. Толстова Ю.Н. Анализ социологических данных: методология, дескриптивная статистика, изучение связей между номинальными признаками. М.: Научный мир, 2000.

16. Толстова Ю.Н. Основы многомерного шкалирования. Учебное пособие для вузов. М.: Издательство КДУ, 2006.

17. Татарова Г.Г. Методология анализа данных в социологии (введение). Учебник для вузов. М.: NOTA BENE, 1999.

18. Татарова Г.Г. Основы типологического анализа в социологических исследованиях. М.: Издательский Дом "Высшее образование и наука", 2007.

19. Толстова Ю.Н. Математические методы в социологии. / Социология в России. Под ред. В.А. Ядова. - 2-е изд., перераб. и дополн. - М.: Издательство Института социологии РАН, 1998. С.83-89, 98-103.

20. Орлов А.И. Статистические методы в российской социологии (тридцать лет спустя). - Журнал "Социология: методология, методы, математические модели". 2005. No.20. С.32-53.

21. Орлов А.И. Статистические пакеты - инструменты исследователя. - Журнал "Заводская лаборатория". 2008. Т.74. No.5. С.76-78.

22. Орлов А.И. Черная дыра отечественной социологии. - Выступление 09-01-2011 в "Дискуссии о социологии" на сайте Российского общества социологов http://www.ssa-rss.ru/index.php?page_id=19&id=456

23. Орлов А.И. Устойчивость в социально-экономических моделях. М.: Наука, 1979.

24. Колмогоров А.Н. Избранные труды. Математика и механика. М.: Наука, 1985. С. 136-138.

25. Толстова Ю.Н. Адекватность функции расстояния в алгоритмах автоматической классификации. - В сб.: Исследования по вероятностно-статистическому моделированию реальных систем. М.: ЦЭМИ АН СССР, 1977. С.168-173.

26. Барский Б. В., Соколов М. В. Средние величины, инвариантные относительно допустимых преобразований шкалы измерения. - Журнал "Заводская лаборатория". 2006. No.1. С.59-.67.

27. Орлов А.И. Связь между средними величинами и допустимыми преобразованиями шкалы. - Журнал "Математические заметки". 1981. Т. 30. No.4. С. 561-568.

28. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой информации (препринт). М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1981.

Публикация:

Орлов А.И. Теория измерений и методы анализа // Социология и общество: глобальные вызовы и региональное развитие [Электронный ресурс]: Материалы IV Очередного Всероссийского социологического конгресса / РОС, ИС РАН, АН РБ, ИСППИ. - М.: РОС, 2012. - 1 CD ROM. ISBN 978-5-904804-06-0. - С.2871-2880.

*   *   *   *   *   *   *

Стратегическое управление территориальными и муниципальными образованиями с точки зрения неформальной информационной экономики будущего

А.И. Орлов

Лаборатория экономико-математических методов в контроллинге Научно-образовательного центра "Контроллинг и управленческие инновации" МГТУ им. Н.Э. Баумана

Контроллинг [1, 2] - знамя, под которым собрались те, кто разрабатывает, изучает и применяет современные технологии управления организациями. Обсуждение понятия "контроллинг" продолжается, в нем можно выделить много сторон.

Контроллинг и служба контроллинга. Однако обсуждение содержания понятия "контроллинг" продолжается. Так, "контроллинг - ориентированная на долгосрочное и эффективное развитие система информационно-аналитической, методической и инструментальной поддержки руководителей предприятия по достижению поставленных целей..." [2, с.45]. Можно выразить ту же мысль несколько иначе: "контроллинг - это система информационно-аналитической поддержки процесса принятия управленческих решений в организации". Обратим внимание на то, что система создается постепенно, охватывая одну область принятия решений за другой.

Как соотносятся сферы ответственности контроллера и руководителя? Контроллер разрабатывает правила принятия решений, руководитель принимает решения, опираясь на эти правила. В рамках организации термин "контроллер" может не употребляться, важны исполняемые функции, а не название.

В статье [3] нами введено понятие "контроллинг организационно-экономических методов", включая методы прогнозирования, разработки и принятия управленческих решений и др. Как это предложение было обосновано?

В обстановке развивающегося мирового экономического кризиса стала еще более актуальной необходимость совершенствования систем и процедур управления организациями и предприятиями. Обеспечить технологическую и политическую независимость наша страна может лишь путем перехода на инновационный путь развития. Инновации в сфере управления в промышленности основаны, в частности, на использовании новых адекватных организационно-экономических методов. Контроллинг в этой области - это разработка процедур управления соответствием используемых и вновь создаваемых (внедряемых) организационно-экономических методов поставленным задачам. В деятельности управленческих структур выделяем интересующую нас сторону - используемые ими организационно-экономические методы. Такие методы рассматриваем с точки зрения их влияния на эффективность (в широком смысле) процессов управления промышленными предприятиями. Если речь идет о новых методах (для данного предприятия), то их разработка и внедрение - организационная инновация, в таких случаях контроллинг организационно-экономических методов можно рассматривать как часть контроллинга инноваций [4].

Разработка процедур управления соответствием используемых и вновь создаваемых (внедряемых) организационно-экономических методов поставленным задачам входит в обязанности службы контроллинга. Организационно-экономические методы могут быть реализованы в виде методик, инструкций и других нормативных документов организации, а также в виде программных продуктов и автоматизированных систем. Реализацию организационно-экономических методов осуществляют работники различных специальностей - организаторы производства, экономисты, управленцы (менеджеры, руководители), инженеры, математики, программисты и др. Дело контроллеров - обеспечить соответствие продуктов реализации организационно-экономических методов задачам, поставленным руководством организации. Можно сказать, что контроллеры передают требования руководства организации тем конкретным специалистам и их группам, которые осуществляют реализацию организационно-экономических методов, а затем осуществляют информационно-аналитическую поддержку процесса принятия управленческих решений с использованием разработанных методик, инструкций, программных продуктов и автоматизированных систем. Таким образом, служба контроллинга занимает центральное место в процессе разработки и применения организационно-экономических методов для решения задач, поставленных руководством организации.

Отметим, что служба контроллинга, действующая в соответствии со сказанным вше, может иметь другое название или же не быть выделенной в виде самостоятельного подразделения. От этого она не перестает быть службой контроллинга, поскольку выполняет ее функции. Вспомним персонаж пьесы Мольера, который с удивлением узнал, что всю жизнь говорил прозой. В материалах шести международных конференций "Управление развитием крупномасштабных систем" (Институт проблем управления РАН, 2007 - 2012), содержащих тезисы более чем тысячи докладов, термин "контроллинг" встречается всего два раза, в то время как более чем в 200 докладах рассматриваются проблемы контроллинга в указанном выше смысле.

Автоматизированная система прогнозирования и предотвращения авиационных происшествий (АСППАП) - инструмент контроллинга при управлении безопасностью полетов. В инновационном проекте АСППАП разрабатывается система организационно-экономических методов и программ поддержки принятия управленческих решений в области управления безопасностью полетов, весьма важной для авиации. Эта система будет играть роль службы контроллинга, снабжая руководителей, отвечающих за безопасность полетов, правилами принятия решений и проектами решений в конкретных ситуациях. Другими словами, разрабатываемая система обеспечивает информационно-аналитическую поддержку процесса принятия управленческих решений в области безопасности полетов, а потому является основой системы контроллинга в этой области. Отсутствие термина "контроллинг" в официальном названии разрабатываемой системы объясняется традициями, сложившимися в кластере организаций, разрабатывающих систему, и не может затушевать ее реальные функции.

В 2010 г. Правительство РФ поддержало пилотный инновационный проект по разработке АСППАП на базе Ульяновского государственного университета. К работе были подключены ведущие ученые РФ в области управления безопасностью полетов: из МГТУ им. Н.Э. Баумана, Межгосударственного Авиационного Комитета, МГТУ Гражданской Авиации, ОКБ Миля и других организаций под руководством председателя Экспертного Совета проекта член-корр. РАН Н.А. Махутова.

Инновационный проект реализуется на базе Группы компаний (ГрК) "Волга-Днепр" и при активном участии ее ведущих специалистов и руководителей. ГрК "Волга-Днепр" специализируется в области грузовых авиаперевозок и занимает более 50% мирового рынка нестандартных грузоперевозок.

АСППАП - инструмент контроллинга при управлении безопасностью полетов [5]. Разработка АСППАП проводится по двум направлениям: (1) построение математических моделей классическими методами теории вероятностей, где это возможно (модели обнаружения разладки, теории надежности), и (2) методами теории статистики нечисловых данных [6], в том числе нечетких множеств (описывающих лингвистические переменные), с использованием анализа экспертных оценок [7], построения матриц анализа рисков [8] и т.д. Деревья событий по 12 типам авиационных происшествий разработаны на базе многолетней статистики.

Методы прогнозирования и экономической оценки рисков для безопасности полетов [8] разрабатываются с целью разработки и принятия управленческих решений в АСППАП. Методы краткосрочного и долгосрочного прогнозирования основаны на использовании прикладной статистики, экспертных оценок, организационно-экономического моделирования производственных процессов авиаперевозок и возможных сценариев развития авиационных происшествий в полете.

Повышение эффективности управления безопасностью полетов - одна из приоритетных задач ГрК "Волга-Днепр". Руководящие документы Международной организации гражданской авиации (ИКАО), как показал опыт, не являются достаточными для построения эффективной системы на уровне авиакомпании.

В проекте большой объем занимают работы с применением экспертных технологий. Разработчики УлГУ совместно с проектной группой ГрК выделяют набор прикладных задач, для решения которых необходимо применение экспертных оценок. Так, при краткосрочном прогнозировании с использованием выделенных в проекте 12 типов событий эксперты оценивают передаточные коэффициенты (условные вероятности в обобщенных формулах Байеса). Экспертные оценки используются в тех случаях, когда обширные статистические данные отсутствуют или в настоящее время недоступны. По мере накопления информации в новых базах данных и извлечения необходимой информации из имеющихся баз данных, в том числе из материалов расследований авиационных происшествий Межгосударственного авиационного комитета и автоматизированной системы обеспечения безопасности полетов гражданской авиации РФ, проведения научно-исследовательских работ экспертные оценки будут заменяться на объективные данные.

Вначале организаторы экспертизы планировали получить от экспертов оценки в виде частот событий (сколько определенного типа событий следует ожидать на 1000 полетов). Однако в соответствии с мнением экспертов пришлось перейти на оценки в порядковой шкале. Эксперты стали упорядочивать события по частоте, а также давать балльные оценки в шкале с пятью градациями. Таким образом, еще раз подтвердилось, что экспертам гораздо легче сравнивать объекты экспертизы, отвечать, какое событие встречается чаще, а какое реже, чем отвечать на вопросы типа: "Как часто встречается?", "Во сколько раз чаше встречается первое событие, чем второе?", "Насколько чаще встречается первое событие, чем второе?". То, что мнения экспертов чаще всего выражены в порядковой шкале, заметно усложнило процедуры сбора и анализа экспертной информации по сравнению с гипотетической возможностью получать экспертные оценки в интервальной шкале или шкале отношений.

Количественная оценка рисков для безопасности полетов в стоимостной и натуральной форме проводится на основе анализа информации об эксплуатационной деятельности авиакомпании и формирования перечня управленческих решений из базы данных с оценкой их эффективности на основе расчета предотвращенного ущерба. Для предварительной оценки эффективности управленческих решений будут использованы разработки группы CAST (Commercial Aviation Safety Team), снизившей уровень авиакатастроф в США за период с 1997 г. по 2007 г. на 82%.

Принята вероятностно-статистическая модель риска. Ущерб - случайная величина. Риск выражается характеристиками распределения ущерба, но непараметрическая оценка плотности затруднена. Поэтому на первом этапе используется упрощенный вариант - расчет среднего ожидаемого ущерба как произведения вероятности авиационного события (рассчитывается по исходным данным об эксплуатационной деятельности авиакомпании и ожидаемым условиям полета) и среднего ущерба (рассчитывается по данным страховых случаев с экспертным учетом опыта авиакомпании). Экспертным путем определяются многие параметры, необходимые для реализации системы, например, минимальная величина ущерба (в процентах от стоимости воздушного судна) как характеристика события для его учета в долгосрочном прогнозировании. Необходимо включать также косвенный ущерб, соответствующий упущенной выгоде в связи с внеплановым ремонтом, простоем воздушного судна в течение ремонта, дополнительными расходами, вызванными использованием других воздушных судов для выполнения заключенных договоров на авиаперевозки, репутационными издержками и другими потерями.

В соответствии с требованиями ИКАО каждая авиакомпания разрабатывает и совершенствует систему управления безопасностью полетов. Разрабатываемая ГрК "Волга-Днепр" совместно с УлГУ и консультантами АСППАП отличается гораздо более глубокой проработкой вопросов оценки, анализа и управления рисками, краткосрочного и долгосрочного прогнозирования. Единственным существующим в настоящее время аналогом является система CATS (Нидерланды), однако эта система заметно проще, не использует объективные данные об эксплуатационной деятельности авиакомпании и ожидаемых условиях выполнения полета и позволяет решать существенно меньший объем задач по управлению безопасности полетов. Итак, АСППАП является новой в мировом масштабе инновационной разработкой (инструментом контроллинга), позволяющей успешно решать ключевую в авиационной отрасли проблему подготовки правил принятия решений и выдачи рекомендаций руководителям по принятию управленческих решений при управлении безопасностью полетов. Планируется, что система будет тиражироваться: передаваться авиакомпаниям и внедряться в них.

О применении неформальной информационной экономики будущего при стратегическом управлении территориальными и муниципальными образованиями. В Указе Президента Российской Федерации от 21 августа 2012 года No. 1199 "Об оценке эффективности деятельности органов исполнительной власти субъектов Российской Федерации" вместо множества критериев эффективности в управленческий обиход введены 11 интегральных показателей деятельности органов исполнительной власти субъектов Российской Федерации, в том числе такой показатель, как "оценка населением деятельности органов исполнительной власти субъекта Российской Федерации". В настоящее время информационно-коммуникационные технологии все шире используются для организации взаимодействия органов управления территориальными и муниципальными образованиями с общественными организациями и отдельными гражданами. Особенно важно взаимодействие в области стратегического управления территориальными и муниципальными образованиями. Методы организации такого взаимодействия рассматриваются в развиваемой нами неформальной информационной экономике будущего (НИЭБ).

НИЭБ исходит из того, что основное течение (мейнстрим) в современной экономической науке - обоснование несостоятельности рыночной экономики и необходимости перехода к плановой системе управления хозяйством. В условиях России это означает, в частности, переход государства к непосредственному управлению экономикой, воссоздание Госплана и отраслевых министерств.

В рамках мейнстрима плановой экономики имеются различные системы взглядов. Мы полагаем, что модели и методы управления развитием крупномасштабных систем должны опираться на разрабатываемое в Институте проблем управления им. В.А. Трапезникова РАН новое направление в менеджменте [9], получившее название "Умное управление". Оно предполагает использование современных механизмов управления организационными системами (механизмов прогнозирования и планирования, организации, стимулирования (мотивации), координации и контроля) как на уровне отдельного предприятия, так и на уровне региона, страны и международных отношений. Технологии управления должны опираться на систематическое использование теории принятия решений, в том числе экспертных оценок. НИЭБ как базовую организационно-экономическую теорию относим к научному направлению "Умное управление". Базовые идеи НИЭБ достаточно подробно изложены в [10-15]. На 6 октября 2012 г. основной Интернет-ресурс по НИЭБ на форуме сайта "Высокие статистические технологии" просмотрен 53,5 тыс. раз.

НИЭБ - современная базовая организационно-экономическая теория. Хорошо известно [16], что "школа научного управления" основана на "русской системе обучения ремеслам", разработанной в Императорском Московском Техническом Училище (ныне МГТУ им. Н.Э. Баумана). Место и время рождения современного менеджмента - Москва, 60-70-е годы XIX в. Вполне естественно, что современная базовая организационно-экономическая теория - НИЭБ - также создана в МГТУ им. Н.Э. Баумана. Общепризнано, что управленческие решения необходимо принимать на основе всей совокупности социальных, технологических, экономических, экологических, политических факторов. Это касается прежде всего стратегических решений. Итак, экономика - часть менеджмента как науки об управлении людьми.

Согласно НИЭБ современные информационные технологии и теория принятия решений (включая экспертные технологии) позволяют построить информационно-коммуникационную систему, предназначенную для выявления потребностей и организации производства с целью их удовлетворения. Для реализации этой возможности необходима лишь воля руководства хозяйственной единицей, нацеленная на преобразование системы управления этой единицей. В частности, как уже и происходит во всех развитых странах, российское государство должно стать основным действующим лицом в экономике.

В качестве предшественников, на работы которых существенно опираемся, называем В.М. Глушкова и Ст. Бира. Многие исследователи высказывали схожие мысли. Например, можно указать на труды К. Поланьи. В рамках плановой системы можно смоделировать любые рыночные отношения, а потому плановое хозяйство заведомо не менее эффективно, чем рыночное. Основная критика (Хайека) плановой системы базировалась на невозможности произвести необходимое количество вычислений, в результате плановые решения запаздывали и не могли охватить необходимую номенклатуру товаров и услуг. Как показали шотландские экономисты В. Пол Кокшотт и Аллин Ф. Коттрелл, современные информационные технологии снимают эти проблемы. Так, П. Кокшотт убедительно демонстрирует теоретическую возможность организации производства с целью непосредственного удовлетворения потребностей в масштабах страны или человечества в целом. Особо отметим выполненный им тщательный анализ объемов необходимых вычислений. Для расчетов управленческих решений на базе моделей линейного программирования мощностей стандартных современных компьютеров вполне достаточно.

Практика управленческой работы в Группе авиакомпаний "Волга-Днепр" демонстрирует главенство менеджмента над экономикой, в частности, большое значение экспертных технологий [7], в том числе сетевых. Наш вклад в рассматриваемое интеллектуальное движение состоит в разработке теории принятия решений как инструментария НИЭБ, в частности, методов сбора и анализа экспертных оценок для выявления и согласования потребностей.

Новым по сравнению с временами В.М. Глушкова и С. Бира является широкое распространение Интернет-технологий, позволяющее аппаратно реализовать право граждан на участие в принятии касающихся их решений. Открытый процесс создания реальных организационных модулей системы, привлечения участников, прокладывания горизонтальных связей, осуществления операций с ее помощью можно назвать Open P2P Society - "Открытое сетевое общество". Неформальность - важнейшая черта, обеспечивающая свободу передачи информации и участие всех заинтересованных лиц и организаций в выработке и реализации решений.

В перспективе путем предварительного обсуждения и планирования можно будет снять проблему нерационального производства товаров и услуг. В рамках плановой системы можно смоделировать любые рыночные отношения, а потому плановое хозяйство заведомо не менее эффективно, чем рыночное. Основная критика плановой системы базировалась на невозможности произвести необходимое количество вычислений, в результате плановые решения запаздывали и не могли охватить необходимую номенклатуру товаров и услуг. Как показали В. Пол Кокшотт и Аллин Ф. Коттрелл (Cockshott and Cottrell, 1996), современные информационные технологии снимают эти проблемы. П. Кокшотт демонстрирует теоретическую возможность организации производства с целью удовлетворения потребностей в масштабах страны или человечества в целом (Кокшотт, 2008). Особо отметим выполненный им тщательный анализ объемов вычислений, необходимых для этого. Как показал П. Кокшотт, для расчетов управленческих решений на базе моделей линейного программирования мощностей стандартных современных компьютеров вполне достаточно. Возможность самореализации личности, быстрота реализации творческих решений, полностью реализуется в продвинутом варианте планового хозяйства, построенного на основе современной теории принятия решений. Возможно полностью удовлетворить индивидуальные и пожелания потребителей.

Многочисленные работы посвящены конкретным проблемам развития информационных технологий управления [15]. В частности, И. Герасимов считает, что информационные технологии управления уже на сегодняшнем этапе позволяют разработать и внедрять интегрированные информационно-управляющие системы, предназначенные для координации людей, ресурсов, потребностей, предложений; объединения в рабочие группы по реализации экономических проектов; установления прямых связей между производителями и потребителями; оптимальной координации инициатив и проектов в масштабе всего общества. К конкретным функциям в рамках экономического блока можно отнести: учет и распределение ресурсов, обмен экономическим опытом и технологиями, выявление потребностей населения в товарах и услугах, формирование коллективов новых хозяйствующих субъектов, аккумулирование и распределение инвестиций, координация действий трудовых коллективов, публичная оценка потребителями работы хозяйствующих субъектов, ведение публичного диалога между потребителями и производителями товаров и услуг, публикация жалоб добросовестных хозяйствующих субъектов на деструктивные действия официальных и неофициальных паразитических структур, выработка схем оптимального ресурсообмена и планов экономического развития.

Не менее важным, чем участие в экономической жизни, представляется наделение рядовых граждан возможностями по непосредственному участию в политическом управлении обществом. Это, в частности, формирование общественных советов и рабочих групп по коллективному изучению и решению тех или иных социальных проблем, оценка качества работы должностных лиц, разработка, обсуждение и оценка нормативных документов, выдвижение собственных предложений и доведение их до управленческих структур, организация публичного диалога между административными органами и населением, обсуждение кандидатов на выборные должности, публикация сведений о характеризующих личность граждан совершенных ими социально значимых действиях, мобилизация населения на акции прямого гражданского волеизъявления... Качественно новым уровнем по сравнению с разрозненными сайтами фирм и административных учреждений, выполняющими лишь представительские и рекламные функции, должны стать интегрированные порталы целых секторов экономики и территорий. Эти порталы должны обладать выраженной обратной связью, формироваться по единым стандартам, подчиняться принципу "открытой архитектуры", быть соединенными между собой каналами регулярного обмена данными и находиться под контролем формируемых населением общественных советов различных уровней (Герасимов, 2008).

Приведем пример институализации неформальных акций с помощью информационных технологий. В США по инициативе ученых Массачусетского технологического института - разумеется, вопреки воле официальных властей - была разработана интерактивная сетевая база данных, позволяющая гражданам свободно добавлять и получать информацию, касающуюся должностных лиц и политиков. Задуманная как "асимметричный ответ" на создание системы тотальной слежки правительственных органов за простыми людьми, она получила название GIA - Government Information Awareness, или "Информационная осведомленность о правительстве". Таким образом, передовой мировой опыт также указывает верное направление развития.

Оставшиеся с прошлых веков привычные принципы управления как экономикой, так и государством входят во все большее противоречие с возможностями в сфере технологий управления, предоставляемые прогрессом информационных технологий. Падает роль представительной демократии, при которой подавляющее большинство граждан делегируют полномочия по принятию решений специалистам-депутатам. Возрастает роль неформальной, "роевой" деятельности, как противовеса иерархическим структурам.

Работа выполнена при финансовой поддержке Министерства образования и науки РФ в рамках Постановления Правительства РФ No. 218.

Литература

1. Контроллинг: учебник / А.М. Карминский, С.Г. Фалько, А.А. Жевага, Н.Ю. Иванова; под ред. А.М. Карминского, С.Г. Фалько. - М.: Финансы и статистика, 2006. - 336 с.

2. Фалько С.Г. Контроллинг для руководителей и специалистов. - М.: Финансы и статистика, 2008. - 272 с.

3. Орлов А.И. Контроллинг организационно-экономических методов // Контроллинг. 2008. No.4 (28). С.12-18.

4. Фалько С.Г., Иванова Н.Ю. Управление нововведениями на высокотехнологичных предприятиях. - М.: МГТУ им. Н.Э. Баумана, 2007. - 256 с.

5. Орлов А.И., Рухлинский В.М., Шаров В.Д. Экономическая оценка рисков при управлении безопасностью полетов // Материалы I Международной конференции "Стратегическое управление и контроллинг в некоммерческих и публичных организациях: фонды, университеты, муниципалитеты, ассоциации и партнерства": выпуск No.1 / Под научн. ред. С.Л. Байдакова и С.Г. Фалько. - М.: НП "Объединение контроллеров", 2011. - С. 108-114.

6. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. - М.: Изд-во МГТУ им. Н.Э. Баумана. - 2009. - 541 с.

7. Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч.2. Экспертные оценки. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. - 486 с.

8. Шаров В.Д., Макаров В.П., Орлов А.И., Волков М.А., Санников И.А., Рухлинский В.М. Контроллинг при управлении безопасностью полетов. - Материалы II Международного Конгресса по контроллингу: выпуск No.2 / Под ред. С.Г. Фалько. - М.: НП "Объединение контроллеров", 2012. - С.222-232.

9. Механизмы управления / Под ред. Д.А. Новикова. - М. :Ленанд, 2011. - 192 с.

10. Орлов А.И. Неформальная информационная экономика будущего // Неформальные институты в современной экономике России: Материалы Третьих Друкеровских чтений / Под ред. Р.М. Нижегородцева.- М.: Доброе слово: ИПУ РАН, 2007. С.72-87.

11. Орлов А.И. Экономико-математические методы в контроллинге и неформальная информационная экономика будущего. - В сб.: Формування ринковоi економiки: Зб. наук. праць. Спец. вип., присвяч. Мiжнар. наук.-практ. конф. "Контролiнг у бiзнесi: теорiя i практика". - К.: КНЕУ, 2008. - С.43-50.

12. Орлов А.И. Основные идеи неформальной информационной экономики будущего // ЭТАП: Экономическая Теория, Анализ, Практика. 2010. No. 1, С.89-105.

13. Орлов А.И. Неформальная информационная экономика будущего - базовая организационно-экономическая теория // Вестник Южно-Российского государственного технического университета (Новочеркасского политехнического института). Серия "Социально-экономические науки". 2010. No.2. С.55-67.

14. Орлов А.И. Подходы неформальной информационной экономики будущего к управлению развитием крупномасштабных систем // IDO science. - 2010. - No.2. - С. 17-26.

15. Орлов А.И. Аристотель и неформальная информационная экономика будущего // BIOCOSMOLOGY - NEO-ARISTOTELISM (Биокосмология - нео-Аристотелизм). Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. Vol.2. No.3. Summer, 2012. С.150-164.

16. Научные школы Московского государственного технического университета имени Н.Э. Баумана. История развития / Под ред. И.Б. Федорова, К.С. Колесникова. 2-е изд., доп. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2005. - 464 с.

Публикация:

Орлов А.И. Стратегическое управление территориальными и муниципальными образованиями с точки зрения неформальной информационной экономики будущего // Материалы II  Международной научно-практической конференции по контроллингу. / Под науч. ред. С.Г. Фалько. - М.: НП "Объединение контроллеров", 2012. - С. 88 - 101.

*   *   *   *   *   *   *

На сайте "Высокие статистические технологии", расположенном по адресу http://orlovs.pp.ru, представлены:

На сайте есть форум, в котором вы можете задать вопросы профессору А.И.Орлову и получить на них ответ.

*   *   *   *   *   *   *

Удачи вам и счастья!
В избранное