Отправляет email-рассылки с помощью сервиса Sendsay

Эконометрика

  Все выпуски  

Эконометрика - выпуск 663


"Эконометрика", 663 выпуск, 7 октября 2013 года.

Здравствуйте, уважаемые подписчики!

*   *   *   *   *   *   *

Предлагаем доработанный вариант статьи А.И. Орлова "Два типа методологических ошибок при управлении научной деятельностью" для специального выпуска сборника научных трудов Института проблем управления им. В.А. Трапезникова РАН, посвященного проблемам наукометрии и управления научной деятельностью.

Интересна статья "Наука не может быть эффективной" директор Центрального экономико-математического института, академика РАН Валерия Леонидовича Макарова.

Все вышедшие выпуски доступны в Архиве рассылки по адресу subscribe.ru/catalog/science.humanity.econometrika.

*   *   *   *   *   *   *

УДК 021.8 + 025.1
ББК 78.34

Два типа методологических ошибок при управлении научной деятельностью

Александр Иванович Орлов, доктор экономических наук, доктор технических наук, кандидат физико-математических наук, профессор

Московский государственный технический университет им. Н.Э. Баумана; Московский физико-технический институт; Группа компаний "Волга-Днепр", Москва; prof-orlov@mail.ru

Попытки административного управления научной деятельностью зачастую опираются на неверные предположения, а потому приносят вред развитию науки. Статья посвящена предварительному обсуждению двух типов методологических ошибок при управлении научной деятельностью. Показан вред методов, использующих число публикаций и цитирований в научных журналах. Продемонстрирована нелепость сложившейся системы научных специальностей.

Ключевые слова: наука, управление, наукометрия, методологические ошибки, цитирование статей, научные специальности.

Введение

Наука и научное обслуживание - крупная отрасль народного хозяйства, как по числу работников, так и по потребляемым ресурсам. Вполне естественно, что для разработки и принятия обоснованных решений в области управления научной деятельностью необходимо применение научно обоснованных методов анализа и оценки результатов научной деятельности. Методологические ошибки при выборе таких методов приводят к управленческим решениям, наносящим вред народному хозяйству. В статье кратко рассмотрены ошибки двух конкретных типов - связанные с принятием решений на основе числа публикаций и цитирований в научных журналах и вытекающие из неадекватной классификации отраслей научной деятельности. Методологических ошибок при управлении научной деятельностью наблюдаем не две, а много больше. Например, целесообразно было бы обсудить систему ученых степеней (в некоторых представленных в настоящем сборнике статьях предлагается увеличить их число), процедуры защиты диссертации, ненужность рецензирования статей для признанных специалистов (для простоты - для докторов наук), организационные аспекты деятельности академий наук и научных обществ (например, выбор академиков докторами наук - как выбирают почетных членов (fellow) в западных научных обществах), и т.д., и т.п. Сколько-нибудь полное обсуждение требует не статьи, а книги. Автору было важно показать, что в рассматриваемой области существует ряд проблем, требующих обсуждения, а отнюдь не только наиболее популярная в настоящее время проблема использования тех или иных наукометрических показателей при оценке результатов научной деятельности.

Вред упора на число публикаций и цитирований в научных журналах

Очевидно, что большое значение имеют методы оценивания эффективности той или иной деятельности. В области научно-исследовательских работ весьма актуальными являются результаты, полученные В.В. Налимовым в области наукометрии [11] в 1960-х годах (сейчас чаще используют термин "наукометрика"). Приведем некоторые соображения в рамках научной школы В.В. Налимова.

Каков путь конкретного научного результата? Обычно он становится достоянием широкой научной общественности при докладе на представительной конференции. Первая публикация - тезисы доклада. (Тезисы, труды, материалы конференций объединяем термином "тезисы". Хотя многостраничные "труды" - это уже полномасштабные статьи.)

При дальнейшем развитии исследования доклад перерастает в статью, которая публикуется в тематическом сборнике или в журнале. Первый вариант для распространения идей предпочтительнее, поскольку тематический сборник фактически становится коллективной монографией, аккумулирующей в себе основные результаты, полученные группой разработчиков. Например, для статистики нечисловых данных таким сводным изданием стал сборник [1], подготовленный сложившимся к тому времени неформальным коллективом исследователей в этой только что сформировавшейся научной области.

Только для давно развивающихся областей с большим числом исследователей и эффективной административной поддержкой публикации концентрируются в научных журналах, порожденных соответствующей частью научного сообщества.

В нашей стране для прикладной статистики и других статистических методов эта стадия еще не наступила - нет соответствующих журналов, есть только раздел "Математические методы исследования" в журнале "Заводская лаборатория. Диагностика материалов". Тематика журнала в целом, как видно из названия, перпендикулярна рассматриваемой научной области (хотя и имеет с ней непустое пересечение). С момента создания раздела (1962 г.) в этом журнале публикуются основные работы на русском языке по прикладной статистике и другим статистическим методам, к настоящему времени издано около тысячи статей.

Аналогична ситуация с начальным этапом развития научного направления "Экспертные оценки" [16]: сначала тезисы докладов, затем тематические сборники, без заметного влияния статей в научных журналах.

Следующий этап за публикациями в журнале или сборнике - выпуск монографии, подводящей итоги соответствующего этапа работ. (Хорошая монография - это не механическое объединение отдельных статей (научных результатов), а представление научной общественности направления исследований как целого.) Затем - создание учебника. Ясно, что на широкое распространение и использование может рассчитывать только то знание, которое включено в учебный процесс и вошло в сознание следующего поколения специалистов.

Отметим, что ссылки на научные публикации даются не только при составлении научных статей, но и при подготовке отчетов, диссертаций, справочников, выполнении прикладных работ, в том числе закрытых. Поэтому учет цитирований в ограниченном списке научных журналов всегда преуменьшает реальное использование конкретной научной публикации.

Заключительный этап - знание становится общеизвестным. Например, в статьях отмечают, что аксиоматическая теория вероятностей построена А.Н. Колмогоровым (сам А.Н. Колмогоров, встречая такую фразу, обычно указывал на нескольких исследователей - акад. С.Н. Бернштейна и др., - которые ранее предложили несколько иные аксиоматические подходы; да и сам он разработал не один, а два аксиоматических подхода - на основе теории меры в 1930-е годы и на основе теории информации в 1960-е годы, но обычно вспоминают и используют только первый из них). С течением времени перестают даже упоминать авторов - используют производные и интегралы, не ссылаясь на Ньютона и Лейбница.

Итак, наиболее естественная цепочка научных публикаций:

- тезисы доклада;

- тематический сборник;

- монография;

- учебник;

- широкое использование.

Обратите внимание - для развития нового направления публикации в научных журналах отнюдь не всегда нужны. Кроме того, принципиально новую работу в устоявшемся научном журнале просто не поместят, поскольку она противоречит традициям журнала (за многочисленными примерами отклонения принципиально новых работ читатели могут обратиться к автору настоящей статьи).

Проанализировав путь конкретного научного результата, видим, что он состоит из этапа первоначального развития, завершающегося книжной публикацией, и этапа зрелости и широкого использования. На втором этапе обычно цитируют монографию, справочник, учебник, а не исходную статью. Очевидно, что с точки зрения общества целесообразно, чтобы первоначальный этап был возможно короче.

На основе сказанного выше весьма странными (и даже вредными с точки зрения развития науки) представляются попытки оценивать научную продуктивность коллективов и отдельных исследований только на основе публикаций в научных журналах. При этом полностью игнорируются материалы конференций, сборники статей, монографии, учебники, т.е. основная (по своему воздействию на развитие науки и техники) масса публикаций. Большое значение материалам конференций как первым публикациям новых идей придают М.М. Деза и Е.И. Деза (см. их статью в настоящем сборнике).

В настоящее время администраторы при оценке и управлении научной деятельностью зачастую используют число публикаций и цитирований в научных журналах. Какой именно индекс цитирования применяется - не столь важно. Важны используемые базы данных, в которых делается упор на статьи в журналах. Например, индекс на основе базы данных Web of Science, в котором вообще не учитываются доклады на конференциях и монографии, а список журналов резко перекошен в сторону англоязычных - большинства российских журналов в нем просто нет. В наукометрической базе данных Scopus учитываются избранные сборники конференций и монографии, но дискриминация отечественных журналов весьма выражена. Особняком стоит Академия Гугл (Google Scholar) - считает все книги и статьи, имеющиеся в Интернет-изданиях. К сожалению, многие ценные издания до сих пор не попадают в Интернет, например, межвузовский сборник научных трудов "Статистические методы оценивания и проверки гипотез" (хотя переводится в США) и Материалы научных чтений памяти К.Э. Циолковского. Отечественный РИНЦ учитывает только статьи в научных журналах. Подробный анализ различных индексов дан в ряде статей настоящего сборника.

В отечественной практике оценки и управления научной деятельностью упор зачастую делается на публикации в журналах списка ВАК.

Напомним, еще более 40 лет назад В.В. Налимовым и З.М. Мульченко [11] было обращено внимание на опасность использования индекса цитирования (импакт-фактора) для оценки деятельности научных организаций и отдельных работников, особенно при принятии решений о финансировании. Много писали об этом и другие исследователи [33].

Бегло обсудим отрицательные эффекты, о которых идет речь. Надо поднять импакт-фактор, чтобы увеличить финансирование? Вот план мероприятий (по аналогии со сбором десятка-другого отзывов на диссертацию и автореферат, которые, как все мы знаем, часто пишет сам соискатель, а затем собирает подписи): вместо одной полноценной статьи делим ее на последовательные кусочки, допускающие дальнейшее развитие, создаем команду "авторов" и рассылаем по журналам, затем путем перекрестных ссылок продолжаем "развитие" положений исходного набора статей.

Целесообразно в первых публикациях допустить неточности, ошибки, недоработки. Тогда появляются основания для публикации следующих статей, улучшающих предыдущие. Например, существование пятого момента случайной величины можно последовательно заменять на существование четвертого, третьего и второго. Или вместо условия дифференцируемости функции обойтись условием непрерывности. В результате получаем "облако" взаимно ссылающихся статей в связке из нескольких журналов. Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей. Конечно, надо исключить дословное повторение текстов, воспользовавшись опытом соискателей ученых степеней, в частности, при подготовке отзывов на диссертации и авторефераты. Современная информационная техника облегчает задачу. Если лет двадцать назад надо было перепечатывать текст, вручную вставлять формулы, то сейчас с помощью текстового редактора, Интернета и/или принтера технические сложности снимаются - статьи можно "печь как блины".

Развивая эти вполне естественные для современного "исследователя" мысли, приходим к целесообразности организации "семей", члены которых будут ссылаться друг на друга (и не ссылаться на "чужих"). Можно привести примеры таких квазимафиозных структур.

Почему пропагандисты индекса цитирования делают упор на журналы? Одна из причин - потому что таким путем оценку научной продуктивности можно проводить путем применения соответствующего программного продукта. Достаточно составить базу данных из списков литературных ссылок в электронных версиях журналов и формально ее обработать. Другая причина - "владельцы" журналов (в частности, редакторы, члены редакционных советов, основные авторы) таким образом закрепляют свои позиции в научном мире.

Ясно, что методологические ошибки - упор на индексы цитирования - приводят к неправильным управленческим решениям (ср. с основными положениями статьи [15]). Не получают адекватной оценки новые научные направления, которые еще не обзавелись своими журналами. Вне оценивания оказываются наиболее ценные результаты, отраженные в монографиях и учебниках. Оценка по импакт-фактору объективно задерживает подготовку книжных изданий - ведь после выхода книги ссылаться будут на нее, а не на предыдущие статьи, а ссылки на книги не влияют на импакт-фактор журнала. Следовательно, управление наукой на основе числа публикаций в рецензируемых журналах и индексов цитирования объективно замедляет развитие науки, переход полученных результатов в область практического применения.

Еще один эффект, отмеченный в статьях настоящего сборника - ссылки на работы, в которых получены принципиально новые результаты, могут "тонуть" среди ссылок на массы эпигонов. Достаточно пересказать статью предшественника, добавив к ней свою "завитушку" - и готова своя статья, и ссылаться будут зачастую на нее, а не на статью предшественника.

Проиллюстрируем последнее утверждение. В 1970-е годы автор настоящей статьи выяснил, какими средними величинами следует пользоваться, если исходные данные измерены в тех или иных шкалах измерения. Дальнейшее развитие отражено в обзорной статье [2]. К сожалению, стандартный стиль изложения, принятый в этой статье, таков, что среди несколько десятков литературных ссылок совершенно затерялись базовые работы, комментариями к которым являлись остальные. Пришлось в том же номере журнала специально описать основные результаты [13].

В проблеме адекватного использования индексов цитирования есть и сравнительно кратковременные, но весьма существенные факторы. Так, на настоящий момент важно, что в современных условиях отнюдь не все отечественные журналы имеют полноценные электронные версии, не все включены в системы учета и анализа цитирования, в отличие от аналогичных зарубежных изданий. Эти факты подробно обсуждаются в ряде статей настоящего сборника.

Сопоставление с реальностью информации, содержащейся в наукометрических (библиометрических) базах данных, приводит к выводу о явной неполноте указанной информации, по крайней мере в настоящее время. Кратко проанализируем отображение в Академии ГУГЛ и РИНЦ публикаций автора настоящей статьи. Перечень "Основные научные и методические работы А.И.Орлова" - это базовый список публикаций, без тезисов, трудов и материалов конференций, резюме докладов на семинарах, "Комментариев" к статьям, диссертаций, авторефератов, отчетов, статей в энциклопедиях, а также без научно-популярных и научно-организационных статей, отчетов о конференциях, рецензий, статей в газетах, программ учебных курсов и др. На 13 июня 2013 г. этот перечень включает 281 название научных работ А.И. Орлова - 46 книг и 235 статей (http://forum.orlovs.pp.ru/viewtopic.php?f=5&t=271). В Академии ГУГЛ (scholar.google.ru/citations) отмечено 148 публикаций А.И. Орлова, 1456 цитирований. Индекс Хирша - 15, не менее 10 раз процитированы 32 работы. Первые 5 источников по числу цитирований - книги, 6-й - статья (обзор по экспертным оценкам), источники 7-10 - снова книги, т.е. из первых 10 по числу цитирований - 9 книг и только 1 статья. В РИНЦ (elibrary.ru) отмечены 111 публикаций (только статьи), 844 цитирований, индекс Хирша - 9. Кроме того, автору работ видны разнообразные неточности и противоречия в представленной в базах информации.

Для достижения адекватности приводимых библиографических описаний и наукометрических показателей нужно править информацию строчку за строчкой на основе предварительного изучения свойств наукометрических баз данных. Стоит ли тратить на это время?

Ведь основное ясно сразу - в этих базах представлено лишь 40-50% основных публикаций автора настоящей статьи, по крайней мере половины работ нет. И нет никакого желания тратить время на исправление и пополнение баз данных.

Качество информации в наукометрических базах данных обсуждается также в статье Дербенева Н.В. и Толчеева В.О. в настоящем сборнике.

Сказанное объясняет, почему мы присоединяемся к мнению Международного союза математиков, который предостерегает от неправильного использования статистики цитирований [7, 34].

Отметим, что обсуждению вопросов адекватной оценки результатов научной деятельности посвящены многочисленные публикации. Так, дискуссии о проблемах построения рейтингов российских научных журналов посвящен специальный номер периодического сборника научных трудов "Управление большими системами" [31].

Отметим, что наукометрические базы данных успешно используются при изучении развития науки [11]. При этом на основе анализа ссылок в журнальных статьях можно проследить развитие идей, формирование научных направлений. Однако в настоящей статье мы рассматриваем только один аспект наукометрии, связанный с попытками использовать наукометрические показатели для оценки деятельности научных работников и коллективов и управления [14] ими (например, премирования наиболее "успешных" сотрудников). Как сказано в [11, с.125], "будет катастрофически плохо, если плановые отделы или отделы кадров наших учреждений начнут делать вульгарные оценки по уровню цитируемости".

По нашему мнению, развернутая в последнее время пропаганда использования наукометрических показателей и баз данных, необходимости публикации статей в зарубежных журналах является маркетинговой кампанией определенных коммерческих структур, имеющей целью создание и захват отечественного рынка указанных услуг с целью получения прибыли.

Мы полагаем, что оценка деятельности научных работников и коллективов должна даваться в результате тщательной экспертизы [16] и публичного обсуждения полученных научных результатов. Наукометрические показатели, рассчитанные по числу публикаций и цитирований в научных журналах, могут играть лишь вспомогательную (справочную) роль.

Неадекватность сложившейся в нашей стране системы научных специальностей

Используемая в нашей стране система научных специальностей оказывает большое влияние на научную жизнь. В соответствии с ней построена система научных учреждений и журналов, распределяется финансирование, присваиваются научные степени, и т.п. Покажем, что она неадекватна, а потому требует существенной модернизации.

Само по себе введение системы научных специальностей спорно. При защитах диссертаций постоянно приходится сталкиваться с проблемой, в какую клетку (научную специальность) поместить тут или иную работу. Можно предложить отменить эту систему в целом или же ограничиться использованием терминов только верхнего уровня (математика, биология и др.) Однако в настоящей статье, исходя из малых реальных возможностей повлиять на систему, ограничимся демонстрацией неадекватности действующей системы.

Классификация наук закреплена формальными решениями. Например, в нашей стране утвержден список специальностей научных работников. Однако формальные решения могут быть модернизированы. Время от времени это происходит. Например, около 20 лет назад появились новые группы специальностей - социологические и политологические. Однако недостатки действующей системы очевидны. Приведем четыре примера.

Пример 1. Продолжает использоваться термин "физико-математические науки", хотя его нелепость ясна всем специалистам. Математика относится к формальным наукам, изучает конструкции, созданные мыслью, т.е. находящиеся не в реальном мире, а в идеальном, мысленном. Математика может быть применена в любой сфере деятельности, в любой отрасли народного хозяйства. Например, широко распространен термин "экономико-математические методы и модели", очевидно, относящийся к применению математики в экономике. В то же время физика - одна из областей естествознания, наука, изучающая наиболее общие и фундаментальные закономерности, определяющие структуру и эволюцию материального мира. Термин "физико-математические науки" не более обоснован, чем, например, термины "химико-математические науки" или даже "ветеринарно-социологические науки".

Пример 2. Как известно, статистические методы применялись на практике (и, следовательно, были теоретически разработаны и обоснованы) с древних времен. В Библии Ветхий завет начинается с Пятикнижия Моисеева, и четвертая книга Пятикнижия называется "Числа". Она начинается с описания проведенной под руководством Моисея переписи военнообязанных. Со времен библейского Моисея статистика получила значительное развитие (см. определения и научные результаты в учебниках [19, 20]). В частности, к ней относятся и такие сравнительно новые направления, как интеллектуальный анализ данных (data mining), машинное обучение, распознавание образов, извлечение информации. В США в 1971 г. число статистических кафедр в университетах превышало число математических, соответственно и число статистиков было больше числа математиков [10]. Сейчас (2013) в Американском статистической ассоциации - более 18 тыс. членов, в Американском математическом обществе - около 30 тыс. членов. Таким образом, по численности специалистов "статистика" и "математика" вполне сопоставимы по крайней мере последние 50 лет. Следовательно, в США статистика воспринимается одной из "больших" наук: математика, физика, статистика, химия, биология...

Если бы в России классификация наук соответствовала бы американской, то в составе РАН было бы Отделение статистических наук со своей системой научно-исследовательских учреждений (в частности, включающей наш Институт высоких статистических технологий и эконометрики), системой научных журналов, присуждались бы ученые степени по статистическим наукам и т.п. (подробнее см. проект обустройства (институализации) статистических наук, разработанный в статье [17]).

Совсем не так обстоит дело в нашей стране. В официальной структуре науки статистика упоминается дважды, и оба раза на вторых ролях. Во-первых, как одна из экономических наук (специальность 08.00.12 "Бухгалтерский учет, статистика", присуждаются ученые степени по экономическим наукам). Во-вторых, в названии математической специальности 01.01.05 "теория вероятностей и математическая статистика" (присуждаются ученые степени по физико-математическим наукам). Все остальные применения статистических методов, в частности, в технических или социологических исследованиях, остаются вне официальной структуры науки.

Классификацию научных специальностей надо менять в соответствии с развитием науки. В частности, выделение статистики как базовой науки, такой, как математика и физика, принятое в США, надо перенести в отечественную классификацию.

Пример 3. На знамени научного прогресса второй половины ХХ в. начертано: "Кибернетика". Однако нет в нашей стране докторов и кандидатов кибернетических наук (есть, правда, математическая специальность "Дискретная математика и математическая кибернетика", при защите диссертации присуждается ученая степень по физико-математическим наукам).

Пример 4. Очевидно, что менеджмент (управление людьми) - более широкая сфера деятельности, чем экономика. Управленческие решения необходимо принимать на основе всей совокупности социальных, технологических, экологических, экономических, политических факторов [14]. Между тем в действующей официальной номенклатуре специальностей научных работников (в редакции Приказа Минобрнауки РФ от 11.08.2009 N 294) менеджмент находится внутри экономической специальности 08.00.05 "Экономика и управление народным хозяйством". При этом есть целый ряд технических специальностей, включающих в себя термин "управление", среди которых выделяется специальность 05.13.10 "Управление в социальных и экономических системах" (присуждаются ученые степени по техническим (!) наукам).

Короче, наблюдаем:

1) нелепое объединение математики и физики;

2) два осколка статистики вместо науки "Статистика" верхнего уровня;

3) осколок кибернетики;

4) менеджмент внутри экономики, а не экономика внутри менеджмента.

Приведенные примеры показывают, что действующая официальная номенклатура специальностей научных работников нуждается в модернизации.

В качестве примера применения общих соображений рассмотрим наши предложения [18] по введению новой социологической специальности. Часть наших работ относится к достаточно самостоятельной области - математическим методам анализа социологических данных. Основной интерес в ней - к математическим вопросам, социологические постановки служат для постановки математических задач. Эта область относится к математической социологии - научной дисциплине, аналогичной математической экономике, математической физике и др. Автор настоящей статьи работает в социологии (пишет научные статьи) с 1970-х годов по настоящее время. В дальнейших рассуждениях опираемся на опыт журнала "Социология: методология, методы, математическое моделирование" (включен в список ВАК), в редсовет которого автор настоящей статьи входит с момента организации журнала (1991). В журнале опубликованы многочисленные работы, ценные как в теоретическом, так и в практическом плане, описывать которые здесь нет возможности из-за ограниченного объема статьи.

К социологическим наукам близки экономические. Вплоть до того, что на включение в свою сферу маркетинга (изучения предпочтений потребителей) претендуют и те, и другие. Однако у экономистов есть специальность 08.00.13 "Математические и инструментальные методы экономики", а у социологов нет аналогичной специальности, математическая социология не выделена среди социологических наук.

К чему это приводит? В частности, к отсутствию должного внимания к развитию математических методов в социологии, к их вытеснению из перечней секций социологических конференций и конгрессов. В результате падает квалификационный уровень работ. На заседании секции "Измерение в социологии" VI научно-практической конференции памяти первого декана факультета социологии А.О. Крыштановского "Современная социология - современной России" (1-3 февраля 2012 года) пришлось урезонивать воинствующего невежду, который пытался навязать докладчику свое неправильное понимание проверки значимости при проверке статистических гипотез. Впрочем, и докладчик продемонстрировал непонимание необходимости обязательной проверки значимости различия долей тех или иных значений признаков при сравнения совокупностей, сказавши: "В журнале "Социология-4М" нас заставили проверить значимость различия долей". К необходимости повышения качества математической составляющей социологических исследований мы старались привлечь внимание в работе [18].

В области социологии мы считаем необходимым усилить внимание к проблемам развития и применения математических методов анализа социологических данных, математического моделирования социальных процессов, короче - к математической социологии. Целесообразно в рамках социологической науки создать специальность "Математические и инструментальные методы социологии", аналогичную экономической специальности "Математические и инструментальные методы экономики".

К математическим методам в социологии относим не только методы анализа числовых и нечисловых социологических данных, но и методы математического моделирования социальных процессов [6, 32].

Под инструментальными методами понимаем прежде всего методы, нацеленные на развитие и применение информационных технологий, включая сетевые (в том числе модели распространения нововведений в сфере информационных и телекоммуникационных технологий [3] и онлайн исследования [12]).

Много интересных работ, относящихся к математической социологии, было выполнено в нашей стране в 70-80-е годы ХХ в. Назовем только некоторые из них. В 1977 г. академический Институт социологических исследований выпустил два сборника научных работ [5, 8]. На основе материалов Всесоюзной научной конференции "Проблемы применения математических методов в социологическом исследовании" издательство "Наука" опубликовала солидный сборник [4]. Хотя прошло уже более 30 лет, материалы этих сборников по-прежнему актуальны. Квалифицированные работы не устаревают. (К сожалению, во многом потому, что их мало читают.) В подтверждение отметим методологическую несостоятельность современных публикаций Росстата по переписям населения по сравнению с книгой "Числа" Ветхого Завета, в которой рассказано о переписи военнообязанных, проведенной под руководством Моисея. (Методологическая несостоятельность - в указании числа жителей с точностью до 1 человека. Ясно, что в следующую минуту число жителей изменится. Моисей указывал с точностью до 100 военнообязанных (и численность изученной совокупности была на 2 порядка меньше). С разбора методологической несостоятельности современных публикаций Росстата по переписям населения по сравнению с книгой "Числа" Ветхого Завета автор настоящей статьи обычно начинает курсы "Статистики" и "Прикладной статистики".)

По сей день наиболее многоплановой публикаций по методам анализа нечисловых данных является сборник [1] 1985 г., подготовленный совместно академическим Институтом социологии и комиссией "Статистика объектов нечисловой природы" Научного Совета АН СССР по комплексной проблеме "Кибернетика". В настоящее время анализу нечисловых данных посвящены обширные разделы в учебнике по прикладной статистике [20] 2006 г., есть и специальный учебник по нечисловой статистике [19] 2009 г., но сборник 1985 г. по-прежнему актуален и необходим тем, кто хочет разобраться в методах анализа нечисловой (т.е. качественной) информации в социологических исследованиях. Отметим, что именно практические запросы социологов (и специалистов по экспертным оценкам) послужили стимулом для разработки нечисловой статистики [23].

После 1985 г. появились адресованные студентам-социологам учебники и учебные пособия, в частности, книги Ю.Н. Толстовой [27, 28, 30] и Г.Г. Татаровой [25, 26]. Как уже отмечалось, с 1991 г. выпускается журнал "Социология: методология, методы, математическое моделирование" (сокращенно "Социология-4М"). Развитию математических и статистических методов в российской социологии посвящены обзорные работы [21, 29].

Казалось бы, математическая социология развивается нормально. Однако всё заметнее проявляются отрицательные тенденции. Подавляющее большинство социологов остаются невежественными в области методов анализа данных. Проявляется это, например, в преклонении перед давно устаревшим западным статистическим пакетом SPSS (анализу статистических пакетов посвящена статья [22]). Полученные еще в 70-е годы ХХ в. научные результаты остаются неизвестными подавляющему большинству социологов, а потому, естественно, не применяются. Научный инструментарий типичного отечественного социолога зачастую соответствует уровню XIX в. В последнее время даже номинальное признание важности математической социологии в виде организации отдельных секций на социологических конгрессах и конференциях постепенно сходит на нет. Подробнее эти мысли развиты в нашем выступлении [24] в "Дискуссии о социологии" на сайте Российского общества социологов.

Заключение

Статья посвящена предварительному рассмотрению двух типов (из многих, заслуживающих анализа) методологических ошибок при управлении научной деятельностью.

Первый тип методологических ошибок выражается в неоправданном упоре на число публикаций и цитирований в научных журналах при оценивании эффективности научной деятельности исследователей и организаций. Для разработки адекватных методов такой оценки необходимо проследить развитие научных результатов.

Опыт развития ряда научных направлений (например, статистики объектов нечисловой природы, современной теории экспертных оценок) говорит о том, что журнальный этап публикаций результатов не является обязательным. По нашей экспертной оценке, наиболее естественная цепочка развития научного результата такова: тезисы доклада - тематический сборник - монография - учебник - широкое использование. Обсуждение в рамках неформального научного коллектива, на научных конференциях и в тематических сборниках позволяет предохранить учебники от включения неапробированных результатов.

Методологически ошибочными являются попытки оценивать научную продуктивность коллективов и отдельных исследований только на основе публикаций в журналах. Весьма важно, что управление наукой на основе числа публикаций в рецензируемых журналах и индексов цитирования объективно замедляет развитие науки, переход полученных научных результатов в область практического применения.

По нашему мнению, оценка деятельности научных работников и коллективов должна даваться в результате тщательной экспертизы [16] и публичного обсуждения полученных научных результатов. Наукометрические показатели, рассчитанные по числу публикаций и цитирований в научных журналах, могут играть лишь вспомогательную (справочную) роль.

Второй тип методологических ошибок реализован в действующей в России официальной номенклатуре специальностей научных работников. В частности, наблюдаем в ней:

1) нелепое объединение математики и физики;

2) два осколка статистики вместо науки "Статистика" верхнего уровня (т.е. уровня математики или биологии);

3) осколок кибернетики при игнорировании кибернетики в целом;

4) нарушение логики построения системы специальностей - менеджмент внутри экономики, а не экономика внутри менеджмента.

Номенклатура специальностей научных работников должна быть либо отменена, либо модернизирована. В качестве примера применения общих соображений обоснованы наши предложения по введению новой социологической специальности.

В области социологии мы считаем необходимым усилить внимание к проблемам развития и применения математических методов анализа социологических данных, математического моделирования социальных процессов, короче - к математической социологии. Для этого целесообразно в рамках социологической науки выделить специальность "Математические и инструментальные методы социологии", аналогичную экономической специальности "Математические и инструментальные методы экономики".

В нашей стране в 1970-е гг. были получены ценные научные результаты в области математических и инструментальных методов в социологии. Хотя прошло уже более 30 лет, они по-прежнему актуальны. Квалифицированные работы не устаревают.

Однако подавляющее большинство социологов остаются невежественными в области методов анализа данных. Проявляется это, например, в преклонении перед давно устаревшим западным статистическим пакетом SPSS, в котором не отражена по крайней мере половина современных статистических методов. Полученные еще в 1970-е гг. научные результаты остаются неизвестными подавляющему большинству отечественных социологов, а потому, естественно, не применяются. Научный инструментарий типичного социолога зачастую соответствует уровню XIX в. В последнее время даже номинальное признание важности математической социологии в виде организации отдельных секций на социологических конгрессах и конференциях постепенно сходит на нет. Введение новой специальности "Математические и инструментальные методы социологии" и создание соответствующей институциональной инфраструктуры может исправить положение и вернуть отечественной науке лидирующее положение в этой области.

Литература

1. Анализ нечисловой информации в социологических исследованиях / Под ред. В. Г. Андреенкова, А. И. Орлова, Ю. Н. Толстовой. - М.: Наука, 1985. - 222 с.

2. Барский Б. В., Соколов М. В. Средние величины, инвариантные относительно допустимых преобразований шкалы измерения // Заводская лаборатория. Диагностика материалов. - 2006. - Т.72. No.1. - С.59-66.

3. Делицын Л. Л. Количественные модели распространения нововведений в сфере информационных и телекоммуникационных технологий. - М.: МГУКИ, 2009. - 106 с.

4. Математические методы в социологическом исследовании / Под ред. Т. В. Рябушкина и др. - М.: Наука, 1981. - 335 с.

5. Математические методы и модели в социологии / Под ред. В. Н. Варыгина. - М.: Институт социологических исследований АН СССР, 1977. - 192 с.

6. Математическое моделирование социальных процессов. Вып. 10 / Под ред. А. П. Михайлова. - М.: КДУ, 2009. - 524 с.

7. Международный союз математиков предостерегает от неправильного использования статистики цитирований // Полит.ру / Наука. 16 июня 2008. URL: http://www.polit.ru/news/2008/06/16/mathunion/ (дата обращения: 08.01.2013).

8. Методы современной математики и логики в социологических исследованиях / Под ред. Э. П. Андреева. - М.: Институт социологических исследований АН СССР, 1977. - 172 с.

9. Михайлов О. В. Цитируемость ученого: важнейший ли это критерий качества его научной деятельности? // Informetrics.ru. Электронный журнал. Статья No.1079. URL: http://www.informetrics.ru/articles/sn.php?id=56 (дата обращения: 08.01.2013).

10. Налимов В. В. О преподавании математики экспериментаторам // О преподавании математической статистики экспериментаторам. / Препринт Межфакультетской лаборатории статистических методов No.17. - М.: Изд-во Московского государственного университета им. М.В. Ломоносова, 1971. - С.5-39.

11. Налимов В. В., Мульченко З. М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.

12. Онлайн исследования в России 2.0 / Под ред. А. В. Шашкина, И. Ф. Девятко, С. Г. Давыдова. - М.: РИЦ "Северо-Восток", 2010. - 336 с.

13. Орлов А. И. Математические методы исследования и теория измерений // Заводская лаборатория. Диагностика материалов. - 2006. - Т.72. No.1. - С.67-70.

14. Орлов А. И. Менеджмент: организационно-экономическое моделирование. - Ростов-на-Дону: Феникс, 2009. - 475 с.

15. Орлов А. И. Методологические ошибки ведут к неправильным управленческим решениям // Управление большими системами. Вып. 27. - М.: ИПУ РАН, 2009. - С.59-65.

16. Орлов А. И. О развитии экспертных технологий в нашей стране // Заводская лаборатория. Диагностика материалов. - 2010. - Т.76. No.11. - С.64-70.

17. Орлов А. И. О современных проблемах внедрения прикладной статистики и других статистических методов // Заводская лаборатория. Диагностика материалов. - 1992. - Т.58. No.1. - С.67-74.

18. Орлов А. И. Об оценке качества процедур анализа данных // Социологические методы в современной исследовательской практике: Сб. статей, посвященный памяти первого декана факультета социологии НИУ ВШЭ А.О. Крыштановского / Отв. ред. и вступит. ст. О. А. Оберемко; НИУ ВШЭ, ИС РАН, РОС. - М.: НИУ ВШЭ, 2011. - С.7-13.

19. Орлов А. И. Организационно-экономическое моделирование: учебник : в 3 ч. Ч.1: Нечисловая статистика. - М.: Изд-во МГТУ им. Н.Э. Баумана. 2009. - 541 с.

20. Орлов А. И. Прикладная статистика. - М.: Экзамен, 2006. - 671 с.

21. Орлов А. И. Статистические методы в российской социологии (тридцать лет спустя) // Социология: методология, методы, математические модели. - 2005. - No.20. - С.32-53.

22. Орлов А. И. Статистические пакеты - инструменты исследователя // Заводская лаборатория. Диагностика материалов. - 2008. - Т.74. No.5. - С.76-78.

23. Орлов А. И. Тридцать лет статистики объектов нечисловой природы (обзор) // Заводская лаборатория. Диагностика материалов. - 2009. - Т.75. No.5. - С.55-64.

24. Орлов А. И. Черная дыра отечественной социологии // Выступление 09 января 2011 г. в "Дискуссии о социологии" на сайте Российского общества социологов. URL: http://www.ssa-rss.ru/index.php?page_id=19&id=456 (дата обращения: 08.01.2013).

25. Татарова Г. Г. Методология анализа данных в социологии (введение). - М.: NOTA BENE, 1999. - 224 с.

26. Татарова Г. Г. Основы типологического анализа в социологических исследованиях. - М.: Издательский Дом "Высшее образование и наука", 2007. - 236 с.

27. Толстова Ю. Н. Анализ социологических данных: методология, дескриптивная статистика, изучение связей между номинальными признаками. - М.: Научный мир, 2000. - 352 с.

28. Толстова Ю. Н. Измерение в социологии. - М.: Инфра-М, 1998. - 224 с.

29. Толстова Ю. Н. Математические методы в социологии / Социология в России. Под ред. В. А. Ядова. - 2-е изд., перераб. и дополн. - М.: Издательство Института социологии РАН, 1998. - С.83-89, 98-103.

30. Толстова Ю. Н. Основы многомерного шкалирования. - М.: Издательство КДУ, 2006. - 160 с.

31. Управление большими системами / Период. сборник трудов. Вып. 27. - М.: Институт проблем управления РАН, 2009. - 324 с. URL: http://ubs.mtas.ru/archive/search_results_new.php?publication_id=17912 (дата обращения: 08.01.2013).

32. Швекдовский В. А. Особенности социолого-математического моделирования в исследовании социальных процессов. - М.: АПКиППРО, 2009. - 236 с.

33. Эпштейн В. Л. О контрпродуктивности использования наукометрического показателя результативности научной деятельности для будущего России // Проблемы управления. - 2007. - No.3. - С.70-72.

34. Adler R., Ewing J., Taylor P. Citation Statistics [Электронный ресурс] / A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS) Corrected version, 6/12/08. - Режим доступа: http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf (дата обращения: 08.01.2013). Перевод: Алдер Р., Эвинг Дж., Тейлор П. Статистики цитирования // Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). -- М.: МЦНМО, 2011. - С.6-38. - Режим доступа: http://www.mccme.ru/free-books/bibliometric.pdf (дата обращения: 16.06.2013).

Two types of methodological errors

in the management of research activities

Alexander Ivanovich Orlov, Bauman Moscow State Technical University, Moscow Institute of Physics and Technology (State University), Volga-Dnepr Group, Moscow, DSc (economics), DSc (technics), PhD (mathematics), professor (prof-orlov@mail.ru).

Abstract: Attempts administrative management of research activities are often based on wrong assumptions, and therefore bring harm to the development of science. The article is devoted to a preliminary discussion of two types of methodological errors in the management of research activities. Shows damage methods using the number of publications and citations in scientific journals. Demonstrated the absurdity of the current system of scientific disciplines.

Keywords: science, management, scientometrics, methodological errors, citations of articles, research specialty.

*   *   *   *   *   *   *

Наука не может быть эффективной

Валерий Макаров, академик РАН,

директор Центрального экономико-математического института

Достижения науки имеют для человечества непреходящую ценность, которую нельзя измерить деньгами.

Фундаментальные знания нельзя оценивать простыми показателями

Российская академия наук занимается производством фундаментальных знаний о законах развития природы, общества и человека. Так записано в Уставе академии.

Понятие "фундаментальная наука" уже вполне устоялось, под этим понимается наука, не имеющая прямых выходов в практику. На достижения фундаментальной науки опирается прикладная наука, которая доводит их до практического применения. Например, Майкл Фарадей, изобретатель индукционной катушки, создал учение об электромагнитном поле. Это чисто фундаментальный результат. Джеймс Максвелл обосновал классическую электродинамику. А Томас Эдисон, изобретатель телеграфа, коммерческого варианта лампы накаливания, фонографа, аккумулятора и многих других полезных вещей, довел научные теории до практического использования.

РАН, точнее Академия наук СССР, всегда работала в окружении учреждений прикладной науки - разнообразных научно-исследовательских институтов и конструкторских бюро. Когда страна вышла на рыночный этап развития, НИИ и КБ оказались в "безвоздушном" пространстве, не было спроса на их продукцию, и они постепенно стали исчезать. У меня нет точных данных, но некоторые эксперты утверждают, что до 80% прикладных НИИ и КБ в России перестали выполнять свои прямые функции. Поэтому и создаваемые в академии фундаментальные знания оказались никому не нужны - некому их передавать. У некоторых академических ученых появилось ощущение невостребованности. Действительно, в наших академических институтах нет былого энтузиазма. Цепочка "фундаментальные знания - прикладные инсти

туты - практика" разорвалась.

На Западе эта цепочка устроена по-другому. В частности, за прикладную науку отвечает не государство, а крупные частные компании. Они содержат научно-исследовательские подразделения и КБ. Например, в компании IT&NT есть лаборатория Bell Labs, в которой работали в разные годы 16 нобелевских лауреатов, в том числе и Клод Шеннон, создатель математической теории информации. У нас тоже звучали предложения передать НИИ и КБ крупным корпорациям. Некоторые компании нефтегазовой отрасли их у себя завели. Но настоящей прикладной науки все равно не получилось. Все-таки она должна быть сосредоточена в других отраслях - телекоммуникационной, машиностроительной, оборонной. Но там дело не пошло.

Так почему к нам, представителям фундаментальной науки, теперь предъявляют претензии, что она "неэффективна"? Почему мы оказались ненужными обществу? Думаю, что кроме нас эти претензии просто некому адресовать: прикладной науки в стране не существует.

Другая претензия, предъявляемая к академии, заключается в том, что наши ученые мало публикуются в западных журналах и якобы мы мало передаем свои результаты на мировой уровень. Конечно, если результат имеет значение для всего человечества, его надо публиковать в мировых изданиях. Но мировая наука устроена так, что нужно постоянно общаться с коллегами, выступать на конференциях, симпозиумах и т.д. Должен сказать, что наша наука вполне встроена в мировую, наши ученые участвуют в международных исследованиях, например, в экспериментах на Большом адронном коллайдере. И там, между прочим, ни у кого нет вопросов о количестве публикаций того или иного участника эксперимента.

Другое дело, что мы к нам не можем никого пригласить. У академии нет своей приличной гостиницы, приходится платить сумасшедшие деньги за проживание в московских отелях нужных нам зарубежных ученых. Когда нас приглашают в зарубежные университеты, мы живем в отличных условиях в faculty clubs (пансионы для гостей) и платим там буквально копейки.

Я работаю директором ЦЭМИ уже три десятка лет. В советские времена каждый год мы ездили на разные мировые конференции. Сейчас я вынужден уступать это право моим товарищам - на всех денег просто не хватает. И это одна из причин того, что наши ученые в какой-то мере отрываются от Запада.

Нам говорят: пользуйтесь Интернетом. Но здесь надо понимать, что виртуальное общение не во всех науках принято. Физики друг с другом постоянно общаются. Они могут проводить эксперимент в ЦЕРНе (Европейский центр ядерных исследований на границе Швейцарии и Франции, вблизи Женевы. - Ред.), а в Москве видеть происходящее на мониторе. А вот гуманитарии меньше пользуются таким возможностями. Я занимаюсь компьютерным моделированием общественных явлений, для сложных вычислений мы применяем суперкомпьютеры. Но интернет-общение в этой области не принято.

У представителей общественных наук нет однозначного ответа на вопрос, надо ли все публиковать за рубежом. Если предметом исследования является действительность России - вряд ли это там интересно, это надо публиковать у нас. Особенно это касается истории. Или, например, лингвистика: хорошо написанная на русском языке статья - самостоятельное произведение, которое много может потерять при переводе на английский. Культурологические тексты трудно переводятся с русского на другие языки: теряются смыслы. Философы вообще статей почти не пишут. Попробуйте изложить в короткой статье книгу Фукуямы "Конец истории" - не получится. Всемирно известный социолог Никлас Луман, изучавший устройство общества, изложил свои исследования в 60 томах.

Даже в математике никто не измеряет значение исследований количеством публикаций. Фердинанд Коши каждые две недели публиковал статьи - он был редактором математического журнала. А Карл Гаусс писал статью раз в пять лет. Но оба были великими математиками.

Опыт советской плановой экономики говорит: какой бы плановый показатель вы ни придумали, всегда найдется умник, который его выполнит. Но к науке это отношения иметь не будет. Производство фундаментальных знаний, которым занимается РАН, нельзя оценивать простыми, количественными показателями.

Не только прибыль

Человечество не может развиваться без науки. И в первую очередь без общественных наук, к которым относится экономика. Именно науки, изучающие общество, подсказывают ему, куда надо идти, каким должен быть

следующий шаг.

Сейчас многие справедливо говорят, что экономическая наука находится в кризисе. В самом деле, первые лауреаты-экономисты занимались фундаментальными исследованиями. В последние годы премии дают за решение частных проблем. Классическая экономика изучила рыночный механизм до мельчайших деталей. Рыночная экономика себя исчерпала, и мы должны искать ее новое качество.

Кое-какие исследования на эту тему есть. И есть практический опыт смешанных экономик. Например, в Китае или Арабских Эмиратах. Конечно, это экономики разные. Но они дают основания для экономических исследований о том, как можно соединить рыночные и плановые механизмы или рыночные и семейно-родовые.

Человечество за свою историю выработало много разных экономических механизмов. И надо их изучать. Крупнейшие архитектурные памятники, дошедшие до нас (Тадж-Махал, египетские пирамиды), были построены не за счет рыночных процентов, а на каких-то других принципах. Понятно, за счет труда рабов. Однако же и в древние времена люди умели накапливать деньги и направлять их на строительство грандиозных сооружений. И этот опыт может быть полезен в будущем.

Надо изменить устоявшиеся представления. Классическая рыночная экономика исходит из принципа эффективности. В какое-то предприятие вкладывают деньги, предприятие работает, приносит инвесторам новые деньги. Инвесторы получают больше, чем затратили. Эффективность становится главным критерием успешности, а прибыль - целью любого предприятия.

Но почему это должно быть всеобщим законом? Все люди по-разному устроены, и у кого-то могут быть совсем другие цели. Например, нельзя оценивать с точки зрения эффективности советский (да и американский тоже) космический проект. Понятно, что задачей этих проектов была победа в конкуренции СССР и США. Полет Юрия Гагарина не принес никому дивидендов, но человечество открыло для себя новую эру.

Веками на нашей земле стоят прекрасные храмы и дворцы. На их создание ушло много средств. Но никто не ставил задачу строить их "эффективно" или экономить на строительстве. Была задача строить красиво и на века. Эти сооружения не имеют рыночной цены.

Посмотрите, на чем основаны мировые религии, на чем основаны Ветхий и Новый Заветы. Все правила поведения людей, все заповеди не говорят людям: надо зарабатывать больше денег. Напротив, заповеди утверждают моральные, этические нормы поведения людей.

Справка

Из УставаРоссийской академии наук

10. Основной целью деятельности Российской академии наук является организация и проведение научных исследований, направленных на получение новых знаний о законах развития природы, общества, человека и способствующих технологическому, экономическому, социальному

и культурному развитию России.

Будущее - за проектной экономикой.

У проекта должна быть высокая цель, которую разделяют люди.

Разве Фритьоф Нансен искал путь к Северному полюсу, чтобы там заработать много денег? Или Ерофей Хабаров открывал Дальний Восток ради прибыли? Это были люди, обладавшие проектным мышлением. Это значит, что у них были цели, более высокие и благородные, чем прибыль.

Я думаю, что будущее - за проектной экономикой. Слово "проект" в моем понимании означает наличие высокой цели, которую вместе с тобой разделяют много других людей, к этой цели надо стремиться, надо ее достигать, независимо от того, приносит это прибыль или нет. Как раз наиболее благородные проекты прибыли-то и не приносят. Поэтому проектная экономика противоречит рыночным принципам.

Строительство скоростных железных дорог по всей России, в том числе в Сибири и на Дальнем Востоке, может быть очень затратным проектом. Но в основе такого проекта - сохранение целостности страны. Если мы возьмемся за него, не будет разговоров, что там все скоро опустеет и у нас отберут то, что Хабаров и другие исследователи присоединяли в России.

Проектное мышление как-то надо внедрять в жизнь. Оно не всех устраивает. У нас, конечно, есть проекты. Например, проект Олимпиады в Сочи. Это хороший проект. Ведь была цель показать, что Россия в состоянии сделать что-то важное для мира. Но проект погряз в воровстве, у людей сложилось впечатление, что все это лишь напрасная трата миллиардов бюджетных денег.

Кстати, многие сейчас вспоминают советские проекты - Днепрогэс, Магнитогорск, Комсомольск-на-Амуре. Вспоминают добрым словом. А вот БАМ вспоминают уже не так. Хороший был проект, но менеджмент плохой.

Проект надо очень тщательно прорабатывать до мельчайших деталей. Именно здесь и будут востребованы проектные изыскания, конструкторские бюро, НИИ, о которых я уже говорил. Именно такие учреждения прикладной науки должны доводить до практического воплощения большие научно обоснованные проекты.

В память о Марчуке

В мире постоянно увеличивается значение знаний. Ученые играют все большую роль в развитии человечества. Оно все-таки прошло путь от Аристотеля и Пифагора до Большого адронного коллайдера. Это научное мероприятие - поиск какого-то бозона - с точки зрения рыночной экономики весьма неэффективно. Но правительства развитых стран идут на это, потому что понимают высокие цели этого проекта.

Наша страна почему-то движется в противоположном направлении. У нас значение интеллектуальной составляющей постоянно снижается. Сейчас уже многие считают, что не стоит тратить деньги на науку, лучше пустить их на модернизацию ЖКХ. Надо понимать, что все в мире взаимосвязано. ЖКХ не будет работать, если у этой отрасли не будет интеллектуального управления. Если вы сжимаете сферу фундаментальной или прикладной науки, взамен получаете отупение и разврат в обществе.

Я хочу надеяться, что в нашем обществе роль ученых будет возрождена, они станут уважаемыми людьми, как было в старые, в том числе советские, времена.

Меня поразил недавний факт: Борис Березовский и Гурий Марчук умерли в один день. Вся пресса писала о Березовском. Никто не вспомнил Марчука, последнего президента Академии наук СССР, члена правительства, человека, много сделавшего для страны. Грустно. Но я не теряю оптимизма. Верю, что вместе мы вырулим на ту дорогу, по которой идут интеллектуально развитые люди.

Журнал "Прямые инвестиции". No. 5 (133), 2013
http://www.cemi.rssi.ru/publication/articles/21-23.pdf

*   *   *   *   *   *   *

На сайте "Высокие статистические технологии", расположенном по адресу http://orlovs.pp.ru, представлены:

На сайте есть форум, в котором вы можете задать вопросы профессору А.И.Орлову и получить на них ответ.

*   *   *   *   *   *   *

Удачи вам и счастья!


В избранное