Отправляет email-рассылки с помощью сервиса Sendsay

Эконометрика

  Все выпуски  

Эконометрика - выпуск 924


"Эконометрика", 924 выпуск, 08 октября 2018 года.

Здравствуйте, уважаемые подписчики!

*   *   *   *   *   *   *

Основной научный результат статьи А.И. Орлова приведен в ее названии: "Число цитирований - ключевой показатель результативности в фундаментальной науке".

Интересна статья Натальи Веденеевой: ""Научные труды - не кирпичи": математики взбунтовались против госзаказа ФАНО".

Современное состояние в области разработки ракет-носителей обсуждает Андрей Райзфельд в статье "Falcon Heavy - оплеуха от Маска".

Все вышедшие выпуски доступны в Архиве рассылки по адресу subscribe.ru/catalog/science.humanity.econometrika.

*   *   *   *   *   *   *

Число цитирований - ключевой показатель результативности в фундаментальной науке

Орлов Александр Иванович, д.т.н., д.э.н., к.ф.-м.н., проф.

профессор МГТУ им. Н.Э. Баумана, заведующий лабораторией

экономико-математических методов в контроллинге Научно-образовательного центра "Контроллинг и управленческие инновации",

prof-orlov@mail.ru

Резюме: Рассмотрим методы оценки эффективности и качества работы ученого, научной деятельности подразделения, организации, журнала. Показатели эффективности научной деятельности используются как важная составная часть при оценке вузов, инновационного потенциала предприятий и т.п. Подробно разработаны и широко применяются два типа инструментов оценки эффективности научной деятельности - наукометрические показатели и экспертные оценки. Их критическому анализу и посвящен настоящий доклад.

Ключевые слова: наука, управление, принятие решений, наукометрические показатели, экспертные оценки, библиометрические базы данных, индексы цитирования, Российская академия наук.

1. Современное состояние наукометрии

В нашей стране основные идеи наукометрии разработаны в монографии [Налимов, Мульченко, 1969]. В ней были рассмотрены основные проблемы изучения развития науки как информационного процесса. За прошедшие полвека (без малого) принципиально новые идеи не возникли. Заметным, но сомнительным новшеством является появление в 2005 г. т.н. "индекса Хирша".

Однако в последние годы вопросы наукометрии широко обсуждаются в научно-образовательном сообществе. Это вызвано двумя причинами.

Во-первых, развитие информационных технологий, прежде всего создание библиометрических бах данных, сделало общедоступным знакомство с наукометрическими показателями исследователей и их объединений (подразделений, институтов).

Во-вторых, наукометрические показатели стали использоваться администраторами различного уровня при управлении научной деятельностью.

Осмысление наукометрической деятельности находится в нашей стране на начальном уровне. Распространены разнообразные догмы, приводящие к необоснованным управленческим решениям, наносящим вред отечественной науке. Например, многие лица:

- считают публикации в научных журналах основным видом научных публикаций;

- верят в реальное существование "мировой науки";

- отдают приоритет публикациям в зарубежных журналах, индексируемым в базах библиометрических данных WoS и Scopus;

- основным наукометрическим показателем без каких-либо обоснований считают индекс Хирша;

- отрицательно относятся к самоцитированию;

- игнорируют публикации старше 5 лет, в частности, при расчете импакт-факторов журналов, и т.д.

Наукометрия - это применение статистических методов для анализа данных о научной деятельности. Поэтому весь арсенал прикладной статистики может быть применен в этой конкретной предметной области - в науковедении. Как и в других областях, для решения актуальных задач оказывается необходимой разработка новых методов анализа данных.

Полученные нашим научным коллективом результаты в области наукометрии сведены вместе в монографии [Лойко, Луценко, Орлов, 2016]. Монография состоит из четырех частей: "Основные понятия", "Теоретический анализ", "Инструменты управления наукой (АСК-анализ и Эйдос)", "Рекомендации", разбитых на главы. В части 1 наука рассмотрена как объект управления. Выявлены два типа методологических ошибок при управлении научной деятельностью. Представлено многообразие мнений исследователей о проблемах наукометрии и экспертизы в управлении наукой. В части 2 из ключевых показателей результативности научной деятельности выделен основной - число цитирований. Изучена Хиршамания при оценке результатов научной деятельности, проаналированы ее негативные последствия и представлена попытка их преодоления с применением многокритериального подхода и теории информации. В части 3 разработана количественная оценка степени манипулирования индексом Хирша и предложена его модификация, устойчивая к манипулированию. Рассказано о наукометрической интеллектуальной измерительной системе по данным РИНЦ на основе автоматизированного системно-когнитивного анализа (АСК-анализа) и программной системы "Эйдос". Описано применение АСК-анализа и интеллектуальной системы "Эйдос" для решения в общем виде задачи идентификации литературных источников и авторов по стандартным, нестандартным и некорректным библиографическим описаниям. В части 4 обсуждается новая область контроллинга - контроллинг научной деятельности. Рассмотрено совершенствование организационных структур и контроллинг персонала на предприятиях типа "научно-исследовательский институт" ракетно-космической промышленности. Итоги монографии подводятся в заключительной главе "Как нам обустроить российскую науку". В области применяемых авторами математических и инструментальных методов настоящая монография продолжает ранее выпущенные тем же издательством книги [Орлов, Луценко, 2014], [Орлов, Луценко, Лойко, 2015], [Орлов, Луценко, Лойко, 2016].

Приведем некоторые результаты наших исследований в области наукометрии.

Начнем с обсуждения общих вопросов развития отечественной науки. При подготовке настоящей работы использованы наши ответы на вопросы экспертного опроса по реформированию РАН и перспективам развития российской науки, организованного Профсоюзом РАН и Общественно-научным форумом "Россия: ключевые проблемы и решения" в конце 2016 г., а также материалы доклада автора настоящего доклада "Число цитирований - ключевой показатель эффективности научной деятельности" на XVI Международной научной конференции "Модернизация России: приоритеты, проблемы, решения" (Москва, декабрь 2016 г.)

2. Всеобщее невежество научных работников

Основная проблема современной науки - всеобщее невежество научных работников. Это шокирующее утверждение легко обосновать, сопоставить количество актуальных публикаций по практически любой научной специальности (сотни тысяч и миллионы) с возможностями восприятия человека (сотни и тысячи статей и книг).

Как следствие, исследователи разбиваются на кланы (кластеры), состоящие обычно из нескольких сотен лиц. Научный работник в какой-то мере знает работы членов своего кластера и практически не интересуется исследованиями тех, кто не входит в кластер.

Кластеры взаимодействуют между собой обычно по административным вопросам, например, в борьбе за ресурсы. Иногда эта борьба происходит в обстановке нездоровой монополии. Например, отделение математики РАН формируется тремя небольшими институтами математики (в Москве, Санкт-Петербурге и Новосибирске), т.е. фактически тройкой директоров этих институтов. Научные результаты 10 тысяч математиков России, работающих в других организациях, при этом игнорируются.

Иногда говорят, что каждый специалист знает свою область, знаком с работами коллег и хорошо видит, "кто чего стоит". Из сказанного выше ясно, что это заблуждение. Следовательно, для управления наукой необходимо использовать те или иные управленческие технологии, в частности, показатели научной активности, не сводящиеся к непосредственному впечатлению. Управленческие технологии основаны на измерении тех или иных показателей. Есть две группы показателей успешности научной деятельности - наукометрические (число цитирований работ определенного автора, число его публикаций, импакт-фактор журнала и др.) и экспертные (ученые степени, членство в научных обществах, в том числе в академиях, занимаемые должности). Рассмотрим эти группы показателей, а также ряд более общих вопросов управления наукой [Орлов, 2014]. Основное утверждение настоящего доклада таково: число цитирований - ключевой показатель результативности научной деятельности. Именно по числу цитирований следует оценивать вклад в науку исследователя или организации [Орлов, 2016].

3. О реформировании и перспективах развития российской науки

Официальная статистика не относит профессорско-преподавательский состав вузов к научным работникам. К таковым Росстат причисляет лишь лиц, занимающих "научные должности", а не преподавательские или инженерные. Однако ясно (в частности, из данных Российского индекса научного цитирования (РИНЦ)), что именно работники вузов составляют основную массу исследователей.

Для работников вузов на нынешнем этапе проведения реформы науки наиболее заметным является введение частичного использования наукометрических показателей при оценке результативности работы профессорско-преподавательского состава (например, такое требование: за 5 лет профессор должен опубликовать не менее 10 статей в журналах списка ВАК, доцент - не менее 8, и т.д.).

Недостатками современного этапа являются попытки рекомендовать публикации в журналах из библиометрических баз WoS и Scopus (т.е. в основном в зарубежных журналах), отсутствие анализа цитируемости, необоснованные ссылки на индексы Хирша и значения импакт-факторов научных журналов.

Возможный механизм решения имеющихся проблем - разработка (в конкретном вузе и в РФ в целом) научно обоснованных рекомендаций по оценке результативности научных исследований (с опорой на базовый показатель для фундаментальных исследований, которым, как показано выше, является число цитирований). Эти рекомендации должны позволять принимать обоснованные управленческие решения по финансированию научных исследований.

Наряду с расширением фронта научных исследований, в частности, с увеличением числа диссертаций, наблюдаем падение авторитета РАН (как совокупности действительных членов и членов-корреспондентов, так и институтов бывшей РАН). С некоторым удивлением мы убедились, что результаты деятельности действительных членов и членов-корреспондентов РАН, как правило, не нужны отечественной науке, что подтверждается сравнительно малым числом цитирований этой группы лиц по сравнению с другими авторами. Следовательно, эта совокупность лиц должна быть уравнена в правах с другими общественными организациями научной направленности, например, такими, как Российская академия естественных наук (РАЕН), Международная академия исследований будущего (МАИБ), Российская академия статистических методов (РАСМ). Основная часть институтов бывшей РАН должна быть передана в состав вузов или профильных ведомств (Роскосмос, Росатом и др.).

Сильная сторона современной отечественной фундаментальной науки - ее самодостаточность. Для получения нужных стране научных результатов мировая наука российским исследователям практически не нужна. Более того, возвеличивание "мировой науки" - это вредный миф, поддерживаемый врагами России с целью выкачивания ресурсов из нашей страны [Гринченко, 2014]. Русский путь в мировой науке [Хруцкий, 2007] - вот что должно быть приоритетом. Строительстве науки в отдельно взятой стране [Орлов, 2014а] не только возможно, но и целесообразно. Триадический биокосмологический подход к вопросам развития науки в России [Хруцкий, 2013] позволяет дать научную основу конкретным разработкам в науковедении (т.е. науке о науке) и наукометрии - науке и практике анализа статистических и экспертных данных о развитии науки. Перспективы становления универсальной науки и философии основаны на биокосмологии и аристотелизме [Хруцкий, 2010].

Слабая сторона современной отечественной фундаментальной науки: миф о том, что совокупность действительных членов и членов-корреспондентов РАН - это "штаб" российской науки. Пополнение РАН путем кооптации привело к засорению РАН субъектами, выбранными не за научные заслуги, а по другим причинам. Как нетрудно убедиться, по каждой из тематик РИНЦ из первых 100 наиболее результативных ученых (по числу цитирований) действительных членов и членов-корреспондентов РАН соответствующих отделений не более 10%.

Выборы осени 2016 года продемонстрировали крайнюю степень деградации РАН:

а) избрали чиновников, очевидно, в надежде на лоббистские услуги, проще говоря, в коррупционных целях, на что и обратил внимание Президент РФ;

б) в отделении медицинских наук избрали большое число жен и детей действующих "академиков";

в) в отделении математики избрали лиц, чьи работы никому не нужны (единичные цитирования, впрочем, и публикации единичны); при публичном обсуждении в газете "Троицкий вариант - наука" установлено, что сговор директоров трех НИИ (институтов математики в Москве, Санкт-Петербурге и Новосибирске) предопределяет итоги выборов в РАН;

г) в иностранные члены РАН избрали матерого врага России Киссинджера.

Нынешняя РАН паразитирует на авторитете, заработанном предыдущими поколениями исследователей.

4. Каким направлениям и научным российским школам необходимо уделить особое внимание в ближайшие 2-3 года?

Этот вопрос в анкете, о которой рассказано в начале доклада, выглядит не вполне уместным. Наука находится в рукотворном кризисе, и основное сейчас - вывести ее из этого кризиса, изменив организационные формы, в частности, ликвидировать изжившую себя РАН. Однако ясно, что и направления исследований следует менять. Поэтому на сформулированный вопрос надо ответить.

В области математических методов исследования необходимо уделить особое внимание следующим направлениям: новая парадигма математических методов исследования, статистика нечисловых данных и прикладная статистика в целом, теория принятия решений, организационно-экономическое моделирование и особенно теория экспертных оценок, автоматизированный системно-когнитивный анализ и программная система "Эйдос".

В области экономики и управления необходимо уделить особое внимание следующим направлениям исследования: контроллинг, экономика предприятия и организация производства, эконометрика и математические и инструментальные методы экономики в целом, солидарная информационная экономика. Необходимо освободить экономическую теорию и практику от рыночных извращений, взять за основу определение Аристотеля: экономика - это наука о том, как вести хозяйство.

Составить и обосновать перечень направлений и российских научных школ, которым необходимо уделить особое внимание в ближайшие 2-3 года и на дальнейшую перспективу, может попытаться составить лишь все российское научное сообщество в целом. Однако из-за всеобщего невежества научных работников успех сомнителен - каждый научный клан будет продвигать нужное ему. А потенциальные потребители результатов научных исследований находятся в плену сложившихся представлений.

Например, специальная теория относительности дает результаты, отличные от результатов классической механики, лишь для скоростей, сравнимых со скоростью света. Такие скорости практически не встречаются в том реальном мире, в котором живет и работает современное человечество. Следовательно, специальная теория относительности является маргинальным научным результатом, не оказывающим влияния на реально принимаемые управленческие решения. Тем не менее с помощью хорошо организованной маркетинговой компании удалось выдвинуть специальную теорию относительности на первое место в современной физике, и успешная реклама привела к тому, что портрет Эйнштейна стал символом ученого ХХ века.

5. Требуются существенные изменения в правовом обеспечении научно-технологического развития

Как уже отмечалось, необходимо совокупности действительных членов и членов-корреспондентов РАН придать статус обычной общественной организации, такой, как РАЕН, МАИБ, РАСМ и другие общественные академии.

Большинство НИИ, подведомственных ФАНО, целесообразно включить в состав вузов или профильных ведомств (Институт космических проблем РАН и Институт медико-биологических проблем РАН - в Роскосмос, Институт проблем безопасного развития атомной энергетики РАН - в Росатом, и т.п.). Остальные организации, ныне входящие в ФАНО, подлежат передаче вновь созданному Государственному комитету по науке и технике, обладающему более широкими возможностями по сравнению с ФАНО.

Экспертизы по поручению руководства страны должны осуществляться не РАН, а творческими коллективами, созданными Государственным комитетом по науке и технике из наиболее результативных научных работников (из первых 100 наиболее признанных ученых (по числу цитирований) по каждой из тематик РИНЦ).

6. Какие критерии должны использоваться для оценки результативности работы научных организаций и деятельности
научных сотрудников?

Основной показатель результативности - это число цитирований. Очевидно, если работа процитирована - значит, она нужна. А если на публикацию никто не ссылается - значит, она никому не нужна и не оказывает никакого влияния на развитие науки.

Из трех основных показателей РИНЦ число публикаций дает оценку продуктивности, индекс Хирша не имеет рациональной интерпретации и не должен использоваться для оценки эффективности работы научных организаций и деятельности научных сотрудников, а вот число цитирований - это тот показатель, который является наиболее адекватной оценкой научного вклада исследователя в области фундаментальной науки.

В прикладной науке основное - не публикации, а оценка заказчика работы. Возможности публикаций ограничиваются требованиями соблюдения государственной и коммерческой тайны.

Как уже отмечалось, в рассматриваемой области есть ряд вредных заблуждений. Так, применение наукометрических показателей, полученных по зарубежным базам данных (WoS, Scopus и др.), вредно, поскольку основная масса российских изданий в них не представлена. Активное самоцитирование научных организаций и научных сотрудников - показатель их передового положения в науке, наличия научных школ, перспективных научных направлений. С самоцитированием не следует бороться, его надо поощрять. Понятие "мусорных журналов", т.н. "мурзилок", пропагандируется загнившей частью научного сообщества, имеет целью принижение новых научных направлений и журналов, особенно действующих вне Москвы. Цель такого принижения - переключение потока направляемых в печать статей и соответствующих финансовых потоков на столичные центры, теряющие свои творческие потенции.

Итак, число цитирований по РИНЦ - ключевой показатель результативности (эффективности) научной деятельности.

Следует принять положение (нормативный документ), согласно которому показатели по WoS, Scopus и др. не используются в отечественной практике, по грантам принимаются только публикации на русском языке, при выборах на те или иные позиции, при защитах диссертаций учитываются только публикации на русском. Это позволит, в частности, исключить нарушение прав отечественных налогоплательщиков, когда первая публикация, выполненная на их деньги, появляется в иностранном журнале.

Впрочем, и наиболее привлекательная с нашей точки зрения отечественная база библиометрических данных РИНЦ имеет ряд недостатков. В списке публикаций автора настоящего доклада в Научной электронной библиотеке и тем более в ее подмножестве - в РИНЦ - до недавнего времени не было книги [Орлов, 1980], продолжают отсутствовать статьи в сборниках академических организаций ([Орлов,1979], [Орлов, 1982]) и др., содержащие ключевые научные результаты, хотя эти публикации многократно включены в списки литературных источников выпущенных позже статей и книг, в том числе недавно изданных. Описания литературных источников при цитировании зачастую имеют ошибки, в результате одна и та же публикация приводится в РИНЦ с различными библиографическими описаниями. В результате число публикаций неоправданно увеличивается, а индекс Хирша - уменьшается. Разработаны процедуры автоматического исправления подобных ошибок. Глава 3.3 монографии [Лойко, Луценко, Орлов, 2017] посвящена применению АСК-анализа и интеллектуальной системы "Эйдос" для решения в общем виде задачи идентификации литературных источников и авторов по стандартным, нестандартным и некорректным библиографическим описаниям.

Приведем пример более серьезного нарушения - приписывания работ одних авторов другим. В "Авторском указателе" РИНЦ выбираем тематику "математика". Сортировку проводим по числу цитирований (по убыванию). РИНЦ выдает на экран список исследователей в порядке убывания текущего числа цитирований с указанием (основных) мест работы, числа публикаций, числа цитирований, индекса Хирша. Можно перейти к анализу публикационной активности автора, кликнув на иконку гистограммы, стоящую между числом публикаций и числом цитирований. Например, на 19.08.2017 первым указан А.А. Самарский (1919 - 2008), вторым - "А.Н. Тихонов", третьим - А.И. Орлов. Почему второе лицо в этом списке указано в кавычках? По той причине, что в списке публикаций автора "А.Н. Тихонов" имеются работы по крайней мере трех лиц: Тихонов Андрей Николаевич (1906 - 1993), МГУ, факультет ВМК, Тихонов Александр Николаевич (1947 - 2016), НИУ ВШЭ, Тихонов Александр Николаевич, МГУ, физический факультет. По приведенным в Научной электронной библиотеке аннотациям публикаций это хорошо видно. Если же аннотаций нет, то требуется более серьезный анализ литературных источников, основанный на знании тематики работы автора, года публикации и др. Надеемся, что РИНЦ исправит указанную ошибку относительно "А.Н. Тихонова".

7. Что должно быть сделано для повышения статуса и социальной защищенности научных работников?

Необходимо добиться понимания обществом необходимости научных исследований. Руководители различных рангов должны постоянно подчеркивать пользу науки, опираться на результаты научных исследований при принятии управленческих решений. Средства массовой информации должны популяризировать научные результаты.

В свою очередь, научные работники не должны "удовлетворять свое любопытство за государственный счет". Им следует постоянно ориентироваться на интересы общества. Необходимо избавиться от загнившей части научных деятелей, ликвидировать необоснованные привилегии действительных членов и членов корреспондентов РАН (уравнять это сообщество в правах с другими общественными академиями), отправить на почетную пенсию престарелых лиц, числящихся научными работниками. Академические НИИ не должны быть привилегированными домами престарелых.

Пока в зданиях НИИ, подведомственных ФАНО, царит запустение, сотрудники в рабочее время отсутствуют, каждый налогоплательщик будет вправе сказать:"Зачем мне кормить этих паразитов?" Когда в НИИ будет кипеть жизнь, как в 60-е годы ХХ в., статус и уровень социальной защищенности научных работников вернутся к высоким показателям.

Необходимо пресечь деструктивную деятельность сообщества Диссернет, которое своими акциями зачастую дискредитирует науку, выдвигая обвинения, которые не подтверждаются при проверке. Обратите внимание, как пресечение антиармейской пропаганды привело к повышению статуса военнослужащих в глазах общества.

Впрочем, в настоящее время актуально не столько развитие новых исследований, сколько сбережение накопленных знаний, умений, навыков.

8. Что необходимо делать для распространения и популяризации научных знаний и повышение престижа науки?

Необходимо постоянно заниматься распространением и популяризацией научных знаний и повышением престижа науки. Это касается прежде всего руководства страны, регионов, ведомств, организаций.

Кардинальное решение возможно лишь при изменении психологии масс, отказа от псевдорыночного лозунга максимизации прибыли (прибыли) и переходе при управлении экономикой на иные базовые принципы, прежде всего патриотические. Речь идет об отказе от рыночной экономики и переходе на солидарную информационную экономику (см., например, [Орлов, 2017а]).

В частности, средства массовой информации должны работать на повышение престижа науки, заниматься популяризацией научных знаний. Например, следует восстановить издание журнала "Квант" с обязательной рассылкой по всем средним школам страны.

Во всех НИИ и вузах должны быть созданы подразделения, занимающиеся распространением и популяризацией научных результатов, полученных в этой организации, как внутри страны, так и за рубежом. В частности, для зарубежных читателей должны выпускаться издания, отражающие научные результатов, полученных в этой организации. Российская научно-техническая разведка должна обеспечить научных работников информацией о зарубежных исследованиях по их тематике. Должна получить дальнейшее развитие деятельность ИНИОН.

9. Что необходимо делать для укрепления связей между наукой и образованием?

Передача большинства организаций бывшей РАН в состав соответствующих вузов позволит обеспечить участие ведущих ученых в преподавании, а преподавателей вузов - в современных научных исследованиях. Стихийный процесс слияния научной и преподавательской деятельности, как известно, давно идет. Сотрудники академических НИИ преподают (по совместительству), а преподаватели обязаны вести научные исследования (например, как уже отмечалось, в ряде вузов профессора обязаны опубликовать за 5 лет не менее 10 статей в журналах списка ВАК).

Иногда отмечают, что развитие науки идет волнами. Появилась новая идея или методика проведения опытов - и наблюдается резкий рост числа исследований и, соответственно, публикаций. Затем, после выработки "золотоносной жилы" - спад научной активности, продолжающийся до рождения новой идеи. В период подобного спада научные работники могут активно участвовать в преподавании, передавать наработанные научные результаты следующему поколению. Наоборот, в период всплеска исследований преподаватели и студенты могут активно в них участвовать, усиливая собой кадровый состав научных работников.

Приходим к выводу о вреде разрыва между вузами и НИИ. Сложившийся в СССР подобный разрыв был порожден, видимо, взрывным ростом послевоенной науки. В настоящее время рост сменился упадком, а в перспективе, видимо, должна наступить стабилизация.

10. Об экспертном научном обеспечения деятельности органов государственной власти и управления

Текущее состояние экспертного научного обеспечения деятельности органов государственной власти и управления не является удовлетворительным. С одной стороны, привлекаемые к экспертизе лица и организации зачастую работают неадекватно. С другой стороны, органы государственной власти и управления часто игнорируют выводы экспертов.

Целесообразно создание Межведомственного экспертного совета по проблемам научно-технологического развития России, который взял бы на себя организацию экспертного научного обеспечения деятельности органов государственной власти и управления. Экспертизы по поручению руководства страны должны осуществляться не РАН, а творческими коллективами, созданными из наиболее результативных научных работников (из первых 100 наиболее результативных ученых (по числу цитирований) по каждой из тематик РИНЦ). Кроме того, Межведомственный экспертный совет по проблемам научно-технологического развития России взял бы на себя временное руководство теми организациями бывшей РАН, которые нецелесообразно передавать в вузы и профильные ведомства (например, ИНИОН, ВИНИТИ, РИНКЦЭ, музеи). Как уже отмечалось, целесообразно создание органа управления, аналогичного по ряду функций Государственному комитету по науке и технике СССР, в подчинение которому и поступят в итоге указанные организации бывшей РАН.

Разберем некоторые затронутые положения подробнее. Прежде всего отметим необходимость разделения фундаментальной науки и прикладной науки. Прикладные научные исследования делаются по внешнему заказу различных организаций и структур (и физических лиц) и результаты оценивает заказчик. Широкому распространению полученных результатов, в частности, путем публикации научных статей и книг) зачастую препятствуют соображения коммерческой или государственной тайны. Фундаментальная наука нацелена на приращение знания, и полученные результаты поступают во всеобщее пользование. Именно поэтому число цитирований работ ученого - оценка его вклада в (фундаментальную) науку [Налимов, Мульченко, 1969]. В настоящем докладе мы обсуждаем проблемы фундаментальной науки.

11. Критика наукометрических показателей

С нее мы начали цикл недавних работ по наукометрии в публикациях 2013 г. [Орлов, 2013] (см. также главу 1.2 монографии Лойко, Луценко, Орлов, 2017]). Выявлен ряд вредных мифов, получивших широкое распространение.

Например, в фундаментальной науке наиболее естественная цепочка публикаций, соответствующая развитию исследований, такова: тезисы доклада (первая формулировка идеи на конференции или научном семинаре) - тематический сборник (статьи единомышленников, сплотившихся вокруг новой идеи) - монография - учебник - широкое использование (именно так развивались отечественные работы по ряду направлений, например, по нечисловой статистике и теории экспертных оценок). Обратите внимание - в этой цепочке нет статей в научных журналах. Т.е. для развития науки публикации в журналах, вообще говоря, не нужны. Между тем любители наукометрии упирают прежде всего на статьи в журналах, пренебрегая другими видами публикаций. Вплоть до того, что тематические сборники, выпущенные академическими институтами, даже не попадают в РИНЦ (например, сборники [Алгоритмы, 1975], [Исследования, 1977], [Математические методы, 1977], [Экспертные оценки, 1982]).

Почему пропагандисты наукометрических показателей делают упор на журналы? Раскроем сказанное ранее. Одна из причин - потому что таким путем оценку научной продуктивности можно проводить путем применения программного продукта. Достаточно составить базу данных из списков литературных ссылок в электронных версиях журналов и формально ее обработать. Другая причина - "владельцы" журналов таким образом закрепляют свои позиции в научном мире, "зарабатывают деньги". В их руках - ресурс (возможность публикации), необходимый для профессиональной деятельности. Пропаганда погони за публикациями в зарубежных научных журналах - антироссийская деятельность, которую можно сравнить с пропагандой кражи интеллектуальной собственности.

Велики возможности внесения искажений, "накрутки" показателей [Луценко, 2015]. Целесообразно в первых публикациях допустить неточности, ошибки, недоработки. Тогда появляется основания для публикации следующих статей, улучшающих предыдущие. Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей. Например, в теории вероятностей и математической статистике существование пятого момента случайной величины можно последовательно заменять на существование четвертого, третьего и второго. Или вместо условия дифференцируемости функции обойтись условием непрерывности. В результате получаем "облако" взаимно ссылающихся статей в связке из нескольких журналов.

Надо поднять импакт-фактор журнала, чтобы увеличить финансирование? Вот краткий, но реальный план мероприятий (по аналогии со сбором десятка-другого отзывов на диссертацию и автореферат, которые, как все знают, пишет сам соискатель): вместо одной полноценной статьи делим ее на последовательные кусочки, допускающие дальнейшее развитие, создаем команду "авторов" и рассылаем по журналам, затем перекрестно продолжаем "развитие" положений исходного набора статей.

12. Последствия методологических ошибок

Методологические ошибки - упор на необоснованные экспертные оценки (см. ниже) и неадекватное использование индексов цитирования - приводят к неправильным управленческим решениям. В частности, не получают адекватной оценки новые научные направления, которые еще не обзавелись своими журналами. Вне оценивания оказываются наиболее ценные результаты, отраженные в монографиях и учебниках. Оценка по журнальным статьям и импакт-факторам журналов объективно задерживает подготовку книжных изданий - ведь после выхода книги ссылаться будут на нее, а не на предыдущие статьи. Ссылки на работы, в которых получены принципиально новые результаты, зачастую "тонут" среди ссылок на массы эпигонов. На настоящий момент существенно, что в современных условиях отнюдь не все отечественные журналы имеют полноценные электронные версии, и не все включены в системы учета цитирования. Сказанное объясняет, почему Международный союз математиков предостерегает от неправильного использования статистики цитирований.

По сравнению с упором на наукометрические показатели гораздо больший вред развитию науки наносят традиционные экспертные процедуры.

Речь идет не только о присвоении ученых степеней не по заслугам. Само по себе наличие ученых степеней можно сравнить с воинскими званиями или классными чинами, введенными Петром Первым. По ученой степени можно создать первое впечатление о квалификации незнакомого специалиста. Однако нелепо, что ученая степень присуждается на всю оставшуюся жизнь и не требует подтверждения. Современные информационно-коммуникационные технологии дают возможность проводить такое подтверждение регулярно на основе анализа библиометрических баз данных.

Процедура присуждения ученых степеней нелепа. Невозможно по пятнадцатиминутному (для кандидатской степени) или тридцатиминутному (для степени доктора наук) докладу разобраться в деталях сделанной работы. Члены диссертационного совета принимают решение по диссертации, не читая ее (из-за недостатка времени). Нелепо их обвинять, если диссертация содержит некорректные заимствования.

Очевидна тенденция к загниванию структур, пополняемых путем кооптации, например, РАН. Это и произошло. Академия наук перестала быть центром отечественной науки. Само существование РАН наносит большой вред развитию науки. Подчеркнем: ее сохранение в нынешнем виде мешает развитию отечественной науки. Речь идет не о ликвидации РАН, а о преобразовании ее в общественную организацию типа Королевского научного общества или Американской статистической ассоциации.

Вредна связка административных должностей с наличием ученых степеней и членством в РАН. Хозяйственники (директора НИИ, ректоры вузов) должны заниматься управлением, а не наукой. Ведь очевидно, что если директор НИИ ведет научные исследования, то он ресурсы всего НИИ перетягивает на свою тематику, сокращая поддержку других научных направлений. Наблюдаем конфликт интересов: директор как научный работник заинтересован в направлении ресурсов на нужды своих исследований, а как администратор заинтересован, наоборот, в развитии всех научных направлений, имеющихся в НИИ, что предполагает распределение ресурсов между всеми этими направлениями.

Есть и другие проблемы, мешающие развитию отечественной науки. Например, сложившаяся система научных специальностей нелепа и мешает развитию науки [Лойко В.И., Луценко Е.В., Орлов А.И.].

13. Что можно делать?

Подведем краткие итоги.

Оценка научной деятельности должна проводиться на основе числа цитирований. Если работа цитируется - значит, она нужна! А если не цитируется - то не оказывает влияния на развитие науки.

Как быть с другими наукометрическими показателями? Число публикаций оценивает продуктивность, а число цитирований - результативность. Индекс Хирша нелеп и должен быть выведен из употребления. Импакт-факторы журналов, в которых опубликованы работы, не имеют отношения к оценке публикаций. В современных условиях важна лишь возможность получить Интернет-версию работы.

Взамен действительных членов и членов-корреспондентов РАН к выполнению работ по заданию руководства страны следует привлекать наиболее цитируемых исследователей.

Большинство институтов бывшей РАН (ныне подчиняющихся ФАНО) следует передать вузам или профильным ведомствам.

Необходимо совершенствовать систему научных специальностей.

И одно частное предложение. На основе накопленного опыта [Орлов, 2016а] целесообразно в рамках социологической науки создать специальность "Математические и инструментальные методы в социологии", аналогичную экономической специальности "Математические и инструментальные методы в экономике".

Литература

Алгоритмы многомерного статистического анализа и их применения. - М.: Изд-во ЦЭМИ АН СССР, 1975.

Гринченко С.Н. Является ли мировая наука "организмом"? // Biocosmology - neo-Aristotelism. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. Vol. 4. No. 1 - 2 (Winter / Spring 2014). Pp. 115 - 122.

Исследования по вероятностно-статистическому моделированию реальных систем. - М.: Изд-во ЦЭМИ АН СССР, 1977.

Математические методы и модели в социологии. - М.: Изд-во Института социологических исследований АН СССР, 1977.

Лойко В.И., Луценко Е.В., Орлов А.И. Современные подходы в наукометрии: монография / Под науч. ред. проф. С. Г. Фалько. - Краснодар: КубГАУ, 2017. - 532 с.

Луценко Е.В. Хиршамания при оценке результатов научной деятельности, ее негативные последствия и попытка их преодоления с применением многокритериального подхода и теории информации // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. No. 108. С. 1-29.

Орлов А.И. Статистика объектов нечисловой природы и экспертные оценки //: Экспертные оценки / Вопросы кибернетики. Вып.58. - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1979. С.17-33.

Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. - 64 с.

Орлов А.И. Асимптотика решений экстремальных статистических задач // Анализ нечисловых данных в системных исследованиях. Сборник трудов. Вып.10. - М.: Всесоюзный научно-исследовательский институт системных исследований, 1982. С. 4-12.

Орлов А.И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы развития. Ежегодник. Вып. 8. / РАН. ИНИОН. Отд. науч. сотрудничества и междунар. связей; Отв. ред. Ю.С. Пивоваров. - М., 2013. - Ч. 2. - С.528 - 533.

Орлов А.И. Наука как объект управления // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. No. 101. С. 1243-1273.

Орлов А.И. О строительстве науки в отдельно взятой стране // Электронный журнал "Biocosmology - neo-Aristotelism". 2014а, Summer. Vol.4. No. 3. Pp. 203 - 223.

Орлов А.И. Число цитирований - ключевой показатель эффективности научной деятельности исследователя и организации // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2016. No. 124. С. 984-1009.

Орлов А.И. Математические методы в социологии за сорок пять лет // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2016а. No. 117. С. 91-119.

Орлов А.И. Как нам обустроить Российскую науку? // Россия: тенденции и перспективы развития. Ежегодник. Вып. 12. / РАН. ИНИОН. Отд. науч. сотрудничества; Отв. ред. В.И. Герасимов. - М., 2017. - Ч. 1. - С. 843-848.

Орлов А.И. Вперед к Аристотелю: освободить экономическую теорию от извращений // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2017а. No. 127. С. 478 - 500.

Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с.

Орлов А.И., Луценко Е.В., Лойко В.И. Перспективные математические и инструментальные методы контроллинга. Под научной ред. проф. С.Г. Фалько. Монография (научное издание). - Краснодар, КубГАУ. 2015. - 600 с.

Орлов А.И., Луценко Е.В., Лойко В.И. Организационно-экономическое, математическое и программное обеспечение контроллинга, инноваций и менеджмента: монография / под общ. ред. С. Г. Фалько. - Краснодар : КубГАУ, 2016. - 600 с.

Хруцкий К.С. Русский путь в мировой науке // Философские науки. 2007. No. 9. С. 141-151.

Хруцкий К.С. О Биокосмологии, Аристотелизме и перспективах становления универсальной науки и философии // Biocosmology - neo-Aristotelism. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. Vol. 1. No. 1 (Winter 2010). Pp. 375-390.

Хруцкий К.С. Триадический биокосмологический подход к вопросам развития науки в России // Biocosmology - neo-Aristotelism. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. Vol. 3. No. 3 (Summer 2013). Pp. 375-390.

Экспертные оценки в задачах управления. - М.: Изд-во ИПУ, 1982.

Публикация?

1085. Орлов А.И. Число цитирований - ключевой показатель результативности в фундаментальной науке // Проблемы управления научными исследованиями и разработками-2017: тр. Третьей науч.- практич. конфер., 26 окт. 2017 г., Москва / Ин-т проблем упр. им. В.А. Трапезникова Рос. акад. наук, НИЦ "Ин-т им. Н.Е. Жуковского"; под общ. ред. Дутова А.В., Новикова Д.А. - М. : ИПУ РАН : НИЦ "Институт им. Н.Е. Жуковского", 2017. - С. 35-46.

*   *   *   *   *   *   *

"Научные труды - не кирпичи": математики взбунтовались против госзаказа ФАНО

Наталья Веденеева

Ученые требуют запретить навязывание фиктивного наращивания публикаций.

Российских ученых снова загоняют в тупик. Только в конце года пообещали в два раза поднять зарплату, согласно майским указам президента, как тут же снова возникла проблема. За удвоение базового финансирования ряду институтов ФАНО требует нереальное удвоение числа научных работ. Таковы условия нового госзадания, проект которого институты должны согласовать до конца этой недели. Условие непосильно для тех, кто привык относиться к научным трудам серьезно, держать марку лучших не только в России, но и во всем мире.

Восстали против очередного бессмысленного условия не слабые, а сильнейшие. Во вторник, 16 января 2018 г., ученый совет российского Математического института им. Стеклова РАН (МИАН), занесенного недавно в рейтинге успешности институтов в самую передовую категорию, принял заявление о своем категорическом несогласии с принципами формирования государственного задания, объявленными ФАНО на 2018 год.

Ученые выступают против увеличения выпуска научных статей пропорционально увеличению финансированию. К примеру, МИАНу предписано вместо 71-й работы (госзадание 2017 года) выдать теперь 150! А если ученые не согласятся подписать новое госзадание, то непонятно, увеличат им базовое финансирование или вообще оставят без денег?

Члены ученого совета, в который вошли известные во всем мире академики Валерий Козлов, Борис Кашин, Виктор Васильев и другие ведущие математики, очень надеются, что их авторитетное мнение услышат в Федеральном агентстве научных организаций и Министерстве образования и науки РФ и отменят нереальную планку, достичь которую невозможно без резкого снижения качества работ.

- Мы очень хотим донести до менеджеров, которые правят сегодня наукой, что наши труды, публикации в научных журналах - это не кирпичи, их производство нельзя запланировать на год вперед, - поясняет "МК" свою позицию доктор физико-математических наук, профессор, академик РАН Борис Кашин. - Да и нигде в мире количество публикаций не является основным показателем продуктивности научной работы.

"Подобный подход деформирует стиль научной работы, снижает научную ценность публикаций и на практике приведет лишь к профанации публикационной активности", - говорится в заявлении математиков. Уже ни для кого не секрет, что при постановке во главу угла наукометрии в оценке эффективности институтов в число "ведущих ученых" начинают пробиваться, мягко говоря, не совсем достойные этого звания индивидуумы. Всем известны случаи, когда авторы договариваются ссылаться друг на друга в своих статьях для обоюдного повышения рейтинга или вместо серьезных работ публикуют какие-то мелкие тезисы, не заслуживающие внимания авторитетных ученых.

- Нам прямо в ФАНО намекают, что не обязательно стремиться в издания, индексируемые в базе данных Web of Science, - поясняет Кашин. - Нам говорят: "Вы давайте статьи в более мелкие журналы..." Один институт вроде бы решил для повышения публикационной активности засчитывать в качестве работ препринты (статьи небольшого объема, посвященные будущей настоящей работе, которые публикуются автором для обсуждения и уточнения полученных результатов с коллегами. - Авт.). Препринты где-то индексируются но такой подход - это же халтура! Нас никто не будет уважать после этого. Те, кто ставит нас сегодня в такое унизительное положение, не понимают, что губят вековые научные традиции качественного подхода к научным статьям. Научно-техническая политика в сегодняшней России - это смесь вредительства и некомпетентности.

Ученый вспомнил, как при посещении в декабре конгресса всемирной федерации научных работников в Сенегале спросил местных ученых об их условиях труда. Ему рассказали, что поступающий в институт молодой кандидат наук получает полторы тысячи евро и пожизненную занятость. То есть даже в Сенегале ученых ценят больше, чем у нас?

Интересно, что, несмотря на заверения ФАНО планировать работу институтов сообща с РАН, новый проект госзадания, по словам Кашина, прошел мимо академии. Не известно, чего добиваются менеджеры, которые, несмотря на заверения оценивать институты не только за количество публикаций, но и за другие явно имеющиеся заслуги, все-таки склоняют научные организации к палочной системе, от которой в свое время отказались даже полицейские?

Заголовок в газете: "Научные труды - это вам не кирпичи".

Статья оубликован в газете "Московский комсомолец" No.27593 от 18 января 2018

http://www.mk.ru/science/2018/01/17/nauchnye-trudy-ne-kirpichi-matematiki-vzbuntovalis-protiv-goszakaza-fano.html 

Комментарий.

Спасибо за статью о паразитах из МИРАН.

Вот чем возмущались паразиты: "... вместо 71-й работы (госзадание 2017 года) выдать теперь 150!" А у нас от одной нашей кафедры требуют 100 работ - по лве от каждого сотрудника. Т.е. сотрудники нашей кафедры сейчас публикуют больше, чем сотрудники целого института (МИРАН). А ведь основное у нас - преподавание. Закономерно, что работы МИРАН мало кому нужны. Это видно по статистике цитирований РИНЦ. - А.И. Орлов

*   *   *   *   *   *   *

Falcon Heavy - оплеуха от Маска

Андрей Райзфельд, Москв

Роскосмос сейчас лихорадочно решает, что делать и как реагировать на запуск компанией SpaceX, принадлежащей Илону Маску, ракеты-носителя (РН) Falcon Heavy. И проблема не в том, что стартовые ускорители и первая, и даже вторая ступени носителя могут иметь возвращаемый вариант исполнения.

Проблема в том, что Falcon Heavy является носителем сверхтяжелого класса. 

В невозвращаемом варианте этот РН может выводить (по данным зарубежной печати) следующую полезную нагрузку: 

- на низкую опорную орбиту (НОО) - 63 800 кг (в два раза больше, чем "Ангара"); 

- на геопереходную орбиту - 26 700 кг (столько же выводит на НОО "Ангара" в варианте тяжелого носителя); 

- для полета автоматического космического аппарата (АКА) к Марсу - 16 800 кг; 

- для полета АКА к Плутону - 3500 кг. 

Вся хохма в том, что пока в России надували щеки и ерничали, мол, америкосы без наших РД-180 в космос не могут полететь, концерн Маска тихой сапой осуществил программу по разработке и испытаниям сверхмощных двигателей. И продемонстрировал носитель миру. 

Естественно, что немедленно повылезали "эксперты" от Роскосмоса, которые начали бухтеть, мол, все это фигня, мол, "Энергия" еще в 1987 году могла 100 тонн забросить на орбиту. Вот только, естественно, эти "эксперты" скромно так умалчивают, что на "Энергии" стояли кислородно-водородные двигатели. Это действительно, самые мощные из химических ракетных двигателей. А у Маска Falcon Heavy полетел на кислороде-керосине. Тех самых компонентах топлива, с которыми в России уже 25 лет никак не могут довести до ума вдвое менее мощную "Ангару". И самое главное. Построить сегодня "Энергию", возродить эту ракетно-космическую систему Россия не в состоянии. Деградация научно-производственного потенциала ракетно-космической промышленности достигла такого уровня, что ни о какой попытке возродить проект "Энергия" говорить не приходится. "Энергия" - в прошлом! Увы.

А вот космический прорыв Маска говорит, что, к огромному сожалению, колоссальный научно-технический потенциал США никуда не делся. Что это все еще мощнейшая научная и техническая держава, способная не только печатать зеленые бумажки. 

Что дает США наличие сверхтяжелого носителя? Это дает возможность снять многие массогабаритные ограничения с АКА, планируемых к запускам, при использовании Falcon Heavy в невозвращаемом варианте. Там, где ранее приходилось жестко укладываться в 22-25 тонн, теперь можно разрабатывать аппараты в 40-50 тонн. А это возможность установить на АКА дополнительную аппаратуру, возможность установить защиту, экранировать аппаратуру от воздействующих факторов космического пространства. То есть если сейчас приходится разрабатывать особо стойкую электронно-компонентную базу, то при установке ее в защищенных модулях требования к изделиям ЭКБ могут быть существенно снижены. А это удешевление стоимости изделий ЭКБ. Это и решение вопросов энергетики. На АКА массой в 45-50 тонн можно установить такие солнечные батареи, что они дадут и 50, и 100 киловатт электрической мощности, т.е. смогут питать орбитальные радиолокационные комплексы, от которых не укроется даже мышь. И окажутся все мобильные "Тополь-М" с "Ярсами" как на ладони, в реальном масштабе времени будут америкосы видеть каждую ПУ. И, соответственно, будут иметь возможность по целеуказанию с орбиты нанести разящие удары.

Если же вернуться к родным пенатам, то поначалу, естественно, вся мощь кремлевского агитпропа будет брошена на то, чтобы эту новость с Falcon Heavy всячески принизить. Когда же до кремлевских сидельцев дойдет, что нужного эффекта не получается, естественно, прямо перед камерами "гарант конституции" начнет раздавать указания немедленно "догнать и перегнать". Выскочит Рогозин и начнет направо и налево раздавать обещания, что мы в два счета обскачем Маска с его "Фалконом". Прямо перед телекамерами начнет раздавать обещания, что завтра-послезавтра такую же ракету у нас на старт выкатят. Интервью чиновниками будут раздаваться пачками. "Охранители" бросятся кричать на каждом углу, что мы сейчас в два счета америкосов переплюнем, только вот поднатужимся и враз сбацаем немыслимое. В два счета соорудят какой-нибудь департамент, напичкают его "эффективными менеджерами" с зарплатами в сотни тысяч рублей (причем "манагеры" все как один будут с непрофильным образованием и понятия не иметь, что такое ракетостроение), начнутся бесконечные совещания, писание программ, освоение бюджета. Потом, правда, всё очень быстро затихнет, о грандиозных обещаниях перестанут упоминать в зомбоящике. А если у "охранителей" начнут спрашивать, мол, где же наш ответ Чемберлену, сиречь Маску, те в ответ будут изображать искреннее удивление, смотреть чистым, искренним, по-детски незамутненным взглядом, мол, о чем это вы говорите? Какой ответ? Я не я, и лошадь не моя. Меня там не стояло, и вообще я здесь ни при чем, так, мимо в троллейбусе еду.

Когда-то американские журналисты о полете Гагарина сказали, что 90% разговоров о предстоящем полете человека в космос приходилось на США, а 90% дела - на СССР. Сегодня ситуация зеркальная. Столько болтовни о космическом величии, о былых заслугах в освоении космоса, как в России, нет нигде. Но также нигде не делается столь ничтожно мало. 

http://sovross.ru/articles/1660/38053

*   *   *   *   *   *   *

На сайте "Высокие статистические технологии", расположенном по адресу http://orlovs.pp.ru, представлены:

На сайте есть форум, в котором вы можете задать вопросы профессору А.И.Орлову и получить на них ответ.

*   *   *   *   *   *   *

Удачи вам и счастья!


В избранное