Аннотация: Рассмотрим методы оценки эффективности и качества работы ученого, научной деятельности подразделения, организации, журнала. Показатели эффективности научной деятельности используются как важная составная часть при оценке вузов, инновационного потенциала предприятий и т.п. Подробно разработаны и широко применяются два типа инструментов оценки эффективности научной деятельности - наукометрические показатели и экспертные оценки. Их критическому анализу и посвящена настоящая статья.

Ключевые слова: наука, управление, принятие решений, наукометрические показатели, экспертные оценки, библиометрические базы данных, индексы цитирования, Российская академия наук.

Abstract: We consider the methods for estimation of the effectiveness and quality of the scientific activities of the researcher, of the organization, of the magazine. Performance indicators of scientific activity are used as an important part in the estimation of higher education institutions, the innovative capacity of enterprises, etc. There are two more developed and widely used types of tools for estimation the effectiveness of the scientific activity - the scientometric indicators and the expert estimators. Their critical analysis is the subject of this article.

Keywords: science, management, decision-making, scientometric indicators, expert estimates, bibliometric databases, citation indexes, Russian Academy of Sciences.

Основная проблема современной науки - всеобщее невежество научных работников. Это шокирующее утверждение легко обосновать, сопоставить количество актуальных публикаций по практически любой научной специальности (сотни тысяч и миллионы) с возможностями восприятия человека (сотни и тысячи статей и книг).

Как следствие, исследователи разбиваются на кланы (кластеры), состоящие обычно из нескольких сотен лиц. Научный работник в какой-то мере знает работы членов своего кластера и не интересуется исследованиями тех, кто не входит в кластер.

Кластеры взаимодействуют между собой обычно по административным вопросам, например, в борьбе за ресурсы. Иногда в борьбе рождается нездоровая монополия. Например, отделение математики РАН формируется тремя небольшими институтами математики (в Москве, Санкт-Петербурге и Новосибирске), т.е. фактически тройкой директоров этих институтов. Научные результаты 10 тысяч математиков России, работающих в других организациях, при этом игнорируются.

Иногда говорят, что каждый специалист знает свою область, знаком с работами коллег и хорошо видит, "кто чего стоит". Из сказанного выше ясно, что это заблуждение. Следовательно, для управления наукой необходимо использовать некоторые показатели, не сводящиеся к непосредственному впечатлению. Есть две группы показателей успешности научной деятельности - наукометрические (число цитирований работ определенного автора, число публикаций, импакт-фактор журнала и др.) и экспертные (ученые степени, членство в научных обществах, в том числе в академиях, занимаемые должности). Рассмотрим эти группы показателей, а также ряд более общих вопросов управления наукой [1]. Основное утверждение настоящей работы таково: число цитирований - ключевой показатель результативности научной деятельности. Именно по числу цитирований следует оценивать вклад в науку исследователя или организации [2].

Начнем с обсуждения общих вопросов развития отечественной науки. При подготовке статьи использованы наши ответы на вопросы экспертного опроса по реформированию РАН и перспективам развития российской науки, организованного Профсоюзом РАН и Общественно-научным форумом "Россия: ключевые проблемы и решения", а также материалы нашего доклада "Число цитирований - ключевой показатель эффективности научной деятельности" на XVI Международной научной конференции "Модернизация России: приоритеты, проблемы, решения" (Москва, декабрь 2016 г.).

Для работников вузов на нынешнем этапе проведения реформы науки наиболее заметным является введение частичного использования наукометрических показателей при оценке результативности работы профессорско-преподавательского состава (например, такое требование: за 5 лет профессор должен опубликовать не менее 10 статей в журналах списка ВАК, доцент - не менее 8, и т.д.). Недостатками являются попытки рекомендовать публикации в журналах из баз WoS и Scopus (т.е. в основном в зарубежных журналах), отсутствие анализа цитируемости, необоснованные ссылки на индексы Хирша и значения импакт-факторов. Возможный механизм решения - разработка (в конкретном вузе и в РФ в целом) научно обоснованных рекомендаций по оценке результативности научных исследований (с опорой на базовый показатель для фундаментальных исследований - число цитирований). Эти рекомендации должны позволять принимать обоснованные управленческие решения по финансированию научных исследований.

Наряду с расширением фронта научных исследований, в частности, числа диссертаций, наблюдаем падение авторитета РАН (как совокупности действительных членов и членов-корреспондентов, так и институтов бывшей РАН). Результаты деятельности действительных членов и членов-корреспондентов РАН, как правило, не нужны отечественной науке, что подтверждается сравнительно малым числом цитирований этой группы лиц по сравнению с другими авторами. Эта совокупность лиц должна быть уравнена в правах с другими общественными организациями научной направленности, например, такими, как Российская академия естественных наук (РАЕН), Международная академия исследований будущего (МАИБ), Российская академия статистических методов (РАСМ). Основная часть институтов бывшей РАН должна быть передана в состав вузов или профильных ведомств (Роскосмос, Росатом и др.).

Сильная сторона современной отечественной фундаментальной науки - ее самодостаточность. Для получения нужных стране научных результатов мировая наука российским исследователям не нужна. Более того, мировая наука - это вредный миф, поддерживаемый врагами России с целью выкачивания ресурсов из нашей страны [3].

Слабая сторона: миф о том, что совокупность действительных членов и членов-корреспондентов РАН - это "штаб" российской науки. Пополнение РАН путем кооптации привело к засорению РАН субъектами, выбранными не за научные заслуги, а по другим причинам. По каждой из тематик РИНЦ из первых 100 наиболее результативных ученых (по числу цитирований) действительных членов и членов-корреспондентов РАН соответствующих отделений не более 10%.

Выборы осени 2016 года продемонстрировали крайнюю степень деградации РАН:

а) избрали чиновников, очевидно, в надежде на лоббистские услуги, проще говоря, в коррупционных целях, на что и обратил внимание Президент РФ;

б) в отделении медицинских наук избрали большое число жен и детей действующих "академиков";

в) в отделении математики избрали лиц, чьи работы никому не нужны (единичные цитирования, впрочем, и публикации единичны); при публичном обсуждении в газете "Троицкий вариант - наука" установлено, что сговор директоров трех НИИ (институтов математики в Москве, Санкт-Петербурге и Новосибирске) предопределяет итоги выборов в РАН;

г) в иностранные члены РАН избрали матерого врага России Киссинджера.

В области математических методов исследования: новая парадигма математических методов исследования, статистика нечисловых данных и прикладная статистика в целом, теория принятия решений, организационно-экономическое моделирование и особенно теория экспертных оценок.

В области экономики и управления: контроллинг, экономика предприятия и организация производства, эконометрика и математические и инструментальные методы экономики в целом, солидарная информационная экономика. Необходимо освободить экономическую теорию и практику от рыночных извращений, взять за основу определение Аристотеля: экономика - это наука о том, как вести хозяйство.

Как уже отмечалось, необходимо совокупности действительных членов и членов-корреспондентов РАН придать статус обычной общественной организации, такой, как РАЕН, МАИБ, РАСМ и другие общественные академии.

Большинство НИИ, подведомственных ФАНО, целесообразно включить в состав вузов или профильных ведомств (Институт космических проблем РАН и Институт медико-биологических проблем РАН - в Роскосмос, Институт проблем безопасного развития атомной энергетики РАН - в Росатом, и т.п.).

Экспертизы по поручению руководства страны должны осуществляться не РАН, а творческими коллективами, созданными из наиболее результативных научных работников (из первых 100 наиболее результативных ученых (по числу цитирований) по каждой из тематик РИНЦ).

Основной показатель результативности - это число цитирований. Если работа процитирована - значит, она нужна. Из трех основных показателей РИНЦ число публикаций дает оценку продуктивности, индекс Хирша не имеет рациональной интерпретации и не должен использоваться для оценки эффективности работы научных организаций и деятельности научных сотрудников, а вот число цитирований - это тот показатель, который является наиболее адекватной оценкой научного вклада исследователя в области фундаментальной науки..

В рассматриваемой области есть ряд вредных заблуждений. Так, применение наукометрических показателей, полученных по зарубежным базам данных (WoS, Scopus и др.), вредно, поскольку основная масса российских изданий в них не представлена. Активное самоцитирование научных организаций и научных сотрудников - показатель их передового положения в науке, наличия научных школ, перспективных научных направлений. С самоцитированием не следует бороться, его надо поощрять. Понятие "мусорных журналов", т.н. "мурзилок" пропагандируется загнившей частью научного сообщества, имеет целью принижение новых научных направлений и журналов, особенно действующих вне Москвы. Цель такого принижения - переключение потока направляемых в печать статей и соответствующих финансовых потоков на столичные центры, теряющие свои творческие потенции.

Итак, число цитирований по РИНЦ - ключевой показатель результативности (эффективности) научной деятельности.

Следует принять положение (нормативный документ), согласно которому показатели по WoS, Scopus и др. не используются в отечественной практике, по грантам принимаются только публикации на русском языке, при выборах на те или иные позиции, при защитах диссертаций учитываются только публикации на русском. Это позволит, в частности, исключить нарушение прав отечественных налогоплательщиков, когда первая публикация, выполненная на их деньги, появляется в иностранном журнале.

Необходимо добиться понимания обществом необходимости научных исследований. Руководители различных рангов должны постоянно подчеркивать пользу науки, опираться на результаты научных исследований при принятии управленческих решений. Средства массовой информации должны популяризировать научные результаты.

В свою очередь, научные работники не должны "удовлетворять свое любопытство за государственный счет". Им следует постоянно ориентироваться на интересы общества. Необходимо избавиться от загнившей части научных деятелей, ликвидировать необоснованные привилегии действительных членов и членов корреспондентов РАН (уравнять это сообщество в правах с другими общественными академиями), отправить на почетную пенсию престарелых лиц, числящихся научными работниками.

Пока в зданиях НИИ, подведомственных ФАНО, царит запустение, сотрудники в рабочее время отсутствуют, каждый налогоплательщик будет вправе сказать:"Зачем мне кормить этих паразитов?" Когда в НИИ будет кипеть жизнь, как в 60-е годы ХХ в., статус и уровень социальной защищенности научных работников вернутся к высоким показателям.

Необходимо пресечь деструктивную деятельность сообщества Диссернет, которое своими акциями зачастую дискредитирует науку. Обратите внимание, как пресечение антиармейской пропаганды привело к повышению статуса военнослужащих в глазах общества.

Впрочем, в настоящее время актуально не столько развитие новых исследований, сколько сбережение накопленных знаний, умений, навыков.

Необходимо постоянно заниматься распространением и популяризацией научных знаний и повышением престижа науки. Это касается прежде всего руководства страны, регионов, ведомств, организаций.

Кардинальное решение возможно лишь при изменении психологии масс, отказа от псевдорыночного лозунга максимизации прибыли (прибыли) и переходе на иные базовые принципы, прежде всего патриотические.

В частности, средства массовой информации должны работать на повышение престижа науки, заниматься популяризацией научных знаний. Например, следует восстановить издание журнала "Квант" с обязательной рассылкой по всем школам.

Во всех НИИ и вузах должны быть созданы подразделения, занимающиеся распространением и популяризацией научных результатов, полученных в этой организации, как внутри страны, так и за рубежом. В частности, для зарубежных читателей должны выпускаться издания, отражающие научные результатов, полученных в этой организации. Российская научно-техническая разведка должна обеспечить научных работников информацией о зарубежных исследованиях по их тематике. Должна получить дальнейшее развитие деятельность ИНИОН.

Передача большинства организаций бывшей РАН в состав соответствующих вузов позволит обеспечить участие ведущих ученых в преподавании, а преподавателей вузов - в современных научных исследованиях. Стихийный процесс слияния научной и преподавательской деятельности, как известно, давно идет. Сотрудники академических НИИ преподают (по совместительству), а преподаватели обязаны вести научные исследования (например, как уже отмечалось, профессора обязаны опубликовать за 5 лет не менее 10 статей в журналах списка ВАК).

Текущее состояние экспертного научного обеспечения деятельности органов государственной власти и управления не является удовлетворительным. С одной стороны, привлекаемые к экспертизе лица и организации зачастую работают неадекватно. С другой стороны, органы государственной власти и управления часто игнорируют выводы экспертов.

Целесообразно создание Межведомственного экспертного совета по проблемам научно-технологического развития России, который взял бы на себя организацию экспертного научного обеспечения деятельности органов государственной власти и управления. Экспертизы по поручению руководства страны должны осуществляться не РАН, а творческими коллективами, созданными из наиболее результативных научных работников (из первых 100 наиболее результативных ученых (по числу цитирований) по каждой из тематик РИНЦ). Кроме того, Межведомственный экспертный совет по проблемам научно-технологического развития России взял бы на себя руководство теми организациями бывшей РАН, которые нецелесообразно передавать в вузы и профильные ведомства (например, ИНИОН, ВИНИТИ, РИНКЦЭ, музеи). Возможно, целесообразно создание органа управления, аналогичного по ряду функций Государственному комитету по науке и технике СССР.

Разберем некоторые затронутые положения подробнее. Прежде всего отметим необходимость разделения фундаментальной науки и прикладной науки. Прикладные научные исследования делаются по заказу и результаты оценивает заказчик. Широкому распространению полученных результатов зачастую препятствуют соображения коммерческой или государственной тайны. Фундаментальная наука нацелена на приращение знания, и полученные результаты поступают во всеобщее пользование. Именно поэтому число цитирований работ ученого - оценка его вклада в (фундаментальную) науку [4]. В настоящей статье мы обсуждаем проблемы фундаментальной науки.

С нее мы начали в публикациях 2013 г. [5]. Выявлен ряд вредных мифов.

Например, в фундаментальной науке наиболее естественная цепочка публикаций, соответствующая развитию исследований, такова: тезисы доклада (первая формулировка идеи на конференции или научном семинаре) - тематический сборник (статьи единомышленников, сплотившихся вокруг новой идеи) - монография - учебник - широкое использование (именно так развивались отечественные работы по ряду направлений, например, по теории экспертных оценок). Обратите внимание - в этой цепочке нет статей в научных журналах. Т.е. для развития науки публикации в журналах, вообще говоря, не нужны. Между тем любители наукометрии упирают прежде всего на статьи в журналах, пренебрегая другими видами публикаций.

Почему пропагандисты наукометрических показателей делают упор на журналы? Одна из причин - потому что таким путем оценку научной продуктивности можно проводить путем применения программного продукта. Достаточно составить базу данных из списков литературных ссылок в электронных версиях журналов и формально ее обработать. Другая причина - "владельцы" журналов таким образом закрепляют свои позиции в научном мире, "зарабатывают деньги" . В их руках - ресурс (возможность публикации), необходимый для профессиональной деятельности. Пропаганда погони за публикациями в зарубежных научных журналах - антироссийская деятельность, которую можно сравнить с пропагандой кражи интеллектуальной собственности.

Велики возможности внесения искажений, "накрутки" показателей [6]. Целесообразно в первых публикациях допустить неточности, ошибки, недоработки. Тогда появляется основания для публикации следующих статей, улучшающих предыдущие. Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей. Например, существование пятого момента случайной величины можно последовательно заменять на существование четвертого, третьего и второго. Или вместо условия дифференцируемости функции обойтись условием непрерывности. В результате получаем "облако" взаимно ссылающихся статей в связке из нескольких журналов.

Надо поднять импакт-фактор журнала, чтобы увеличить финансирование? Вот план мероприятий (по аналогии со сбором десятка-другого отзывов на диссертацию и автореферат, которые, как все знают, пишет сам соискатель): вместо одной полноценной статьи делим ее на последовательные кусочки, допускающие дальнейшее развитие, создаем команду "авторов" и рассылаем по журналам, затем перекрестно продолжаем "развитие" положений исходного набора статей.

Методологические ошибки - упор на необоснованные экспертные оценки (см. ниже) и неадекватное использование индексов цитирования - приводят к неправильным управленческим решениям. В частности, не получают адекватной оценки новые научные направления, которые еще не обзавелись своими журналами. Вне оценивания оказываются наиболее ценные результаты, отраженные в монографиях и учебниках. Оценка по журнальным статьям и импакт-факторам журналов объективно задерживает подготовку книжных изданий - ведь после выхода книги ссылаться будут на нее, а не на предыдущие статьи. Ссылки на работы, в которых получены принципиально новые результаты, зачастую "тонут" среди ссылок на массы эпигонов. На настоящий момент существенно, что в современных условиях отнюдь не все отечественные журналы имеют полноценные электронные версии, и не все включены в системы учета цитирования. Сказанное объясняет, почему Международный союз математиков предостерегает от неправильного использования статистики цитирований.

По сравнению с упором на наукометрические показатели гораздо больший вред развитию науки наносят традиционные экспертные процедуры.

Речь идет не только о присвоении ученых степеней не по заслугам. Само по себе наличие ученых степеней можно сравнить с воинскими званиями или классными чинами, введенными Петром Первым. По ученой степени можно создать первое впечатление о квалификации незнакомого специалиста. Однако нелепо, что ученая степень присуждается на всю оставшуюся жизнь и не требует подтверждения. Современные информационно-коммуникационные технологии дают возможность проводить такое подтверждение регулярно на основе анализа библиометрических баз данных.

Процедура присуждения ученых степеней нелепа. Невозможно по пятнадцатиминутному (для кандидатской степени) или тридцатиминутному (для степени доктора наук) докладу разобраться в деталях сделанной работы. Члены диссертационного совета принимают решение по диссертации, не читая ее (из-за недостатка времени). Нелепо их обвинять, если диссертация содержит некорректные заимствования.

Очевидна тенденция к загниванию структур, пополняемых путем кооптации, например, РАН. Это и произошло. Академия наук перестала быть центром отечественной науки. Само существование РАН наносит большой вред развитию науки. Подчеркнем: ее сохранение в нынешнем виде мешает развитию отечественной науки. Речь идет не о ликвидации РАН, а о преобразовании ее в общественную организацию типа Королевского научного общества или Американской статистической ассоциации.

Вредна связка административных должностей с наличием ученых степеней и членством в РАН. Хозяйственники (директора НИИ, ректоры вузов) должны заниматься управлением, а не наукой. Ведь очевидно, что если директор НИИ ведет научные исследования, то он ресурсы всего НИИ перетягивает на свою тематику, сокращая поддержку других научных направлений. Наблюдаем конфликт интересов: директор как научный работник заинтересован в направлении ресурсов на нужды своих исследований, а как администратор заинтересован, наоборот, в развитии всех научных направлений, имеющихся в НИИ, что предполагает распределение ресурсов между всеми этими направлениями.

Есть и другие проблемы, мешающие развитию отечественной науки.

Начнем с нелепого объединение математики и физики в "физико-математические науки". Математики и физики занимаются совсем разными объектами. Математика - абстрактными системами, а физика - реальным миром.

В действующей системе специальностей видны два осколка статистики - одна из экономических наук и часть математики (специальность 01.01.05 "теория вероятностей и математическая статистика"). Нет статистики в технических исследованиях, в биологических, в медицинских... Должна быть наука "Статистика" верхнего уровня, в одном ряду с науками "Математика", "Физика", "Биология", "Социология" ...

Есть только осколок кибернетики (в математике) вместо науки "Кибернетика" верхнего уровня.

Менеджмент находится внутри экономики, как специализация в одной из экономических специальностей. А следовало бы наоборот - поместить экономику внутри менеджмента (как науки об управления предприятиями, отраслями, народным хозяйством).

Можно считать сказанное досадными мелочами. Но эти "вредные мелочи" мешают развитию отечественной науки. Каждому желающему получить ученую степень приходится выбирать одну из камер (специальностей) и следовать обычаям, принятым в выбранной камере. Встречаются "странноватые" ситуации. Так, автор настоящей статьи, математик по образованию и опыту работы (согласно РИНЦ - один из самых цитируемых математиков России), имеет ученые степени доктора технических наук (хотя никогда не имел дела с техникой) и доктора экономических наук (по математическим и инструментальным методам экономики). Степень по физико-математическим наукам также не вполне подходит - физикой (и вообще естественными науками) никогда не занимался. Наибольший вред нынешняя система научных специальностей оказывает на подготовку новых научных кадров. Например, автор настоящей статьи может официально готовить только экономистов, но не математиков.

Подведем предварительные итоги.

Оценка эффективности научной деятельности должна проводиться на основе числа цитирований. Если работа цитируется - значит, она нужна! А если не цитируется - то не оказывает влияния на развитие науки.

Как быть с другими наукометрическими показателями? Число публикаций оценивает продуктивность, а число цитирований - результативность. Индекс Хирша нелеп и должен быть выведен из употребления. Импакт-факторы журналов, в которых опубликованы работы, не имеют отношения к оценке публикаций. В современных условиях важна лишь возможность получить Интернет-версию работы.

Взамен действительных членов и членов-корреспондентов РАН к выполнению работ по заданию руководства страны следует привлекать наиболее цитируемых исследователей.

Большинство институтов бывшей РАН (ныне подчиняющихся ФАНО) следует передать вузам или профильным ведомствам.

Необходимо совершенствовать систему научных специальностей.

И одно частное предложение. На основе накопленного опыта [7] целесообразно в рамках социологической науки создать специальность "Математические и инструментальные методы в социологии", аналогичную экономической специальности "Математические и инструментальные методы в экономике".

Утверждения настоящей статьи приведены, как правило, без подробных доказательств. Подобные доказательства можно найти в многочисленных ранее опубликованных нами работах. А можно рассматривать сказанное как экспертное мнение одного из самых цитируемых отечественных ученых.

Приведем рейтинги автора настоящей статьи в Российском индексе научного цитирования (РИНЦ), построенные по числу цитирований научных публикаций согласно тематикам его работ (в соответствии с перечнем тематик РИНЦ). На 21.08.2017 у А.И. Орлова в РИНЦ указаны 478 публикаций и 10663 цитирования, индекс Хирша 36 (показатели по РИНЦ). Рейтинги таковы:

1. Информатика - 2*

2. Кибернетика - 1*

3. Космические исследования - 2*

4. Математика - 3

5. Науковедение - 1*

6. Организация и управление - 1*

7. Охрана окружающей среды. Экология человека - 1*

8. Социология - 3*

9. Стандартизация - 1*

10. Статистика - 1*

11. Транспорт - 1*

12. Экономика. Экономические науки - 9

Здесь звездочками отмечены данные по тематикам, к которым РИНЦ не относит работы А.И. Орлова. При этом у А.И. Орлова есть многочисленные работы по перечисленным тематикам. Любопытно, что по "официальным" тематикам А.И. Орлова его рейтинги равны 3 (Математика) и 9 (Экономика. Экономические науки), а по "дополнительным" 10 тематикам из приведенного выше списка рейтинги выше - 1, 2 или 3.

В настоящую статью включены результаты предварительного изучения проблемы. Нужны обсуждения. Необходимо дальнейшее развитие науковедения и наукометрии.

1. Орлов А.И. Наука как объект управления // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. No. 101. С. 1243-1273. URL: http://ej.kubagro.ru/2014/07/pdf/11.pdf (дата обращения 06.06.2017).

2. Орлов А.И. Число цитирований - ключевой показатель эффективности научной деятельности исследователя и организации // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2016. No. 124. С. 984-1009. URL: http://ej.kubagro.ru/2016/10/pdf/64.pdf (дата обращения 06.06.2017).

3. Гринченко С.Н. Является ли мировая наука "организмом"? // Biocosmology - neo-Aristotelism. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. Vol. 4. No. 1 - 2 (Winter / Spring 2014). Pp. 115 - 122. URL: https://sites.google.com/site/biocosmologyneoaristotelism/home/1-1 (дата обращения 06.06.2017).

4. Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.

5. См., например: Орлов А.И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы развития. Ежегодник. Вып. 8. / РАН. ИНИОН. Отд. науч. сотрудничества и междунар. связей; Отв. ред. Ю.С. Пивоваров. - М., 2013. - Ч. 2. - С.528 - 533.

6. Луценко Е.В. Хиршамания при оценке результатов научной деятельности, ее негативные последствия и попытка их преодоления с применением многокритериального подхода и теории информации // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. No. 108. С. 1-29. URL: http://ej.kubagro.ru/2015/04/pdf/01.pdf (дата обращения 06.06.2017).

7. Орлов А.И. Математические методы в социологии за сорок пять лет // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2016. No. 117. С. 91-119. URL: http://ej.kubagro.ru/2016/03/pdf/04.pdf (дата обращения 06.06.2017).

Публикация:

Орлов А.И. Как обустроить российскую науку? // Southern almanac of scientific research - Южный научно-исследовательский альманах. 2017. No.2. http://yunia.ru/article/1-6