Эконометрика - один из наиболее эффективных инструментов контроллинга. Специалисты владеют этим инструментом. Поэтому они обычно рассказывают о полученных результатах, а не о приемах использования инструмента. В результате следующее поколение может и не познакомиться с основами, ограничившись повторением общих слов. Особенно актуальна эта проблема для современной России, в которой идет бурный процесс внедрения контроллинга.

   В статье [1] рассмотрены общие проблемы применения эконометрических методов при решении задач контроллинга. Описанию конкретных методов посвящен учебник [2]. В настоящей статье рассмотрим конкретные задачи контроллинга, для решения которых необходимо использовать методы эконометрики.

   Однако вначале необходимо обсудить содержание термина "эконометрика". Согласно энциклопедическим источникам, эконометрика - это наука, изучающая конкретные количественные и качественные взаимосвязи экономических объектов и процессов с помощью математических и статистических методов и моделей [3]. Такие методы успешно используются в зарубежных и отечественных экономических и технико-экономических исследованиях, работах по управлению (менеджменту). Применение прикладной статистики и других эконометрических методов дает заметный экономический эффект. Например, в США - не менее 20 миллиардов долларов ежегодно только в области статистического контроля качества.

   В литературе встречается и более узкое понимание эконометрики. Так, в одном из наиболее распространенных в России вводных курсов западной экономической теории сказано: "Статистический анализ экономических данных называется эконометрикой, что буквально означает: наука об экономических измерениях" [4, с.25]. Согласно учебнику [2] эконометрические методы - это прежде всего методы статистического анализа конкретных экономических данных, естественно, с помощью компьютеров. В отличие от формулировок в энциклопедических источниках, здесь из эконометрики исключаются, например, оптимизационные задачи. Это оправдано с точки зрения преподавания, поскольку в настоящее время методы статистического анализа и методы оптимизации рассматриваются в разных учебных курсах.

   Однако при решении практических задач производственного менеджмента и контроллинга придерживаться такого разделения нет оснований. Поэтому в настоящей статье примем приведенное выше определение Большого Энциклопедического Словаря [3], согласно которому термин "эконометрика" фактически является синонимом термину "математические методы в экономике".

   Точнее, в эконометрику не включают абстрактные экономико-математические методы и модели, не связанные с изучением конкретных явлений и процессов, например, теоремы о существовании точки равновесия. Однако подобные методы и модели, как правило, не используются при решении практических задач.

   В каждом номере журнала "Контроллинг" приведены многочисленные ссылки на эконометрические инструменты. Так, С.Г. Фалько, К.А. Рассел и Л.Ф. Левин, анализируя знания, навыки и способности, необходимые контроллерам в США, выделяют оптимизацию процессов, а также компьютерные системы и операции [5]. Методы многокритериальной оптимизации позволяют согласовать цели предприятия за счет собственных и заемных источников финансирования [6]. Рассматривая место системы внутрифирменного контроллинга в функциональной структуре управления, Н.Г. Данилочкина выделяет блоки анализа, контроля, прогнозирования, оптимизации [7]. Во всех этих блоках велика доля эконометрических методов. Так, при выборочном контроле совокупности объектов необходимо применять методы статистического контроля, а при контроле процессов - методы обнаружения разладки. Прогнозирование базируется либо на объективных статистических данных, и тогда применяется метод наименьших квадратов и другие методы регрессионного анализа, либо на субъективных мнениях экспертов, и тогда используется теория экспертных оценок [2].

   Экспертные оценки широко используются при решении задач контроллинга. Для планирования продуктовой программы предприятия [8] и для оценки эффективности работы подразделения контроллинга [9] разработаны и подробно описаны конкретные методы сбора и анализа оценок экспертов.

   Большое место в задачах управления, в том числе в контроллинге, занимают показатели эффективности. В монографии О.А. Дедова [10] рассмотрена система из 512 ключевых показателей экономической эффективности, имеющих широкое применение в странах с рыночной экономикой. Ясно, что из-за ограниченных возможностей человеческого мозга непосредственно использовать для управления значения 512 показателей нельзя. Приходится применять интегральные (обобщенные, итоговые) показатели, построенные на основе исходных показателей. Построению частных и интегральных показателей по уровням управления предприятием посвящена статья [11].

   Эконометрика качества [2, гл.13] необходима В.В. Марущенко для организации поэтапного проведения реинжиниринга бизнес-процессов [12]. В работе [13] показано, что на всех этапах "петли качества", описывающей жизненный цикл продукции с точки зрения организатора производства, следует использовать эконометрические методы.

   Отметим любопытное обстоятельство, связанное с соотношением объемов текстов, выделяемых для описания различных вопросов управления качеством. В одной из первых публикаций [14] Международной организации по стандартизации (ИСО) глава по управлению качеством почти полностью состояла из рассмотрения методов статистического приемочного контроля и других методов эконометрики качества. Другими словами, управление качеством практически приравнивалось к эконометрике качества. А вот в современном учебнике по качеству [15] содержится много материала по организации управления качеством, но статистический приемочный контроль не рассматривается (а контрольным картам уделено 5,5 стр.). Как могло появиться подобное сочинение, дезориентирующее читателей?

   В стандартах ИСО серии 9000, посвященных менеджменту качества, статистические методы управления качеством указывались как необходимый элемент систем качества. При этом содержание этого элемента не раскрывалось. Почему? Да потому, что по этой тематике действовали многочисленные стандарты ИСО, а также региональные (например, стандарты CЭВ) и национальные стандарты [16]. Короче, статистические методы управления качеством были хорошо известны всем специалистам.

   Затем к проблеме качества обратились новые лица. Они знали только стандарты ИСО серии 9000, но не знали всей предыстории. Вполне естественно, что они стали писать учебники, исходя из своих знаний. В результате следующее поколение, выучившись по учебникам типа [15], не сможет проанализировать нормативно-техническую документацию по управлению качеством, в том числе стандарты и договора на поставку (разделы "Правила приемки и методы контроля") и тем более не смогут спроектировать оптимальную систему контроля. Историю деградации текстов по управлению качеством необходимо учесть при развитии работ по обучению и внедрению контроллинга.

   Кроме эконометрических моделей управления качеством при решении задач контроллинга используются и другие вероятностно-статистические математические модели. Так, при информационном моделировании, имеющем целью реинжиниринг бизнес-процессов, В.В. Марущенко и А.В. Марущенко опирались на теорию массового обслуживания [17].

   Для получения более объемной картины использования эконометрических методов при управлении деятельностью организации обратимся к производственному менеджменту - основе контроллинга. Проанализируем учебник [18], подготовленный кафедрой "Экономика и организация производства" Московского государственного технического университета им. Н.Э. Баумана. В нем более 20 раз используются эконометрические методы и модели, что свидетельствует об эффективности такого инструмента менеджера, как эконометрика.

   Приведем примеры. Методы восстановления зависимости (регрессионного анализа) используются при изучении динамики производственных затрат в период освоения производства [18, с.95-97]. В частности, для выявления закономерностей изменения трудоемкости изготовления единицы продукции, снижения себестоимости и других показателей с течением времени или с ростом объемов изготовления и др. При нормировании труда косвенные методы основаны на регрессионном анализе. Более того, разработанная НИИ труда формула для определения численности специалистов по функции "организация и оплата труда" также получена с его помощью [18, с.308-309]. Интегральный критерий эффективности проекта, применяемый при планировании инновационных процессов, строится с помощью многомерного статистического анализа [18, с.101].

   Постоянно возникает необходимость строить те или иные интегральные показатели (критерии), объединяющие значения частных (единичных или групповых) показателей. Необходимо упомянуть суммарный показатель качества продукции или проекта [18, с.244], коэффициент качества инженерного труда [18, с.269].

   В производственном менеджменте часто используются задачи оптимизации. Так, с целью рационального расположения на территории завода складских помещений, заготовительных цехов, участков, оборудования решают задачу минимизации суммарных грузопотоков. Для максимально возможного совмещения отдельных производственных процессов во времени, что может существенно сократить время от запуска в производство до выпуска готовой продукции, решают соответствующую оптимизационную задачу [18, с.121-122]. Методы сокращения производственного цикла, в том числе снижения затрат труда на основные технологические операции, сокращения затрат времени на транспортные, складские и контрольные операции, предполагают применение методов оптимизации, в том числе дискретной оптимизации [18, с.134-136].

   Особенно заметна роль оптимизации в задачах планирования производственно-хозяйственной деятельности предприятия. В качестве одного из основных принципов планирования выдвигается принцип оптимальности. Предполагается построение экономико-математической модели объекта планирования, включающей целевую функцию по принятому критерию оптимальности и систему ограничений [18, с.339]. Среди основных методов планирования указаны экономико-математические методы [18, с.342]. Подробно рассматривается математическая модель построения оптимального плана реализации продукции, сводящаяся к задаче линейного программирования [18, с.352-354]. При планировании рыночных цен на продукцию решается задача максимизации прибыли как функции цены [18, с.409]. Расчет оптимальных размеров партии деталей основан на минимизации суммарных затрат [18, с.428].

   В эконометрику входит и теория оптимального управления запасами. Эта теория используется для организации и управления материально-производственными запасами организации материально-технического снабжения и складирования [18, с.223-236], в том числе для организации материально-технического снабжения и складирования [18, с.217], организации обеспечения основного производства технологической оснасткой [18, с.208]. Отметим, что "экономичный объем заказа" [18, с.227] является оптимальным лишь при большом интервале планирования [19].

   В производственном менеджменте широко применяются разнообразные эконометрические методы, относящиеся к "статистическому" крылу этой научно-практической дисциплины. Например, хронометраж [18, с. 311-316] - это типовое статистическое исследование. Отметим использование медианы для вычисления нормы времени [18, с.312], что совпадает с рекомендациями эконометрики, основанными на теории измерений и теории устойчивости статистических процедур [2]. На основе теории выборочных исследований указывается количество наблюдений, позволяющее сделать обоснованные выводы о структуре затрат рабочего времени [18, с.315].

   Большой раздел эконометрики - статистические методы управления качеством продукции. Согласно международному стандарту ИСО 9004 в системах качества должно быть предусмотрено использование статистических методов [18, с.253]. При рассмотрении видов контроля качества продукции выделяются "выборочный" и "статистический" контроль [18, с.268]. Описываются методы статистического приемочного контроля и статистического контроля процессов (другими словами, статистического регулирования технологических процессов) [18, с.271-274]. В качестве одного из четырех основных методов определения показателей качества продукции указан экспертный метод [18, с.275]. Экспертные методы предлагается использовать и при построении причинно-следственной диаграммы (диаграммы Исикавы) для ранжирования факторов по их значимости и выделении наиболее важных [18, с.276]. Из методов обработки статистических данных разобрана методика анализа качества продукции машиностроения с помощью диаграмм Парето [18, с.277].

   В производственном менеджменте большую роль играют методы принятия решений [18, с.25-28], различные специализированные эконометрические модели, например, модель минимизации сроков выполнения заказов на основе использования сетевого графика со случайными сроками выполнения отдельных работ [18, с.110-112].

   Таким образом, эконометрические методы постоянно используются менеджерами, в том числе контроллерами. Вполне естественно, что ссылки на эти методы являются краткими. Предполагается, что читатели с ними знакомы. Да и странно было бы обсуждать вопросы эконометрики, например, в курсе организации и планирования производства или при рассказе о работе контроллеров в США.

   Однако встанем на позицию специалиста, начинающего изучать и внедрять Контроллинг. Как ему овладеть таким эффективным инструментом контроллинга, как эконометрика? Кратких упоминаний в публикациях по контроллигу или по производственному менеджменту недостаточно. Необходимо обратиться к соответствующей литературе (см., например, [2]). Наблюдается и обратный процесс - в книгах по менеджменту все больше внимания уделяется инструментам менеджмента. Вполне естественно, что методы принятия решений, оптимизации, выборочного контроля и экспертных оценок подробно рассматриваются в учебном пособии по менеджменту в техносфере [20] в качестве отдельных глав.

   Учитывая важность проблемы построения интегральных показателей, обсудим эту тему подробнее.

   В различных управленческих и экономических задачах используются показатели и системы показателей. Например, в теоретических обсуждениях популярен такой показатель, как рентабельность инвестиций (для достижения полной определенности ситуации надо еще фиксировать дисконт-фактор и период рассмотрения). Широко известны развернутые системы показателей, предназначенных для оценки финансово-хозяйственной деятельности предприятий и организаций. Общее число показателей достигает многих десятков, сотен и даже тысяч. Особенно если используется иерархический подход к построению системы показателей (деревья показателей, в иной терминологии - единичные, групповые и обобщенные показатели и др.).

   Как можно применять системы показателей для решения задач менеджмента, в частности, контроллинга? Обычно их используют для сравнения и выбора объектов (например, проектов, образцов продукции, предприятий) между собой. Требуется установить, какой объект лучше, какой хуже, упорядочить их между собой. Отсюда ясно, что сама по себе система показателей носят вспомогательный характер. Это - инструмент для решения задач сравнения и выбора.

   Есть два основных подхода к упорядочению объектов на основе системы показателей. Первый из них основан на построении некоего обобщенного (интегрального) показателя. В простейшем случае строится линейная комбинация значений показателей, коэффициенты при этом оцениваются экспертно. Во втором подходе используют более изощренную технику многокритериальной оптимизации, в частности, оптимизации по Парето.

   Оба подхода предполагают начальный этап - возможно большее сокращение числа показателей при минимально возможной потере содержащейся в них информации. После исключения дублирующих (функционально связанных) показателей целесообразно провести кластер-анализ [2] остальных с целью выделения групп однородных показателей, а в них - показателей, которые будут представлять однородные группы. Связь между показателями естественно оценивать по статистическим данным с помощью, например, коэффициентов ранговой корреляции Кендалла или Спирмена. А кластер-анализ проводить методом k-средних, в качестве представителя группы брать легко вычисляемый показатель, расположенный вблизи центра группы. Число групп - до нескольких десятков.

   Популярный подход на основе построения некоего обобщенного показателя, особенно когда строится линейная комбинация значений показателей, а коэффициенты при них оцениваются экспертно, плох тем, что, как правило, эксперты не в состоянии оценить коэффициенты достаточно точно. Разброс их значений недопустимо велик. Так, при оценке технологий уничтожения химического оружия разброс оценок американских экспертов составлял десятки процентов, что делало абсолютно бесполезной разработанную ими систему из 120 показателей. Причина описанного явления состоит в том, что человеку свойственно отвечать на вопросы качественного характера (типа: какой проект привлекательнее), чем на вопросы количественного характера (типа: во сколько раз привлекательнее, или - укажите коэффициенты при показателях). Гораздо точнее коэффициенты оцениваются с помощью экспертно-статистического метода, основанного на предварительном непосредственном сравнении (оценке) некоторого количества объектов с помощью высококвалифицированных экспертов.

   Другой недостаток первого подхода (на основе построения некоего обобщенного показателя), когда строится линейная комбинация значений единичных показателей, а коэффициенты при них оцениваются экспертно, состоит в том, что для анализа данных, измеренных в порядковой шкале, нельзя использовать средние арифметические и вообще операцию сложения. Применять надо медианы. В крайнем случае - медианы и средние арифметические, а затем результаты согласовывать, как это описано в [2].

   Во втором подходе используют многокритериальную оптимизацию, когда каждый параметр рассматривается как критерий. Первый шаг - оптимизация по Парето, т.е. отбрасывание вариантов, проигрывающих другим. Затем идет тщательный анализ оставшихся вариантов, сравнение их различными способами. Целесообразно применять выводы, полученные при использовании различных способов (устойчивые по отношению к способу обработки). При анализе системы показателей и сравнении объектов необходимо использовать различные экспертные методы.

   Как строить интегральные показатели? Кроме взвешенной суммы значений единичных показателей, есть много иных способов. Опишем их.

   Пусть Х₁, Х₂,..., Х_К - частные (или групповые) числовые показатели. Пусть каждому из них приписан вес - А₁, А₂, ..., А_К соответственно, отражающий их относительную важность (оцененную экспертами или иным способом). Весовые коэффициенты неотрицательны и в сумме составляют 1.

   Взвешенные агрегированные показатели можно определить следующим единообразным способом.

   Введем (чисто формально) распределение вероятностей, приписывающее каждому значению Х_М, М=1,2,...,К, вероятность А_М. Для этого распределения обычным образом определим такие характеристики, как математическое ожидание, медиана, начальные моменты, мода и т.д., которые и будем использовать в качестве взвешенных агрегированных показателей или при их расчете.

   При этом математическое ожидание дает взвешенное среднее арифметическое, медиана - взвешенную медиану (в частном случае, когда одна из ступенек функции распределения приходится на высоту 0,5, целесообразно ввести понятия левой и правой медиан - т.е. левого и правого концов указанной ступеньки соответственно).

   Начальный момент р-го порядка после извлечения корня р-ой степени дает взвешенное степенное. Аналогичным образом получаем обобщенное среднее по Колмогорову общего вида [2].

   Мода указывает на значение наиболее важного показателя.

   В соответствии с методологией устойчивости результатов обработки данных [2] при анализе конкретной ситуации целесообразно одновременно использовать несколько обобщенных показателей, например, взвешенную медиану и взвешенное среднее арифметическое. Хотя согласно теории измерений использование среднего арифметического некорректно, в отличие от применения медианы в качестве интегрального показателя, но расчет среднего арифметического имеет давние традиции [18]. Поэтому в эконометрике [2] разработана процедура построения итогового упорядочения объектов в два этапа. На первом этапе строятся два упорядочения - по средним арифметическим ответов экспертов и по медианам. На втором этапе рассчитывается упорядочение, согласующее эти два упорядочения.

   Требования к профессиональной подготовке специалистов по контроллингу включают, в частности, требования к интеллектуальным инструментам, которыми должны владеть контроллеры. Одним из таких инструментов является эконометрика. В статье [1] сделана попытка раскрыть содержание понятия "эконометрическая поддержка контроллинга".

   В настоящее время эконометрика вызывает большой интерес у научных работников и преподавателей. Так, выпускаемое нами с июля 2000 г. еженедельное компьютерное издание "Эконометрика" имеет более 800 подписчиков.

   Организация обучения, в частности, составление учебных планов, программ, методических материалов и учебников, предполагает обсуждение объема и содержания соответствующей учебной дисциплины. В соответствии с цитированным выше определением Большого Энциклопедического Словаря к эконометрике следует относить математическое программирование, методы теории принятия решений, вообще все экономико-математические методы, кроме тех, которые используются для получения чисто теоретических качественных результатов, типа теорем о существовании магистрали в абстрактных моделях экономической динамики.

   В наиболее распространенных представлениях об эконометрике внимание сосредотачивается на статистических методах и моделях. Именно так построено обучение на факультете "Инженерный бизнес и менеджмент" МГТУ им. Н.Э.Баумана и соответствующий учебник [2]. При этом математическое программирование и ряд иных экономико-математических методов включаются не в курс эконометрики, а в иной курс. Курсы теории вероятностей и математической статистики (как часть общего курса математики), статистики и эконометрики образуют естественную триаду.

   Наконец, иногда эконометрику понимают предельно узко, как дисциплину, посвященную построению статистических моделей частного вида (систем линейных регрессионных и авторегрессионных моделей). На наш взгляд, эти модели являются излишне специальными для включения в систему образования специалистов по контроллингу и вообще управленческого и экономического образования.

   Содержание образования должно соответствовать современному научному уровню и давать знания, методы и навыки, полезные для практической работы. Назрела необходимость пересмотра содержания ряда учебных дисциплин и внесения изменений в соответствующие государственные образовательные стандарты. В частности, необходимо приветствовать введение дисциплины "Эконометрика" в ряд государственных образовательных стандартов по управленческим и экономическим дисциплинам. Однако содержание приведенных в них минимальных требований целесообразно привести в соответствие с реально читаемым курсом эконометрики.

   Курс "Теория вероятностей и математическая статистика" образует естественную основу эконометрики. Однако его необходимо привести в соответствие с современными требованиями. В частности, необходимо рассматривать понятия случайных элементов со значениями в произвольных пространствах, эмпирических и теоретических средних в таких пространствах, доказывать законы больших чисел в общих постановках. Необходимо исключить из программы методы, опирающиеся на те предположения, которые не выполняются в конкретных экономических ситуациях. В частности, исключить одновыборочный и двухвыборочный критерии Стьюдента и заменить их на соответствующие непараметрические критерии.

   Как преподавание контроллинга, так и преподавание эконометрики находятся в стадии становления. Нет опыта десятилетий. Необходимо отработать наиболее целесообразные формы преподавания. В частности, курс эконометрики может быть разбит на стадии. Первая стадия, как это и реализуется в настоящее время, должна следовать за курсами теории вероятностей и математической статистики (как части общего курса математики) и статистики, завершая фундаментальное образование по своему направлению. Ее место - третий год дневного обучения. Однако в конце обучения, на 10-м или 11-м семестре, представляется полезным иметь эконометрический курс прикладной направленности, нацеленный на применение эконометрических методов в задачах прогнозирования, планирования, контроля, анализа внутренних и внешних рисков, принятия решений и др.

   Актуальной является проблема разработки учебно-методической литературы, лабораторных работ по эконометрике, обмен опытом преподавания и научных исследований. Отметим, что подавляющее большинство эконометрических методов могут быть успешно применены не только в контроллинге, менеджменте и экономике. Они могут быть использованы в технических, медицинских, геологических, социологических, исторических и иных социально-экономических исследованиях, практически в любой научной дисциплине и прикладной области. В частности, большой опыт накоплен за последние сорок лет секцией "Математические методы исследования" научно-технического журнала "Заводская лаборатория" (главный редактор - академик РАН Н.П.Лякишев). Опубликовано более тысячи статей по прикладной статистике и другим статистическим методам. На основе этого опыта целесообразно приступить к обучению основам современных статистических методов и эконометрики студентов технических специальностей.

   Поскольку контроллинг опирается на использование информационных систем управления предприятиями, то эконометрические программные продукты должны быть неотъемлемой составной частью таких систем [21].

   Свободное владение такими инструментами контроллинга, как эконометрика, - признак профессионализма контроллера.

   Однако из сказанного выше ясно, что эконометрика - дисциплина на стыке менеджмента и экономики, с одной стороны, прикладной математики и компьютерных наук, с другой стороны. Следовательно, специалист в области эконометрики должен владеть как организационно-экономическими, так и математическими знаниями, умениями, навыками, способностями. Нельзя требовать от каждого контроллера, чтобы он был специалистом в области эконометрики. Но внутри каждого достаточно крупного подразделения контроллинга целесообразно иметь такого специалиста.

   1. Орлов А.И. Эконометрическая поддержка контроллинга // Контроллинг. - 2002. - No.1. - С.42-53.

   2. Орлов А.И. Эконометрика. Учебник для вузов. Изд. 2-е, исправленное и дополненное. - М.: Изд-во "Экзамен", 2003. - 576 с.

   3. Большой Энциклопедический Словарь. - М.: Изд-во "Большая Российская Энциклопедия", 1997.

   4. Долан Э.Дж., Линдсей Д.Е. Рынок: микроэкономическая модель. - СПб: СП "Автокомп", 1992. - 496 с.

   5. Фалько С.Г., Рассел К.А. Левин Л.Ф. Контроллинг: национальные особенности - российский и американский опыт // Контроллинг. - 2002. - No.1. - С.2-8.

   6. Токаренко Г.С. Согласование целей предприятия за счет собственных и заемных источников финансирования // Контроллинг. - 2002. - No.3. - С.22-26.

   7. Данилочкина Н.Г. Контроллинг как интегрированная функция управления // Контроллинг. - 2002. - No.1. - С.10-17.

   8. Ряховская О.Н. Метод номинальной группы для планирования продуктовой программы предприятия // Контроллинг. - 2002. - No.2. - С.48-52.

   9. Васильева Г.А. Показатели оценки эффективности работы подразделения контроллинга // Контроллинг. - 2002. - No.2. - С.54-56.

   10. Дедов О.А. Управление экономической адаптацией промышленного предприятия. - Екатеринбург: Институт экономики УрО РАН, 2002. - Рецензия Н.Ю.Ивановой // Контроллинг. - 2003. - No. 1(5). - С.79.

   11. Дедов О.А. Исчисление частных и интегральных показателей по уровням управления предприятием // Контроллинг. - 2002. - No.3. - С.28-31.

   12. Марущенко В.В. Организация поэтапного проведения реинжиниринга бизнес-процессов и управления качеством в Университете // Контроллинг. - 2002. - No.2. - С.26-32.

   13. Орлова Л.А. Эконометрика на промышленном предприятии // Российское предпринимательство. - 2003. - No.3. - С.79-84.

   14. Цели и принципы стандартизации. / Под ред. Т. Сандерса. - М.: Изд-во стандартов, 1974. - 132 с.

   15. Всеобщее управление качеством: Учебник для вузов / О.П. Глудкин, Н.М. Горбунов, А.И. Гуров, Ю.В. Зорин: под ред. О.П. Глудкина. - М.: Горячая линия - Телеком, 2001. - 600 с.

   16. Орлов А.И. Сертификация и статистические методы (обобщающая статья). - Журнал "Заводская лаборатория". 1997. Т.63. No.3. С. 55-62.

   17. Марущенко В.В., Марущенко А.В. Реинжиниринг бизнес-процессов в Университете: информационное моделирование // Контроллинг. - 2003. - No. 1(5). - С.66-73.

   18. Организация и планирование машиностроительного производства (производственный менеджмент). Учебник / К.А. Грачева, М.К. Захарова, Л.А.Одинцова и др.: Под ред. Ю.В. Скворцова, Л.А.Некрасова. - М.: Высшая школа, 2003. - 470 с.

   19. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.

   20. Орлов А.И., Федосеев В.Н. Менеджмент в техносфере: Учеб. пособие для студ. высш. учеб. заведений. - М.: Издательский центр "Академия", 2003. - 384 с.

   21. Гуськова Е.А., Орлов А.И. Информационные системы управления предприятием в решении задач контроллинга // Контроллинг. - 2003. - No. 1(5). - С.52-59.