Отправляет email-рассылки с помощью сервиса Sendsay

Эконометрика

  Все выпуски  

Эконометрика - выпуск 145


Информационный Канал Subscribe.Ru

Здравствуйте, уважаемые подписчики!

*   *   *   *   *   *   *

   В этом, 145-м выпуске рассылки "Эконометрика" от 3 ноября 2003 года вашему вниманию предлагается статья "Статистические методы и модели в социально-экономических исследованиях (тридцать лет спустя)", предназначенная для специалистов по математическому моделированию социальных процессов и написанная по следам Второго Всероссийского социологического конгресса. Далее помещены материалы курса "Основы экономики", прочитанного несколько раз в 1993-1995 гг. в Московском государственном институте электроники и математики (техническом университете). Именно тогда были заложены основы преподавания эконометрики, позже позволившие составить учебник "Эконометрика" А.И.Орлова, который не раз рассматривался в рассылке. В конце помещены программы недавно прочитанных курсов "Маркетинговые исследования" и "Эконометрика-2". Завершает выпуск заметка "Ложь о доходах", написанная по следам дискуссии на секции математического моделирования социальных процессов Второго Всероссийского социологического конгресса.

   Все вышедшие выпуски Вы можете посмотреть в Архиве рассылки по адресу http://www.subscribe.ru/archive/science.humanity.econometrika.

*   *   *   *   *   *   *

Статистические методы
и модели в социально-экономических исследованиях
(тридцать лет спустя)

   Выборочные исследования – один из основных инструментов социологов. Для переноса выводов с выборки на всю интересующую исследователя совокупность необходимо использовать вероятностно-статистические методы и модели. Уже в 1970-х годах в нашей стране активно разрабатывались математические и статистические методы анализа данных социологических опросов (см., например, сборники [1, 2]). Отметим, что работы тех уже далеких лет, как правило, отнюдь не устарели и по-прежнему представляют интерес для специалистов по анализу социологических данных и математическому моделированию социальных процессов. Однако за тридцать прошедших лет в некоторых направлениях удалось продвинуться. Статья посвящена обсуждению развития статистических методов и моделей за тридцать лет (1974-2003).

   Зачем социологу журнал "Заводская лаборатория"? Одни и те же статистические методы и модели могут с успехом применяться в самых разных областях науки и практики. Статистические методы и модели весьма эффективны в социологических, социально-экономических, управленческих, технических и технико-экономических исследованиях, медицине, истории, практически в любой прикладной отрасли и области знания. Очевидна связь между исследованиями, выполненными в рамках различных дисциплин. Например, на Втором Всероссийском социологическом конгрессе активно обсуждалась такая традиционно экономическая тематика, как маркетинговые и инновационные исследования.

   Однако вполне естественным является желание "замкнуться" внутри своей предметной области. Например, довольно странным выглядело бы предложение о преподавании на социологическом факультете в соответствии с учебником по эконометрике [3]. Удивление значительно возросло бы при констатации того, что этот учебник составлен в основном из статей, опубликованных в журнале "Заводская лаборатория" (в прошлом – орган Министерства черной металлургии). Действительно, есть ли что-либо общее у инженера-металлурга, менеджера, экономиста и социолога? Необходимо известное интеллектуальное развитие, чтобы понять, что все эти специалисты могут использовать одни и те же инструменты исследования – статистические методы и модели.

   Основное событие последних тридцати лет – это становление научно-практической дисциплины "прикладная статистика", посвященной разработке и применению статистических методов и моделей.

   Появление прикладной статистики. В нашей стране термин "прикладная статистика" вошел в широкое употребление в 1981 г. после выхода массовым тиражом (33940 экз.) сборника "Современные проблемы кибернетики (прикладная статистика)". В этом сборнике обосновывалась трехкомпонентная структура прикладной статистики [4]. Во-первых, в нее входят ориентированные на прикладную деятельность статистические методы анализа данных (эту область можно назвать прикладной математической статисткой и включать также и в прикладную математику). Однако прикладную статистику нельзя целиком относить к математике. Она включает в себя две внематематические области. Во-первых, методологию организации статистического исследования: как планировать исследование, как собирать данные, как подготавливать данные к обработке, как представлять результаты. Во-вторых, организацию компьютерной обработки данных, в том числе разработку и использование баз данных и электронных таблиц, статистических программных продуктов, например, диалоговых систем анализа данных. В нашей стране термин "прикладная статистика" использовался и ранее 1981 г., но лишь внутри сравнительно небольших и замкнутых групп специалистов [4].

   Прикладная статистика и математическая статистика – это две разные научные дисциплины. Различие четко проявляется и при преподавании. Курс математической статистики состоит в основном из доказательств теорем, как и соответствующие учебные пособия. В курсах прикладной статистики основное - методология анализа данных и алгоритмы расчетов, а теоремы приводятся для обоснования этих алгоритмов, доказательства же, как правило, опускаются (их можно найти в научной литературе).

   Структура современной статистики. Внутренняя структура статистики как науки была выявлена и обоснована при создании в 1990 г. Всесоюзной статистической ассоциации [5]. Прикладная статистика - методическая дисциплина, являющаяся центром статистики. При применении методов прикладной статистики к конкретным областям знаний и отраслям народного хозяйства получаем научно-практические дисциплины типа "статистика в промышленности", "статистика в медицине" и др. С этой точки зрения эконометрика - это "статистические методы в экономике" [3]. Математическая статистика играет роль математического фундамента для прикладной статистики.

   К настоящему времени очевидно четко выраженное размежевание этих двух научных направлений. Математическая статистика исходит из сформулированных в 1930-50 гг. постановок математических задач, происхождение которых связано с анализом статистических данных. Начиная с 70-х годов ХХ в. исследования по математической статистике посвящены обобщению и дальнейшему математическому изучению этих задач. Поток новых математических результатов (теорем) не ослабевает, но новые практические рекомендации по обработке статистических данных при этом не появляются. Можно сказать, что математическая статистика как научное направление замкнулась внутри себя.

   Научное направление и сам термин "прикладная статистика" возникли как реакция на описанную выше тенденцию. Прикладная статистика нацелена на решение реальных задач. Поэтому в ней возникают новые постановки математических задач анализа статистических данных, развиваются и обосновываются новые методы. Обоснование часто проводится математическими методами, т.е. путем доказательства теорем. Большую роль играет методологическая составляющая - как именно ставить задачи, какие предположения принять с целью дальнейшего математического изучения. Велика роль современных информационных технологий, в частности, компьютерного эксперимента.

   Рассматриваемое соотношение математической и прикладной статистик отнюдь не являются исключением. Как правило, математические дисциплины проходят в своем развитии ряд этапов. Вначале в какой-либо прикладной области возникает необходимость в применении математических методов и накапливаются соответствующие эмпирические приемы (для геометрии это - "измерение земли", т.е. землемерие, в Древнем Египте). Затем возникает математическая дисциплина со своей аксиоматикой (для геометрии это - время Евклида). Затем идет внутриматематическое развитие и преподавание (считается, что большинство результатов элементарной геометрии получено учителями гимназий в XIX в.). При этом на запросы исходной прикладной области перестают обращать внимание, и та порождает новые научные дисциплины (сейчас "измерением земли" занимается не геометрия, а геодезия и картография). Затем научный интерес к исходной дисциплине иссякает, но преподавание по традиции продолжается (элементарная геометрия до сих пор изучается в средней школе, хотя трудно понять, в каких практических задачах может понадобиться, например, теорема о том, что высоты треугольника пересекаются в одной точке). Следующий этап - окончательное вытеснение дисциплины из реальной жизни в историю науки (объем преподавания элементарной геометрии в настоящее время постепенно сокращается, в частности, ей все меньше уделяется внимания на вступительных экзаменах в вузах). К интеллектуальным дисциплинам, закончившим свой жизненный путь, относится средневековая схоластика. Как справедливо отмечает проф. МГУ им. М.В. Ломоносова В.Н. Тутубалин [6], теория вероятностей и математическая статистика успешно двигаются по ее пути - вслед за элементарной геометрией.

   Статистические данные собираются и анализируются с незапамятных времен (см., например, Книгу Чисел в Ветхом Завете). Однако современная математическая статистика была создана сравнительно недавно - в первой половине ХХ в. Именно тогда были разработаны ее основные идеи, получены результаты, излагаемые ныне в курсах математической статистики. Затем математики занялись внутриматематическими проблемами, а для теоретического обслуживания практики анализа статистических данных стала формироваться новая дисциплина - прикладная статистика.

   Статистика объектов нечисловой природы как часть прикладной статистики. Согласно общепринятой в настоящее время классификации статистических методов прикладная статистика делится начетыре области:

  • статистика (числовых) случайных величин;
  • многомерный статистический анализ;
  • статистика временных рядов и случайных процессов;
  • статистика объектов нечисловой природы.

   Первые три из этих областей являются классическими. Они были хорошо известны еще в первой половине ХХ в. Остановимся на четвертой, сравнительно недавно вошедшей в массовое сознание специалистов. Ее именуют также статистикой нечисловых данных или попросту нечисловой статистикой. Анализ динамики развития прикладной статистики приводит к выводу, что в XXI в. она станет центральной областью прикладной статистики, поскольку содержит наиболее общие подходы и результаты.

   Исходный объект в прикладной математической статистике - это выборка. В классической математической статистике элементы выборки - это числа. В многомерном статистическом анализе - вектора. А в нечисловой статистике элементы выборки - это объекты нечисловой природы, которые нельзя складывать и умножать на числа. Другими словами, объекты нечисловой природы лежат в пространствах, не имеющих векторной структуры. Примерами объектов нечисловой природы являются:

  • значения качественных признаков, т.е. результаты кодировки объектов (например, ответов на вопросы социологической анкеты) с помощью заданного перечня категорий (градаций);
  • упорядочения (ранжировки), классификации, толерантности,
  • результаты парных сравнений, т.е. последовательности из 0 и 1;
  • множества (обычные или нечеткие),
  • слова, предложения, тексты;
  • вектора, координаты которых - совокупность значений разнотипных признаков, часть из них носит качественный характер, а часть - количественный;
  • ответы на вопросы экспертной, маркетинговой или социологической анкеты, часть из которых носит количественный характер (возможно, интервальный), часть сводится к выбору одной из нескольких подсказок, а часть представляет собой тексты; и т.д.

   В течение 1970-х годов на основе запросов социологии [7], экономики, техники и медицины развивались конкретные направления статистики объектов нечисловой природы. Были установлены связи между конкретными видами таких объектов, разработаны для них вероятностные модели. Научные итоги этого периода подведены в монографии [8].

   Следующий этап - выделение статистики объектов нечисловой природы в качестве самостоятельного направления в прикладной статистике, ядром которого являются методы статистического анализа данных произвольной природы. Программа развития этого нового научного направления впервые была сформулирована в статье [9]. Реализация этой программы была осуществлена в 1980-е годы. Для работ этого периода характерна сосредоточенность на внутренних проблемах нечисловой статистики. Предварительные итоги были подведены в подготовленном вместе с социологами сборнике научных статей [10], полностью посвященном нечисловой статистике.

   К 1990-м годам статистика объектов нечисловой природы с теоретической точки зрения была достаточно хорошо развита, основные идеи, подходы и методы были разработаны и изучены математически, в частности, доказано достаточно много теорем. Наступило время перейти к применению полученных результатов на практике.

   Непараметрическая статистика. Из многих "точек роста" прикладной статистики [3] отметим непараметрическую статистику. В первой трети ХХ в. в работах Спирмена и Кендалла появились первые непараметрические методы, основанные на коэффициентах ранговой корреляции. Но непараметрика, не делающая нереалистических предположений о том, что функции распределения результатов наблюдений принадлежат тем или иным параметрическим семействам распределений, стала заметной частью статистики лишь со второй трети ХХ века, после работ А.Н.Колмогорова и Н.В.Смирнова. После второй мировой войны развитие непараметрической статистики пошло быстрыми темпами. К настоящему времени с помощью непараметрических методов можно решать практически тот же круг статистических задач, что и с помощью параметрических. Все большую роль играют непараметрические оценки плотности, непараметрические методы регрессии и распознавания образов (дискриминантного анализа). В нашей стране непараметрические методы получили достаточно большую известность после выхода в 1965 г. сборника статистических таблиц Л.Н. Большева и Н.В.Смирнова [11], содержащего подробные таблицы для основных непараметрических критериев.

   Тем не менее параметрические методы всё еще популярнее непараметрических. Неоднократно публиковались экспериментальные данные, показывающие, что распределения реально наблюдаемых случайных величин, в частности, ошибок измерения, в подавляющем большинстве случаев отличны от нормальных (гауссовских). Тем не менее теоретики продолжают строить и изучать статистические модели, основанные на гауссовости, а практики - применять подобные методы и модели.

Литература

   1. Методы современной математики и логики в социологических исследованиях. - М.: Институт социологических исследований АН СССР, 1977.

   2. Математические методы и модели в социологии. - М.: Институт социологических исследований АН СССР, 1977.

   3. Орлов А.И. Эконометрика. - М.: Экзамен, 2002 (1-е изд.), 2003 (2-е изд.).

   4. Современные проблемы кибернетики (прикладная статистика). - М.: Знание, 1981.

   5. Орлов А.И. О перестройке статистической науки и её применений. / Вестник статистики. 1990. № 1. С.65 - 71.

   6. Тутубалин В.Н. Границы применимости (вероятностно-статистические методы и их возможности). - М.: Знание, 1977.

   7. Орлов А.И. Статистика объектов нечисловой природы и обработка социологических данных. - В сб.: Математические методы в социологическом исследовании. - М.: Наука, 1981, с.67-75.

   8. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979.

   9. Орлов А.И. Статистика объектов нечисловой природы и экспертные оценки. - В сб.: Экспертные оценки. Вопросы кибернетики. Вып.58. - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1979.

   10. Анализ нечисловой информации в социологических исследованиях. / Под ред. В.Г. Андреенкова, А.И.Орлова, Ю.Н. Толстовой. - М.: Наука, 1985.

   11. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1965 (1-е изд.), 1968 (2-е изд.), 1983 (3-е изд.).

А.И.Орлов, профессор
(Московский государственный
технический университет
им. Н.Э. Баумана)

*   *   *   *   *   *   *

Курс "Основы экономики"

Первый и второй семестры 1993/94 уч.года.
Программа экзамена для студентов первого курса. Экзаменационные вопросы по лекционному материалу

   1. Определение экономической теории (по П.Самуэльсону). Микроэкономика и макроэкономика. Экономика и другие науки. Математические модели в экономике и эконометрика.

   2. Современное производство. Капитал. Разделение труда и специализация. Этапы жизненного цикла продукции по международному стандарту ИСО 9004-87.

   3. Коренные экономические проблемы: ЧТО, КАК И ДЛЯ КОГО производить. Их решение в основных типах экономических систем: традиционной; административно-командной, плановой, централизованной; конкурентной, рыночной, децентрализованной. Виды экономических решений: традиционные, централизованные, децентрализованные.

   4. Множество производственных (технологических) возможностей, его свойства. Закон возрастания дополнительных затрат, его математическая формулировка.

   5. Закон убывающей доходности, его математическая формулировка. Закон масштаба и нововведений. Оценка минимального годового оборота фирмы.

   6. Население как основа всякого хозяйства. Математическая модель распределения усилий общества между производством товаров и услуг и воспроизводством.

   7. Основные виды предприятий: единоличные, полные товарищества, товарищества с ограниченной ответственностью, акционерные общества открытого и закрытого типов; предприятия, находящиеся в собственности государства, муниципальных органов и общественных организаций.

   8. Управление предприятиями различных видов. Привилегированные и обыкновенные акции. Управление и собственность. Использование, распоряжение и владение собственностью. "Революция менеджеров". Аренда предприятий. Приватизация.

   9. Деньги, их роль в организации обмена товарами и услугами. Различные виды денег. Функции денег.

   10. Организация торгово-промышленной деятельности. Понятие юридического лица. Договора между предприятиями (на примере договоров о создании научно-технической продукции). Взаимоотношения с банками. Платежные поручения. Налоги и налоговая инспекция. Роль законодательства и судебной системы в функционировании рыночной экономики.

   11. Управление предприятием. Маркетинг: изучение рынка, реклама, сбыт (включая управление запасами). Управление производством, взаимоотношения инженера и экономиста. Управление финансами. Управление кадрами. Кодекс Законов о Труде Российской Федерации (КЗоТ). Мотивы поведения и потребности человека. Трудовые традиции народов.

   12. Оптимальное управление производством: модель динамического программирования с конечным числом состояний. Оптимальные планы (на численном примере), доказательство их существования. Теорема о существовании асимптотически оптимального плана, вид такого плана в модели динамического программирования. Теорема о магистрали.

   13. Эконометрические методы оценки инфляции. Средняя цена и разброс цен. Индекс роста цены товара. Изменение потребления с ростом цен. Взвешивание индексов по отдельным товарам. Потребительская корзина как способ агрегирования индексов роста цен по отдельным товарам. Индекс инфляции, теорема о совпадении результатов при двух способах его вычисления.

   14. Минимальный физиологически необходимый набор продовольственных товаров, разработанный Институтом питания Российской академии медицинских наук, и соответствующий индекс инфляции. Расчет индекса инфляции за несколько периодов по индексам за отдельные периоды, допускаемые при этом ошибки в публикациях по индексам инфляции.

   15. Кривая спроса и кривая предложения. Равновесная цена. Паутинообразная модель. Экспериментальное определение кривой спроса и кривой предложения.

   16. Понятие эластичности. Максимизация доходов и прибыли в условиях монополии на основе кривой спроса, в том числе по экспериментальным данным. Механизм валютной биржи. Результаты контроля над ценами.

   17. Сравнение плановой и рыночной экономических систем. Невозможность точных экономических расчетов (оценка предельной мощности ЭВМ). Роль неопределенности в экономической жизни. Реальные недостатки функционирования плановой экономики в СССР.

   18. Экономическое положение России (по докладу Отделения экономики Российской академии наук). Проблемы перехода к рыночной экономике в России. Что надо было сделать и что сделано. Механизм инфляции в России (1991-1993), динамика индекса инфляции.

   19. Функция полезности. Шкалы измерений: наименований, порядковая, интервальная, отношений, абсолютная. Требование адекватности алгоритмов.

   20. Доходы населения. Источники личных доходов. Индивидуальный, семейный, среднедушевой доход. Понятие семьи (домохозяйства). Доходы от домашнего хозяйства и домашней работы. Распределение доходов. Оценивание по выборке и закон больших чисел.

   21. Показатели неравенства доходов населения, кривая Лоренца, децильный коэффициент, коэффициент Джини.

   22. Бюджет семьи. Доходы и налоги: прогрессивные, регрессивные и др. Бюджетные обследования. Зависимость спроса от дохода для различных видов товаров. Закон Энгеля.

   23. Теория предельной полезности. Функции полезности (в порядковой шкале и в количественных шкалах). Поверхности и кривые безразличия. Предельные полезности. Условие потребительского равновесия: касание бюджетной плоскости и поверхности безразличия (пропорциональность предельных полезностей и цен).

   24. Экономическое описание деятельности фирмы (по П.Самуэльсону). Понятие о балансе фирмы. Активы и пассивы. Различные способы расчета амортизационных отчислений. Балансовая стоимость здания и его рыночная стоимость. Условный характер балансовой прибыли.

   25. Счет результатов. Его использование: деньги на банковском счету + обязательства нам - наши обязательства = сумма в реальном распоряжении. Собственные средства акционерного общества. Неосязаемые активы. Цена фирмы.

   26. Валовой национальный продукт: рыночная стоимость всех конечных товаров и услуг, произведенных в течение года, расходы для производства конечной продукции. Добавленная стоимость. Составляющие ВНП: потребительские расходы, инвестиции частных компаний, государственные закупки, чистый экспорт. Трансфертные платежи.

   27. Валовой национальный продукт, чистый национальный продукт, национальный доход, личные доходы в США (по П.Самуэльсону и реферату-дайджесту К.Р.Макконнелла и С.Л.Брю). Неточности в определении ВНП: неучет личного натурального хозяйства, неточности в определении амортизации, теневая экономика (без выплаты налогов государству), хищения, бесплатные обеды и др. Точность расчетов - 5-10 % (по О.Моргенштерну).

   28. Статистический приемочный контроль. Экономическая эффективность статистического контроля: 4 миллиарда долларов США в 1958 г.(19,5 миллиарда долларов в ценах 1994 г.),т.е. 0,8% ВНП. На контрольные операции падает 10% затрат стоимости машиностроительной продукции, теория статконтроля позволяет сократить эти затраты вдвое. Необходимость выборочного контроля: при разрушающем контроле, из экономических соображений. Две модели выборки: биномиальная и гипергеометрическая, их близость, когда объем партии по крайней мере в 10 раз превышает объем выборки.

   29. Планы статистического приемочного контроля и правила принятия решений. Оперативная характеристика плана статистического приемочного контроля. Приемочный и браковочный уровни дефектности, риски поставщика и потребителя.

   30. Предел среднего выходного уровня дефектности. Изменение оперативной характеристики одноступенчатого плана контроля при изменении параметров плана. Парадокс: чем ниже дефектность, лучше качество, тем строже контроль и больше его объем. Когда переходить от контроля у поставщика к замене дефектных изделий у потребителей?

   31. Понятие о социологических опросах. Проведение маркетинговых (социологических) опросов. Анкета опроса. Формулировки вопросов. Организация опросов. Вероятностная теория выборочного опроса. Базы данных и частотные таблицы. Центральная Предельная Теорема теории вероятностей и её применение при анализе социологических данных. Оценивание вероятности определенного ответа, доверительные интервалы. Сравнение групп - критерий однородности двух выборок. Асимптотические формулы и таблицы ВЦИОМ для практического использования.

   32. Теория статистического приемочного контроля при большом объеме выборки. Применение Центральной предельной теоремы для оценивания доли дефектных единиц продукции и для приближения оперативной характеристики.

   33. Асимптотические формулы для приемочного и браковочного уровней дефектности в случае одноступенчатого плана. Теорема о возможности приближения к идеальному плану. Основные характеристики одноступенчатого плана контроля и выбор плана.

   34. Блуждания по целочисленной решетке и планы статистического приемочного контроля. Корректируемые планы. Контроль по количественному признаку. Планы контроля в нормативно-технической документации, типичные ошибки. Каталоги планов, выбор планов. Принцип распределения приоритетов. Статистическое регулирование технологических процессов. Карты Шухарта. Статистические методы управления качеством, ошибки в ГОСТах.

   35. Экспертные оценки. Цели работы экспертной комиссии. Сбор информации и голосование. Математические методы анализа экспертных оценок. Бинарные отношения: ранжировки, разбиения (отношения эквивалентности), толерантности. Средние величины и анализ статистических данных в пространствах различной природы.

А.И.Орлов, профессор
(Московский государственный
технический университет
им. Н.Э. Баумана)

*   *   *   *   *   *   *

Курс "Основы экономики"

Программа осеннего семестра для студентов второго курса (группы ММ-31, ММ-22, ММ-23 - менеджмент и маркетинг)

   1. Экономическое положение России (по докладу Отделения экономики Российской академии наук).

   2. Доходы населения. Источники личных доходов. Индивидуальный, семейный, среднедушевой доход. Понятие семьи (домохозяйства). Доходы от домашнего хозяйства и домашней работы. Распределение доходов. Оценивание по выборке и закон больших чисел.

   3. Показатели неравенства, кривая Лоренца, децильный коэффициент, коэффициент Джини.

   4. Бюджет семьи. Доходы и налоги: прогрессивные, регрессивные и др. Бюджетные обследования. Зависимость спроса от дохода для различных видов товаров. Закон Энгеля.

   5. Теория предельной полезности. Функции полезности (в порядковой шкале и в количественных шкалах). Поверхности и кривые безразличия. Предельные полезности. Условие потребительского равновесия: касание бюджетной плоскости и поверхности безразличия (пропорциональность предельных полезностей и цен).

   6. Экономическое описание деятельности фирмы (по П.Самуэльсону). Понятие о балансе фирмы. Активы и пассивы. Счет результатов. Его использование: деньги на банковском счету + обязательства нам – наши обязательства = сумма в реальном распоряжении.

   7. Различные способы расчета амортизационных отчислений. Балансовая стоимость здания и его рыночная стоимость. Условный характер балансовой прибыли. Собственные средства акционерного общества. Неосязаемые активы. Цена фирмы.

   8. Валовой национальный продукт: рыночная стоимость всех конечных товаров и услуг, произведенных в течение года, расходы для производства конечной продукции. Добавленная стоимость.

   9. Составляющие ВНП: потребительские расходы, инвестиции частных компаний, государственные закупки, чистый экспорт. Трансфертные платежи.

   10. Валовой национальный продукт, чистый национальный продукт, национальный доход, личные доходы в США (по П.Самуэльсону и реферату-дайджесту К.Р.Макконнелла и С.Л.Брю). Неточности в определении ВНП: неучет личного натурального хозяйства, неточности в определении амортизации, теневая экономика (без выплаты налогов государству), хищения, бесплатные обеды и др. Точность расчетов - 5-10 % (по О.Моргенштерну).

   11. Статистический приемочный контроль. Экономическая эффективность статистического контроля. Необходимость выборочного контроля: при разрушающем контроле, из экономических соображений. Две модели выборки: биномиальная и гипергеометрическая, условия их близости.

   12. Планы статистического приемочного контроля и правила принятия решений. Оперативная характеристика плана статистического приемочного контроля. Приемочный и браковочный уровни дефектности, риски поставщика и потребителя.

   13. Предел среднего выходного уровня дефектности. Изменение оперативной характеристики одноступенчатого плана контроля при изменении параметров плана.

   14. Парадокс: чем ниже дефектность, лучше качество, тем строже контроль и больше его объем. Когда переходить от контроля у поставщика к замене дефектных изделий у потребителей?

   15. Проведение маркетинговых и социологических опросов. Анкета опроса. Формулировки вопросов. Организация опросов.

   16. Вероятностная теория выборочного опроса. Базы данных и частотные таблицы. Центральная Предельная Теорема теории вероятностей и её применение при анализе социологических данных. Оценивание вероятности определенного ответа, доверительные интервалы.

   17. Сравнение групп - критерий однородности двух выборок. Асимптотические формулы и таблицы ВЦИОМ для практического использования.

   18. Теория статистического приемочного контроля при большом объеме выборки. Применение Центральной предельной теоремы для оценивания доли дефектных единиц продукции и для приближения оперативной характеристики.

   19. Асимптотические формулы для приемочного и браковочного уровней дефектности в случае одноступенчатого плана. Теорема о возможности приближения к идеальному плану. Основные характеристики одноступенчатого плана контроля и выбор плана.

   20. Блуждания по целочисленной решетке и планы статистического приемочного контроля.

   21. Корректируемые планы статистического контроля.

   22. Контроль по количественному признаку. Планы контроля в нормативно-технической документации, типичные ошибки. Каталоги планов, выбор планов.

   23. Принцип распределения приоритетов.

   24. Статистическое регулирование технологических процессов. Карты Шухарта.

   25. Статистические методы управления качеством.

   26. Экспертные оценки. Цели работы экспертной комиссии. Сбор информации и голосование.

   27. Математические методы анализа экспертных оценок. Расстояния в пространствах экспертных оценок.

   28. Средние величины, законы больших чисел и анализ статистических данных в пространствах различной природы.

*   *   *   *   *   *   *

Курс "Основы экономики"

Программа практических занятий на втором семестре.

Раздел "Основы эконометрики"

   1. Детерминированное описание одномерных данных. Результаты наблюдений и их погрешности: точечные и интервальные данные. Построение вариационного ряда. Порядковые статистики.

   2. Размах. Медиана. Эмпирическая функция распределения, её сглаживание кусочно-линейной функцией.

   3. Квантили. Гистограмма. Мода.

   4. Вероятностные модели одномерных данных. Распределение случайной величины, определенной на конечном пространстве элементарных событий. Функция распределения.

   5. Непрерывные распределения (как приближения к дискретным). Плотность распределения. Выражение теоретических моментов через плотность распределения.

   6. Последовательности независимых одинаково распределенных случайных величин. Эмпирическое распределение. Сходимость по вероятности (пример: закон больших чисел). Сходимость эмпирических моментов к теоретическим.

   7. Сходимость эмпирической функции распределения к теоретической- поточечно (теорема Бернулли) и равномерно (теорема Гливенко).

   8. Непараметрические ядерные оценки плотности распределения.

   9. Математическое ожидание выборочной дисперсии.

   10. Состоятельные оценки. Состоятельность среднего арифметического как оценки математического ожидания.

   11. Способы сравнения оценок. Средний квадрат отклонения. Сравнение двух алгоритмов вычисления выборочной дисперсии по точности вычислений.

   12. Случайные величины со значениями в произвольных пространствах, соответствующие выборки, выборочные распределения, статистики. Примеры: конечные случайные множества, случайные величины со значениями в порядковой шкале (качественные признаки, дискретное множество градаций), в множестве бинарных отношений.

   13. Основные шкалы измерения: наименований, порядковая, интервальная, отношений, абсолютная. Понятие устойчивости результата сравнения.

   14. Основные виды средних. Определение средней величины по Коши.

   15. Теорема о характеризации средних величин с помощью шкал измерения и условия устойчивости результата сравнения при допустимых преобразованиях шкалы (порядковая шкала).

   16. Теорема о характеризации средних величин с помощью шкал измерения и условия устойчивости результата сравнения при допустимых преобразованиях шкалы (шкала интервалов).

   17. Теорема о характеризации средних величин с помощью шкал измерения и условия устойчивости результата сравнения при допустимых преобразованиях шкалы (шкала отношений).

   18. Условия асимптотической адекватности среднего арифметического в порядковой шкале в вероятностной модели: глобальное неравенство между функциями распределения.

   19. Двумерные случайные величины и двумерные данные. Корреляционное поле (диаграмма рассеивания).

   20. Анализ двумерных данных. Выборочный и теоретический линейные коэффициенты корреляции.

   21. Коэффициент ранговой корреляции Спирмена.

   22. Парная линейная регрессия. Постановка задачи нахождения параметров. Метод наименьших квадратов. Понятие о методе наименьших модулей.

   23. Оценивание коэффициента при линейном члене в парной линейной регрессии методом наименьших квадратов.

   24. Оценивание свободного члена в парной линейной регрессии методом наименьших квадратов.

   25. Коэффициент ранговой корреляции Кендалла.

   26. Средние по Колмогорову и их частные виды: среднее арифметическое, среднее геометрическое, среднее гармоническое, среднее квадратическое.

   27. Математическое ожидание выборочного третьего момента. Несмещенные оценки параметров.

   28. Начальные и центральные моменты.

*   *   *   *   *   *   *

Московский государственный технический университет им. Н.Э.Баумана

Межотраслевой институт повышения квалификации

Маркетинговые исследования

(сентябрь-октябрь 2003 г.)

Вопросы к зачету

   1. Классификация маркетинговых исследований.

   2. Оценивание функции ожидаемого спроса и оптимизация розничной цены.

   3. Необходимость выборочных исследований. Анкетное исследование (на примере маркетингового исследования потребителей растворимого кофе). Различные виды формулировок вопросов (открытый, закрытый, полузакрытый вопросы), их достоинства и недостатки. Биномиальная и гипергеометрическая модели выборки, их близость в случае большого объема генеральной совокупности по сравнению с выборкой.

   4. Асимптотическое распределение выборочной доли (в случае ответов типа "да" - "нет"). Интервальное оценивание доли и метод проверки гипотезы о равенстве долей (на основе теоремы Муавра-Лапласа).

   5. Основы прогнозирования. Как найти ответ на вопрос "Что будет, если …"?

   6. Динамика потребительского поведения в жизненном цикле семьи. Демографические прогнозы и прогнозирование максимального объема рынка потребительских товаров.

   7. Метод наименьших квадратов для линейной прогностической функции. Подход к оцениванию параметров. Критерий правильности расчетов. Оценка остаточной дисперсии. Точечный и интервальный прогноз.

   8. Метод наименьших квадратов для модели, линейной по параметрам. Оценивание коэффициентов многочлена. Случай нескольких независимых переменных (регрессоров). Преобразования переменных.

   9. Модели поведения потребителей и нобелевская премия по экономике 2002 г. Физические потребности и духовные потребности. Предложение порождает спрос (создание новых потребностей). Микроэкономическая теория рационального выбора на основе предпочтений потребителей и полезности. "Пороговый" выбор и задача "о разборчивой невесте".

   10. Примеры процедур экспертного оценивания. Их использование в соревнованиях, при выборе, распределении финансирования. Военный Совет в Филях (1812 год). Метод Дельфи. Мозговой штурм. Экологические экспертизы. Метод сценариев.

   11. Роли лиц, принимающих решения (ЛПР), и специалистов (экспертов) в процедурах принятия решений. Планирование и организация экспертного исследования. Рабочая группа и экспертная комиссия. Основные стадии проведения экспертного исследования. Экономические вопросы проведения экспертного исследования.

   12. Формирование целей экспертного исследования (сбор информации для ЛПР и/или подготовка проекта решения для ЛПР и др.). Роль диссидентов.

   13. Формирование состава экспертной комиссии: методы списков (реестров), "снежного кома", самооценки, взаимооценки. Проблема априорных предпочтений экспертов.

   14. Различные варианты организации экспертного исследования, различающиеся по числу туров (один, несколько, не фиксировано), порядку вовлечения экспертов (одновременно, последовательно), способу учета мнений (с весами, без весов), организации общения экспертов (без общения, заочное, очное с ограничениями ("мозговой штурм", Совет в Филях) или без ограничений).

   15. Основные понятия (репрезентативной) теории измерений. Определения и примеры для шкалы наименований и порядковой шкалы.

   16. Требование устойчивости статистических выводов относительно допустимых преобразований шкал и невозможность использования среднего арифметического в порядковой шкале. Описание средних, результат сравнения которых устойчив в порядковой шкале.

   17. Переход от ответов экспертов в виде упорядочений к таблице рангов. Метод средних (арифметических) рангов и метод медиан как способы усреднения мнений экспертов.

   18. Инфляция как рост цен. Разброс цен и возможная точность определения "рыночной цены". Потребительские корзины. Определение индекса инфляции. Расчет индекса инфляции. Теоремы умножения и сложения для индекса инфляции. Средний индекс (темп) инфляции как среднее геометрическое. Виды инфляции: спроса, издержек, административная.

   19. Применения индекса инфляции. Приведение к сопоставимым ценам. Инфляция в России. Прожиточный минимум. Вклады в банки и кредиты. Курс доллара в сопоставимых ценах. Инфляция и бухгалтерская отчетность. Инфляция и стоимость основных фондов предприятия.

   20. Математическая модель оптимизации интервалов между запусками в производство новых марок продукции. Прогнозирование в нестабильных условиях. Эффект от появления персональных компьютеров. Мобильные телефоны в России. Поиск "точек роста".

А.И.Орлов, профессор
(Московский государственный
технический университет
им. Н.Э. Баумана)

*   *   *   *   *   *   *

Вопросы к зачету по курсу "Эконометрика-2"

(сентябрь-октябрь 2003 г., второе образование МГТУ им. Н.Э.Баумана)

   1. Статистический приемочный контроль - выборочный контроль, основанный на эконометрической теории. Его необходимость и эффективность. Планы контроля по альтернативному признаку. Одноступенчатый контроль. Оперативная характеристика. Риски поставщика и потребителя, приемочный и браковочный уровни дефектности. Расчеты для плана (n,0).

   2. Контроль с разбраковкой. Средний выходной уровень дефектности и его предел (ПСВУД). Расчет ПСВУД для плана (n,0). Выбор плана контроля на основе ПСВУД.

   3. Затраты, связанные с принятием решений при статистическом приемочном контроле. Ограниченные возможности использования экономических показателей при статистическом контроле.

   4. Арбитражная характеристика и принцип распределения приоритетов. Расчет планов контроля поставщика и потребителя на основе принципа распределения приоритетов.

   5. Расчет приемочного и браковочного уровней дефектности для одноступенчатого плана с помощью теоремы Муавра-Лапласа. Выбор одноступенчатого плана контроля по заданным приемочным и браковочным уровням дефектности на основе асимптотических соотношений, вытекающих из теоремы Муавра-Лапласа.

   6. Геометрическая интерпретация результатов контроля и планов контроля при последовательной проверке единиц продукции. Усеченные планы контроля.

   7. Статистические методы обеспечения качества (прикладная статистика, статистический приемочный контроль по альтернативному и количественному признаку, статистическое регулирование технологических процессов (контрольные карты Шухарта и кумулятивных сумм), планирование экспериментов, надежность и испытания).

   8. Эконометрические методы классификации. Триада: построение классификаций - анализ классификаций - использование классификаций. Лемма Неймана-Пирсона и двухкритериальная задача оптимизации в теории классификации.

   9. Непараметрический дискриминантный анализ на основе непараметрических оценок плотности в пространствах произвольной природы.

   10. Линейный дискриминантный анализ (диагностика на два класса с помощью "индексов" - линейных функций от координат).

   11. Чем схожи и чем различаются задачи группировки и кластер-анализа. Агломеративные иерархические алгоритмы ближнего соседа, дальнего соседа и средней связи.

   12. Метод k-средних и проблема остановки алгоритма.

   13. Кластер-анализ признаков. Измерение расстояний между признаками с помощью коэффициентов корреляции.

   14. Проблема обнаружения эффекта (проверки однородности в связанных выборках). Критерий знаков. Критерий проверки равенства 0 математического ожидания.

   15. Критерий типа омега-квадрат для проверки симметрии распределения.

   16. Понятие риска. Классификации рисков. Характеристики рисков.

   17. Оценка и управление рисками.

   18. Динамика основных макроэкономических показателей России.

А.И.Орлов, профессор
(Московский государственный
технический университет
им. Н.Э. Баумана)

*   *   *   *   *   *   *

Ложь о доходах

   Перед вами - отчет аналитической группы "Эксперт-МА", которая завершила подготовку отчетов весенней волны исследовательского проекта "Стиль жизни среднего класса". Как пишут авторы отчета, "проект основан на опросе граждан России, относящихся к нижнему среднему и собственно среднему классу (полевые работы ведет группа Monitoring.ru). К сегодняшнему дню проведено пять волн исследований: начиная весной 2001 года и заканчивая весной 2003 года. Опрос проводится в 20 крупнейших городах России. Всего в опросе участвуют 4000 респондентов.

   Участники проекта: Журнал "Эксперт" - организатор проекта. ROMIR-Monitoring - партнер по проведению "полевой" части исследования и первичной обработке информации. "Дарья" - спонсор осенней исследовательской волны 2001 года. "Адамас" - участник весенней 2001 и осенней 2002 года исследовательских волн. "Центр развития" - участник осенней исследовательской волны 2002 года. "ТЕКС" - участник осенней исследовательской волны 2002 года. "М-видео" - участник осенней исследовательской волны 2002 года. "Ле'туаль" - участник осенней исследовательской волны 2002 года. "Алроса" - участник весенней волны 2003 года. "Мегафон" - участник весенней волны 2003 года."

   Текст отчета следующий.

Социальная стратификация России-2003.

   - Есть 500 тысяч действительно очень богатых, по российским, естественно, меркам семей, чей доход начинается от 50 тысяч долларов в год, а в среднем составляет 90 тысяч долларов в год. Половина этих семей, а может и больше, проживают в Москве, составляя почти 10% столичных домохозяйств и одним своим присутствием обеспечивая первопрестольной сомнительную славу одного из самых дорогих городов Европы.

   - Есть 1.5 миллиона вполне обеспеченных семей, чей годовой доход составляет от 20 до 45 тысяч долларов или от 600 до 1500 долларов в месяц на каждого члена семьи. Можно называть их "верхним средним" классом, а можно и - "нижним верхним". Это уж - кому что больше нравится. А можно и разделить на 500 тысяч семей "нижнего верхнего", с доходом от 1000 до 1500 долларов в месяц на каждого члена семьи и миллион семей "верхнего среднего", с доходом от 600 до 1000 долларов.

   - 3 миллиона семей (6% населения) имеют семейный доход в пределах от 10 до 20 тысяч долларов в год. Это точно российский средний класс.

   - Еще 5 миллионов семей (10% россиян) имеют доход 6-10 тысяч долларов (165-275 долларов в месяц на каждого члена семьи). И это тоже средний класс. Его нижняя часть. Именно средний класс является ключевым потребителем на рынках относительно дорогих товаров длительного пользования и платных услуг.

   - 10 миллионов семей (20% населения страны) имеют доход от 4 до 6 тысяч долларов в год, или 115-165 долларов в месяц на каждого члена семьи. Это - кандидаты в средний класс. Часть из них уже может быть включена в этот социальных слой, часть будет там завтра. Данные исследований показывают, что на многих потребительских рынках именно эта группа стала в 2002-м году ключевым потребителем, перехватив эту роль у среднего класса, потребление которого временно достигло уровня насыщения.

   - 40% россиян, имея семейный доход в пределах от 2.5 до 4 тысяч долларов в год, живут бедно, но это "достойная бедность".

   - 20% населения действительно живут в нищете.

*       *       *

   Только вот этот отчет - ложь.

   То, что это ложь, выявляется при подсчете доходов на основе приводимых фальсификаторами данных и сравнении итога с совокупным доходом всего населения.

   Как сообщает Госкомстат РФ, среднедушевой доход составляет в России около 2800 руб. в месяц на каждого из 144 млн. жителей. Всего около 400 миллиардов руб. в месяц, или 4800 миллиардов руб. в год, что по курсу последних двух лет составляет около 160 миллиардов долларов США в год.

   Теперь займемся расчетом доходов различных прослоек населения (по данным фальсификаторов).

   1. "Очень богатые" 500000 семей со средним доходом 90000 долларов в год – всего 45 миллиардов долларов США в год.

   2. "Вполне обеспеченные" 1,5 миллиона семей, чей годовой доход составляет от 20 до 45 тысяч долларов. Пусть средний доход составляет 30 тысяч долларов. Все вместе имеют 45 миллиардов долларов США в год.

   3. К так называемому "российскому среднему классу" относят 3 миллиона семей (6% населения). Они имеют семейный доход в пределах от 10 до 20 тысяч долларов в год. Средний доход составляет 15 тысяч долларов. Все вместе имеют 45 миллиардов долларов США в год.

   4. Еще 5 миллионов семей (10% россиян) имеют доход 6-10 тысяч долларов в год. Средний доход составляет 8 тысяч долларов. Все вместе имеют 40 миллиардов долларов США в год.

   Остановимся. В четырех рассмотренных прослойках – 20% россиян. Их суммарный доход составляет 45+45+45+40 = 175 миллиардов долларов США в год, т.е. заметно больше, чем суммарный доход всего населения России по данным Госкомстата РФ (160 миллиардов долларов США в год). Уже этого достаточно, чтобы констатировать фальсификацию. Но продолжим.

   5. "Кандидаты в средний класс" - 10 миллионов семей (20% населения страны) -имеют доход от 4 до 6 тысяч долларов в год, или 115-165 долларов в месяц на каждого члена семьи (т.е. семья для фальсификаторов – это 3 человека). Средний доход составляет 5 тысяч долларов. Все вместе имеют 50 миллиардов долларов США в год.

   Напомним, что официальный прожиточный минимум составляет около 100 долларов США в месяц на каждого члена семьи. Какая наглость – относить к "кандидатам в средний класс" всех, чей доход чуть выше прожиточного минимума!

   6. Как пишут фальсификаторы, "40% россиян, имея семейный доход в пределах от 2.5 до 4 тысяч долларов в год, живут бедно, но это "достойная бедность"". Речь идет о 20 миллионах семей. Пусть средний доход составляет 3 тысячи долларов. Все вместе имеют 60 миллиардов долларов США в год.

   7. Как признают фальсификаторы, "20% населения действительно живут в нищете". Речь идет о 10 миллионах семей. Если исходить из среднего душевого дохода в 20 долларов в месяц (минимальный размер оплаты труда), то доход семьи оценивается в 720 долларов в год, всего 7,2 миллиарда долларов в год.

   Итак, общий доход составляет (175+50+60+7,2 = 292,2) миллиардов долларов США в год, т.е. почти в 2 раза (точнее, в 1,83 раза) больше, чем суммарный доход всего населения России по данным Госкомстата РФ (160 миллиардов долларов США в год).

   Сколько же на самом деле богатых?

   По официальным данным Министерства налогов и сборов представили налоговые декларации за 2000 г. на сумму не менее миллиона рублей всего лишь около 35 тысяч человек по всей России. (Напомним, что 2000 г. - последний год обязательного представления деклараций на подобные суммы). А что такое миллион рублей в год? Это по курсу Центрального Банка РФ около 33 тысяч долларов (меньше 3 тысяч долларов в месяц) – несколько выше среднего заработка в США, годовой доход медсестры или учителя. Профессор американского университета или полицейский получают много больше.

   По классификации фальсификаторов семья с годовым доходом в миллион рублей относится к "вполне обеспеченным". Значит, законопослушных (т.е. подающих декларации о доходе) "очень богатых" семей никак не 500000, а заметно меньше 35000. Коэффициент обмана – не менее 15. Даже с учетом того, что декларации подают отнюдь не все - ну не девятнадцать же из двадцати скрывают свои доходы до такой степени...

   Полученная оценка подтверждается многими косвенными уликами. Например, в 2001 г. в Россию было ввезено около 500 "мерседесов". А ведь богатство ассоциируется с роскошной иномаркой...

   Хотя в процентном отношении "вполне обеспеченных и очень богатых" весьма мало, но тем не менее их сотни тысяч, и этого достаточно для создания своей субкультуры, сети магазинов, казино и т.п. Перед Великой Октябрьской социалистической революцией помещиков было около 35 тысяч, и общая численность богачей была примерно такая же, как и сейчас. Средства массовой информации создают многократно преувеличенное представление о численности этого слоя. Потом специалисты частных фирм по анализу предпочтений потребителей (маркетологи), проводя опросы, ищут и не находят "вполне обеспеченных и очень богатых".

   Зачем был создан миф о значительном числе богачей? Во-первых, чтобы утвердить в массовом сознании представление об успехе "реформ". Во-вторых, чтобы внушить мысль о десятке-двух миллионов тех, кто стал "вполне обеспеченным и очень богатым" благодаря реформам. Как следствие, возникает мысль о необходимости общественного договора между бедными и богатыми – нельзя полностью пренебречь интересами 10-15% населения. Если же речь идет не о 15%, а о 0,15% населения, то слой богачей может быстро и бесследно исчезнуть, как это и было 85 лет назад.

А.И.Орлов,
(Московский государственный
технический университет
им. Н.Э. Баумана)

*   *   *   *   *   *   *

   На сайте http://antorlov.euro.ru или его зеркале http://www.newtech.ru/~orlov Вы можете найти:
   1. Макрос Microsoft Word 97/2000/XP "ВерсткаТекстаКнижкой" для создания в Word книжек размером в половину листа, макросы для создания каталогов файлов, извлечения из недр Word красивых значков.
   2. Макрос Microsoft Word 97/2000/XP Конвертор "Число-текст" с поддержкой русского, украинского и английского языков и двух падежей, обладающий также возможностью автоматического обновления вставленных текстовых расшифровок при изменении значений исходных чисел.
   3. Учебник профессора А.И.Орлова по менеджменту.
   4. Статьи А.И.Орлова по актуальным вопросам статистики и экономики.
   5. Лекцию об устройстве ядерных реакторов.
   6. Информацию об Институте высоких статистических технологий, который занимается развитием, изучением и внедрением современных методов анализа технических, экономических, социологических, медицинских данных.

   Страница рассылки - http://antorlov.euro.ru/ivst.htm или http://www.newtech.ru/~orlov/ivst.htm.

   В Москве для работы с сайтом www.newtech.ru/~orlov Вы можете воспользоваться бесплатным демо-доступом компании NewTech. Телефоны: (095)234-94-49, (095)956-37-46. Login: imt или demo. Password: test, Primary DNS: 212.16.0.1, Secondary DNS: 193.232.112.1. Вход под этим логином бесплатный, сеанс связи неограничен. Если Вам отказывают в авторизации, то просто повторите дозвон позже.

   На сайте http://karamurza.chat.ru представлена книга видного современного философа и политолога С.Г.Кара-Мурзы "Опять вопросы вождям", которая является глубоким научным исследованием проблем западного и российского общества. Книга предназначена всем интересующимся политологическими и социологическими проблемами.

   "Устройство файловой системы". "Системный реестр". "Устройство Internet". "Сеть Fidonet". "Система электронной почты". "Кодировки русского языка". "PHP". "Установка нескольких ОС". "Перепрошивка BIOS". "Полезные приемы web-дизайна". "Выслеживание спамеров". Заинтересовало что-нибудь? Тогда посмотрите книгу "Тайны и секреты компьютера" - например, на http://comptain.nm.ru. Или на полках магазинов. Ведь все это - темы ее глав. А стиль книги - как художественная литература. Таких книг вы еще, наверное, не видели - так что вряд ли пожалеете, если ознакомитесь.

   "Disser" - это комплект макросов для Word, упрощающих создание рефератов и курсовых. Готовое оформление, титульный лист, содержание создаются несколькими щелчками мыши. Ввод предельно упрощён благодаря автозамене, расшифровывающей популярные сокращения. Также: настройка недокументированных возможностей, дополнительные шаблоны, сборник полезных советов, методичка "Как написать реферат". Сайт: http://kankowski.narod.ru, зеркало: http://e-town.nm.ru.

   Из книги Максима Калашникова "Битва за Небеса", представленной на сайте http://sw.rus-idea.com, вы узнаете о том, какими должны были стать воздушно-космические силы СССР 2000 года и прочтете о русской авиации 20 века.

Удачи вам и счастья!



http://subscribe.ru/
E-mail: ask@subscribe.ru
Отписаться
Убрать рекламу

В избранное