Отправляет email-рассылки с помощью сервиса Sendsay

Эконометрика

Подписаться Бесплатная «Серебряная» новостная рассылка Подписчиков 937 RSS
←   Апрель 2001   →
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


За последние 60 дней 8 выпусков (3-4 раза в месяц)


Сайт рассылки: http://orlovs.pp.ru/ivst.php
Открыта: 29-06-2000
Адрес автора: science.humanity.econometrika-owner@subscribe.ru

Автор
Орлов А.И.

Статистика

937 подписчиков
0 за неделю
←   Все выпуски   →

Эконометрика - выпуск 39


Служба Рассылок Subscribe.Ru проекта Citycat.Ru

Здравствуйте, уважаемые подписчики!

   Четыре небольшие заметки в этом 39-м выпуске от 23 апреля 2001 года рассказывают о достижениях современной статистической науки, об экологии, сертификации продукции, контроле качества, технологии экспертных оценок.
   Автор материалов рассылки и статей на сайте http://antorlov.chat.ru - профессор А.И.Орлов. Поддержка рассылки осуществляется А.А.Орловым.
   Все вышедшие выпуски Вы можете посмотреть в Архиве рассылки по адресу http://www.subscribe.ru/archive/science.humanity.econometrika.

*      *      *

Современная статистическая наука в России и вопросы международной и национальной стандартизации

   1. Учет и контроль ядерных материалов - весьма важная область научной и практической деятельности. При подробном рассмотрении в ней оказывается много нерешенных проблем. При принятии решений в области учета и контроля ядерных материалов слишком опасно считать эти проблемы не заслуживающими внимания, применять приближенные или эвристические решения, точность которых неизвестна. Проблемы учета и контроля ядерных материалов заслуживают тщательного научного анализа!
   2. Применяемые в области учета и контроля ядерных материалов методы основаны на теории вероятностей и прикладной математической статистике. Это становится очевидным при первом же взгляде на соответствующие нормативные и методические документы национального и международного уровня (см., например, "Гарантии МАГАТЭ. Статистические концепции и методики. Четвертое пересмотренное издание, 1988").
   3. Статистические методы в нормативных и методических документах в области учета и контроля ядерных материалов не являются "прозрачными". При знакомстве с ними возникают вопросы. Например, уравнения (5.3.1) и (5.3.2) в упомянутых выше "Гарантиях МАГАТЭ" предназначены для приближенного нахождения математического ожижания и дисперсии, что обычно предполагает дальнейшее использование доверительных границ на основе аппроксимации нормальным распределением. Однако возможность такой аппроксимации не всегда очевидна. Кроме того, уравнение (5.3.1) предполагает, что асимптотическое смещение асимптотически пренебрежимо по сравнению с асимптотическим средним квадратическим отклонением, оцениваемым на основе уравнения (5.3.1).
   4. Из сказанного, на наш взгляд, вытекает, что отечественные варианты нормативных и методических документов в области учета и контроля ядерных материалов должны быть проработаны как специалистами по ядерным материалам, так и ведущими отечественными специалистами по теории вероятностей и прикладной математической статистике. Только подобное сотрудничество может обеспечить осмысленное и ответственное применение таких документов.
   5. Отечественная вероятностно-статистическая школа является одной из сильнейших в мире. Аксиоматика современной теории вероятностей была введена академиком А.Н.Колмогоровым в 1933 г. Отечественный журнал "Теория вероятностей и ее применения" (основан в 1956 г.) был первым в мире журналом в этой области. По нашей оценке [1], в мировом информационном потоке на русском языке публиковалось до 1/3 работ по теории вероятностей и до 1/6 - по математической статистике. В настоящее время основным источником публикаций по прикладной математической статистике является секция "Математические методы исследования" журнала "Заводская лаборатория". С 1955 г. этот журнал переводится в США фирмой Plenum Publishing Corp. под названием "Industrial Laboratory". С 60-х годов, когда секция "Математические методы исследования" была организована акад. Б.В.Гнеденко и проф.В.В.Налимовым, в ней опубликовано более 1000 статей по прикладной математической статистике.
   6. Положение в области применений статистических методов было проанализировано в конце 80-х годов, когда шла работа по созданию профессионального объединения статистиков, аналогичного Американской статистической ассоциации и Королевского статистического общества (Великобритания), действующим уже более 150 лет. На Учредительном съезде в октябре 1990 г. была создана Всесоюзная статистическая ассоциация (см. о ней, например, [2]). На этом съезде автор настоящего доклада был избран вице-президентом Всесоюзной статистической ассоциации (от секции статистических методов), что дало возможность познакомиться с ситуацией с применением статистических методов в различных прикладных областях.
   7. Оказалось, что ситуация с применением статистических методов далека от идеальной. Наблюдается большой разрыв между квалифицированными специалистами по прикладной математической статистике и теми, кто применяет статистические методы в конкретных областях. Первые обычно работают в академических учреждениях и высшей школе и занимаются теоретическими исследованиями, вторые являются сотрудниками прикладных организаций и без контактов со специалистами пытаются освоить и приспособить статистические методы для решения своих проблем, допуская при этом те или иные ошибки. Традиционной является критика применений статистических методов в медико-биологической области. Сейчас эта критика вызвала интерес у ВАК России [3].
   8. Однако есть примеры успешного сотрудничества теоретиков и прикладников.Во второй половине 80-х годов Рабочая группа по упорядочению системы стандартов по прикладной статистике и другим статистическим методам, в которую входило 66 профессоров, кандидатов наук и других квалифицированных специалистов, проанализировала (провела независимую экспертизу) действующие государственные стандарты по статистическим методам, затем разработала проект проект развития этой системы стандартов и - в рамках Всесоюзного центра по статистическим методам и информатике - соответствующие программные продукты (о деятельности этого неформального коллектива исследователей рассказано в [4,5]). Оказалось, что в случаях, когда в разработке государственных стандартов участвовали ведущие специалисты, подготовленные документы удовлетворяли самым высоким требованиям. Примерами являлись государственные стандарты [6,7]. Если же ведущие специалисты были отстранены от участия в разработке, то в ряде случаев документы нельзя было использовать в качестве нормативных или методических из-за грубых ошибок (примеры приведены в [4,5]). К сожалению, подобные казусы случались и на уровне международной стандартизации (СЭВ, ИСО).
   9. Поэтому успеха в стандартизации в области учета и контроля ядерных материалов можно ожидать только в случае интенсивной совместной работы специалистов по ядерным материалам и специалистов по прикладной математической статистике.

Цитированные литературные источники

   1. Орлов А.И. Что дает прикладная статистика народному хозяйству? - Вестник статистики, 1986, No. 8, с.52-56.
   2. Орлов А.И. Создана единая статистическая ассоциация. - Вестник Академии наук СССР, 1991, No. 7, с.152-153.
   3. Леонов В.П., Ижевский П.В. Об использовании прикладной статистики при подготовке диссертационных работ помедицинским и биологическим специальностям. - Бюллетень Государственного Высшего Аттестационного Комитета Российской Федерации, 1997, 3 :, с.56-61.
   4. Орлов А.И. О современных проблемах внедрения прикладной статистики и других статистических методов. - Заводская лаборатория, 1992, т.58, No. 1, с.67-74.
   5. Орлов А.И. Сертификация и статистические методы. - Заводская лаборатория, 1997, т.63, No. 3, с,55-62.
   6. ГОСТ 11.010-81. Прикладная статистика. Правила определения оценок и доверительных границ для биномиального и отрицательного биномиального распределений.
   7. ГОСТ 24660-81. Статистический приемочный контроль по альтернативному признаку на основе экономических показателей.

А.И.Орлов,
д.т.н., профессор МГТУ им. Н.Э.Баумана,
академик Российской академии статистических методов

*      *      *

Экологическое страхование

   Страхование жизни или имущества знакомо всем. В последние годы все чаще обсуждается новый вид страхования - экологическое. Это - страхование ответственности за ущерб, нанесенный окружающей природной среде и здоровью людей.

Почему необходимо экологическое страхование?

   Производственная деятельность многих предприятий наносит тот или иной ущерб окружающей природной среде, а потому и здоровью людей. Все мы постоянно сталкиваемся с выбросами различных вредных веществ в атмосферу, сбросами их в реки и т.д. Еще чаще о подобных случаях сообщают средства массовой информации. Самые подробные сведения о подобных варварских акциях – у служб, ведущих экологический мониторинг. Самое странное и на первый взгляд непонятное – это то, что отвечающие за экологическую безопасность государственные органы регулярно дают разрешения на такие действия.
   В чем причины подобных действий предприятий и государственных экологических органов? Их несколько. Во-первых, многие применяемые в настоящее время технологические процессы не могут не наносить вред окружающей природной среде. Достаточно вспомнить о металлургических и химических заводах. Избавиться от этого вреда можно в настоящее время только одним способом - закрыв подобные предприятия. Все мы знаем, что проектируются новые экологически чистые технологии, ведется работа по выводу экологически опасных предприятий из густонаселенных районов (например, из центра Москвы), но все это - на долгую перспективу.
   Например, хорошо известно, что городской воздух больше всего загрязняют выхлопные газы автомобилей. Можем ли мы запретить ими пользоваться? В перспективе - да, перейдя на экологически чистые электромобили, работающие от аккумуляторов, но не сейчас. Запрет на использование автомобилей вызвал бы полный паралич хозяйственной и общественной жизни.
   Исходя из принципа "загрязнитель платит", постоянный экологический риск, вызванный необходимостью постоянной выдачи государственными экологическими органами разрешений на загрязнение окружающей природной среды, сочетается с взиманием установленных законодательством сборов с загрязнителей.
   Во вторых, предприятия, увы, отнюдь не всегда стремятся повысить свою экологическую безопасность. Ведь модернизация очистных сооружений, разработка и внедрение экологически чистых технологий требует средств, и немалых. Проведенные для ряда предприятий расчеты показали, что иногда выгоднее платить штрафы за загрязнение окружающей среды. Если штрафы будут существенно повышены – ситуация изменится.
   Кроме постоянного экологического риска, бывает и аварийный риск. Случаются неожиданные аварии - взрывы, пожары, выбросы и утечки опасных веществ и др. Они причиняют крупный материальный ущерб, а зачастую приводят к человеческим жертвам. В каждом конкретном случае предсказать подобную аварию нельзя, но в целом по стране их число достигает сотен и тысяч. Аварии бывают и на различных производствах, и в жилищно-коммунальном хозяйстве. Во многом схожие проблемы порождают природные экологические катастрофы – землетрясения, цунами, сели, смерчи, наводнения.
   Естественно возникает вопрос - кем и как должен возмещаться ущерб, нанесенный окружающей природной среде и населению? Напрашивается ответ: возмещать должен виновник нанесения ущерба. Однако виновное предприятие может не иметь необходимых для этого средств. Например, совершенно ясно, что последствия известной катастрофической аварии 1986 г. на Чернобыльской АЭС не могли быть возмещены за счет самой АЭС. Работы по ликвидации последствий аварии оплачивало государство. Оно же возмещало ущерб пострадавшим.
   А откуда берет деньги государство на эти внезапно возникшие нужды? Естественно, из резервных фондов или сокращая другие расходы. В ситуации, когда предприятия обладают экономической самостоятельностью, а большинство находится в частной собственности, нелогично возлагать на государство обязанность возмещения экологического ущерба. Это должны делать сами предприятия с помощью системы экологического страхования. Как же должна быть устроена такая система? Как она должны действовать?

Основные понятия и принципы экологического страхования

   Традиционным является страхование с помощью страховых компаний. Вспомним основные термины и принципы страхования. Предприятие, именуемое в данной ситуации страхователем, заключает договор с организацией специального типа - со страховой компанией (страховщиком). Согласно этому договору страхователь уплачивает страховой взнос, т.е. вносит плату за страховую услугу. Иными словами, покупает услугу страховой компании. А услуга состоит в том, чтобы при наступлении страхового случая страховщик обязан выплатить предприятию страховое возмещение, дающее страхователю средства для возмещения ущерба.
   Рассмотрим пример. Предположим, что руководство завода "Амперметр" решило застраховаться от последствий аварийного сброса экологически опасных сточных вод. Оно вступает в переговоры со страховой компанией "Экострах". Сначала им надо с точки зрения экономики и с учетом действующих правовых норм оценить возможный ущерб от аварийного сброса.
   Надо выяснить, каким физическим и юридическим лицам может быть нанесен ущерб, и в каком объеме. Если произойдет страховое событие - аварийный сброс экологически опасных сточных вод, то претензии заводу "Амперметр" могут быть выдвинуты многими лицами и организациями. А именно, они последуют со стороны экологических органов, отвечающих за здоровье населения. Со стороны руководства расположенных ниже по течению городов, в водозаборники водопроводов которых попадут вещества, опасные для здоровья людей. А еще со стороны расположенных ниже по течению реки предприятий, потребляющих воду. Со стороны рыбаков, а также отдельных граждан, здоровье которых пострадало в результате аварийного сброса, и др. Оценив возможные потери, стороны договариваются о страховой сумме, т.е. об объеме страховой ответственности, принимаемой на себя страховщиком. Предположим, что в результате всестороннего анализа согласована оценка возможных потерь (страховая сумма) в размере 1000000 руб. Если произойдет аварийный сброс экологически опасных сточных вод (т.е. осуществится страховое событие), то страховая компания "Экострах" выплатит пострадавшим эту сумму.
   Завод "Амперметр" может, конечно, обойтись без страховой компании. Он может держать на своем банковском счету резервный фонд в 1000000 руб., который будет расходоваться лишь в случае аварийного сброса экологически опасных сточных вод (другими словами, заниматься самострахованием). Однако такое поведение экономически невыгодно, если вероятность осуществления рассматриваемого страхового события мала. Резервный фонд почти наверняка не понадобится, и замороженные в нем средства не будут приносить дохода предприятию. Здесь ситуация ровно такая же, как и при иных видах страхования.
   Поэтому выгоднее заплатить страховой компании "Экострах" страховой взнос, равный произведению страховой суммы на страховой тариф. Например, если страховой тариф равен 0,05 или 5%, то завод "Амперметр" выплатит страховой компании "Экострах" 0,05 х 1000000 = 50000 руб. (Здесь и далее символом "х" обозначена операция умножения.) Заводу обычно выгоднее выплатить 50 тысяч, чем заморозить миллион.
   А в чем выгода страховой компании? Она основана на законе больших чисел и других положениях (теоремах) математической теории вероятностей. Если "Экострах" имеет дело с большим числом предприятий типа "Амперметра" (например, с тысячью заводов), а вероятность аварийных сбросов мала, например, равна 0,02 (т.е. происходит в среднем на двух предприятиях из 100, т.е. на одном из 50), то страховая компания будет иметь неплохой доход.
   Действительно, проведем ориентировочный расчет. Тысяча предприятий выплатит по 50 тысяч руб., всего 50 миллионов. Выбросы произойдут в 2% случаев, т.е. на 0,02 х 1000 = 20 предприятиях. Им "Экострах" выплатит 20 х 1000000 руб., т.е. 20 миллионов. В распоряжении "Экостраха" останется 50 - 20 = 30 миллионов. Часть из этих 30 миллионов будет направлена "Экострахом" в резервный фонд, предназначенный для компенсации отклонения выплат от среднего значения (величину этих отклонений специалисты рассчитывают на основе теории вероятностей). У "Экостраха" есть расходы на собственное содержание, на выплату налогов и др. Но существенная часть 30 миллионов - его чистая прибыль, которая может быть направлена, в частности, на природоохранные мероприятия. Доля прибыли, предназначенной для финансирования работ по улучшению экологической обстановки, должны быть оговорена в уставе страховой компании и, как правило, быть не менее 90%.

Различные виды экологического страхования

   Страхование - обширная область человеческой деятельности, в которой разработаны различные варианты организации взаимоотношений между страхователями и страховщиками. Методы соответствующих расчетов (их называют также актуарными) достаточно сложны, их проводят специалисты-актуарии. Соответствующая теория основана на методах эконометрики, теории вероятностей и математической статистики.
   Кроме двусторонней схемы "предприятие - страховая компания", заслуживает внимания многосторонняя схема взаимного страхования. Она напоминает хорошо известную "кассу взаимопомощи" предприятия: сотрудники вступают в нее и ежемесячно сдают взносы, из которых выдаются ссуды нуждающимся коллегам. Эти ссуды затем постепенно погашаются. Каждый сотрудник может выйти из "кассы взаимопомощи", получив обратно все свои взносы (естественно, за вычетом взятых ранее и еще не погашенных ссуд).
   При взаимном экологическом страховании общую "экологическую кассу" образуют не люди, а предприятия, а в роли ссуд выступают выплаты на компенсацию экологического ущерба. Преимуществом такой формы страхования является отсутствие в организационной схеме коммерческой организации - страховой компании, ориентированной, как ни старайся отрицать это, на получение прибыли, а не на оздоровление окружающей природной среды. Недостатком является большая сложность организационной схемы (много партнеров) по сравнению с тривиальной схемой "предприятие - страховая компания" (два хозяйствующих субъекта, заключающих между собой договор). Действительно, многосторонняя схема взаимного страхования может эффективно работать, когда в нее входят сотни организаций. Но в таком случае нужен некий центральный орган, подобный руководству кассы взаимопомощи. Схему взаимного страхования сравнительно легко организовать тогда, когда организации уже объединены в некую ассоциацию, взаимные контакты налажены, можно действовать в обстановке взаимного доверия.
   Экологическое страхование бывает обязательным и добровольным. В России подготовлен проект федерального Закона "Об обязательном экологическом страховании". В соответствии с ним государственные органы выделяют экологически опасные предприятия, подлежащие обязательному страхованию. При этом назначаются и страховые тарифы в соответствии с классом опасности объекта. Ряд положений проекта федерального Закона уточнен по результатам экспериментов в ряде регионов страны, в частности, в Ногинском районе Московской области.
   Добровольное экологическое страхование не нормируется государством. Его можно сравнить с добровольной сертификацией продукции или с добровольным получением свидетельства об экологической безопасности предприятия (по результатам экологического аудита). Добровольная экологическая активность предприятия повышает его престиж среди населения, а потому и конкурентоспособность продукции. Одним из результатов проведенного нами в 1994 г. изучения предпочтений потребителей растворимого кофе была установлена неожиданно сильная установка потребителей на экологическую безопасность продукта. В частности, потребители были готовы платить на 10% больше за кофе, экологическая безопасность которого установлена государственными органами Бразилии и России.

Расчетные методы и экспертные оценки

   Выразить в рублях ущерб, нанесенный аварией природной среде и здоровью людей, весьма сложно. Если же одним из последствий аварии является гибель людей, то с точки зрении экономики появляется необходимость выразить в рублях жизнь человека. Можно ли это делать? Многие считают, что недопустимо оценивать человеческую жизнь в денежных единицах. Это мнение основано на этических и религиозных соображениях.
   Весьма трудно и оценить вероятность аварии, скажем, на химическом производстве или атомной электростанции. Ведь если бы можно было предсказать, когда произойдет авария, то можно бы и принять нужные меры, чтобы ее предотвратить или, во всяком случае, существенно смягчить последствия!
   Поэтому расчетные методы могут играть лишь ограниченную роль в экологическом страховании. Необходимо широко использовать экспертные методы, основанные на интуиции специалистов и математических методах сбора и анализа их мнений. Опишем один из вариантов применения экспертных оценок при организации обязательного экологического страхования.
   На первом этапе рассматриваемые предприятия разбиваются на четыре класса по степени экологической опасности: неопасные, слабо опасные, опасные и весьма опасные. Чтобы получить такое разбиение, в соответствии с разработанным под руководством проф. В.Г. Горского (Государственный научно-исследовательский институт органической химии и технологии, Москва) методом сначала проводится опрос экспертов по многим вопросам, сгруппированным в четыре группы:
   - насколько опасны вещества, используемые или производимые на данном предприятии?
   - насколько безопасны технологии, используемые на предприятии?
   - насколько хорошо экологически подготовлены работники предприятия и системы аварийной защиты?
   - насколько опасно расположение предприятия с точки зрения возможного влияния на окружающую природную среду и здоровье людей?
   Затем полученные ответы подвергаются достаточно изощренной математической обработке, в результате которой получается искомое разбиение предприятий на группы по степени экологической опасности.
   Страховые тарифы устанавливают в зависимости от класса опасности предприятия. Например, для неопасных предприятий - 0,5% от валовой продукции, для слабо опасных - 1% от валовой продукции, для опасных - 2% и для весьма опасных - 4%. Подобные нормативы также могут устанавливаться с помощью экспертных оценок. В другом варианте экологического страхования тарифы устанавливаются в процентах не от валовой продукции, а от добавленной стоимости.
   В настоящее время проблемы экологического страхования активно разрабатываются в нашей стране. С утверждением соответствующих законов рынок страховых услуг в экологии значительно расширится.

Вопросы для повторения

   1. Почему необходимо экологическое страхование?
   2. Разъясните термины: страхователь, страховщик, страховое событие, страховая сумма, страховой взнос, страховой тариф.
   3. Может ли страховой тариф быть меньше вероятности осуществления страхового события?
   4. Сравните схему взаимного страхования и схему "предприятие - страховая компания".
   5. Какие методы называют экспертными? Чем они отличаются от расчетных методов?

Темы рефератов

   1. Оценка возможного экологического ущерба, связанного с деятельностью конкретного предприятия, известного учащемуся.
   2. Вероятностно-статистические методы актуарных расчетов.
   3. Сущность и функции перестрахования.
   4. Современные экспертные методы в задачах экологического страхования.

Литература

   1. Гвозденко А.А. Основы страхования. - М.: Финансы и статистика, 1998. - 304 стр.
   2. Моткин Г.А. Основы экологического страхования. - М.: Наука, 1996. - 192 с.
   3. Орлов А.И. Экспертные оценки. - Заводская лаборатория. 1996. Т.62 No. 1. С.54-60.
   4. Серов Г.П. Основы экологической безопасности. - М.: Изд-во МНЭПУ, 1993.
   5. Труды Всероссийских и Международных конференций "Теория и практика экологического страхования". - М.: Ин-т проблем рынка РАН, 1995-2000.
   6. Экологический учет для предприятий / Конференция ООН по торговле и развитию: Пер. с англ. - М.: Финансы и статистика, 1997. - 200 с.

А.И.Орлов,
д.т.н., профессор МГТУ им. Н.Э.Баумана,
академик Российской академии статистических методов

(Российское предпринимательство. - 2000. - NoNo.11-12.)

*      *      *

Статистический контроль качества продукции

Японцы считают: "Все, начиная
от председателя Совета Директоров
и до рядового рабочего в цехе, обязаны знать
хотя бы основы статистических методов."

   Рассматривается центральная тема экономики качества - статистический контроль качества продукции. Демонстрируется его высокая экономическая эффективность.

1. Сертификация, качество и рыночная экономика

   Руководители и специалисты промышленных предприятий хотят не только выжить, но и выиграть в борьбе с конкурентами. Более частными задачами, которые они хотят решить, являются:
   - выйти на международный рынок;
   - поднять качество продукции до японского уровня;
   - полностью ликвидировать рекламации, и т.д.
   Для решения этих задач им надо повышать качество продукции. Все руководители и специалисты промышленных предприятий это хорошо знают, слова "сертификация", "международные стандарты ИСО серии 9000 по системам качества" уже навязли в зубах. Менее осознано, что управление качеством - это прежде всего применение современных статистических методов. На Западе (США) и на Востоке (Япония) это - аксиома. Вот типичное высказывание японского инженера: "Методы статистики - именно то средство, которое необходимо изучить, чтобы внедрить управление качеством. Они - наиболее важная составная часть комплексной системы всеобщего управления качеством на фирме. В японских корпорациях все, начиная от председателя Совета Директоров и до рядового рабочего в цехе, обязаны знать хотя бы основы статистических методов." Так считает Каору Исикава, президент промышленного института Мусаси, заслуженный профессор Токийского университета [1, с.15].
   Раз все японские работники знают про статистические методы - значит, их научили в школе. Во всем мире - в США, Японии и Ботсване - школьники учат статистические методы. ЮНЕСКО регулярно про водит конференции по преподаванию статистики в средней школе. И вот мы видим качество компьютеров IBM и японских телевизоров. А отечественные бюрократы десятилетиями "боролись за качество" (вспомните, была "пятилетка эффективности и качества"!), "внедряли" кипы бумаг - КС УКП ... (популярное сочетание в 70-е и 80-е годы: КС УКП - это Комплексная Система Управления Качеством Продукции; имелись областные варианты - горьковская, львовская, днепропетровская и т.д.).
   Итог на сегодня: весь мир, кроме нас, знает статистические методы и повсеместно применяет их для повышения качества. Мы вынуждены догонять. Очевидно, овладение основами статистического контроля качества продукции - неотъемлемая часть экономического образования.

2. О сертификации

   Вслед за т. н. развитыми странами в России намечается всё расширяющаяся тенденция к сертификации продукции, т.е. к официальной гарантии поставки производителем продукции, удовлетворяющей установленным требованиям. Средства массовой информации отмечают, что в условиях рыночной экономики поставщики и продавцы должны иметь сертификаты качества на предлагаемые ими товары и услуги. Маркетинг, т.е. "производственная
   и коммерческая политика, нацеленная на получение максимальной прибыли на основе изучения рынка, создания конкурентоспособной продукции и её полной реализации" [2, с.64-65], включает в себя работы по сертификации. За новыми терминами зачастую скрываются хорошо известные понятия, несколько модернизированные в соответствии с современной обстановкой. Так, "маркетинг в широком смысле - это усовершенствованная, ориентированная на рыночную экономику КС УКП" [2,с.61].
   Говоря о сертификации продукции, могут иметь в виду качество конкретной её партии. В ряде случаев это оправдано - рядового потребителя интересует качество лишь той единицы продукции, которую он приобрёл. Однако установление долговременных хозяйственных связей целесообразно лишь в случае, когда поставщик гарантирует высокое качество не одной, а всех партий своей продукции. Очевидно, для этого должны быть проведены оценка и сертификация технологических процессов и производств.
   Ещё больше повышается доверие к поставщику, если не только отдельные технологические процессы, но и всё предприятие в целом гарантированно выпускает продукцию высокого качества. Это обеспечивается действующей на предприятии системой качества, удовлетворяющей требованиям Международной организации по стандартизации ИСО.
   В условиях рыночной экономики основная характеристика товара - его конкурентоспособность. Очевидно, необходимо уметь оценивать конкурентоспособность перед запуском продукции в производство или началом работы по продвижению на зарубежный рынок [2]. Одним из основных компонентов конкурентоспособности является технический уровень продукции. Фирма, обладающая патентом или новой научно-технической разработкой, имеет более высокий излишек производителя по сравнению с другими фирмами. При выборе направления инвестиционных вложений одна из основных учитываемых характеристик - технический уровень продукции.
   Из сказанного вытекает, что сертификация материалов и других видов продукции - это современная форма управления качеством продукции. На Западе общепринято, что основная составляющая в управлении качеством продукции - это статистические методы (см., например, отчет Комитета ИСО по изучению принципов стандартизации [3]). В нашей стране внедрение комплексных систем управления качеством (КС УКП), как уже отмечалось, сводилось во многом к подготовке документации организационного характера. Статистические методы использовались в промышленности недостаточно, а государственные стандарты по этой тематике зачастую содержали грубейшие ошибки (см. ниже).
   Подготовка предприятий к сертификации продукции, технологических процессов и производств, систем качества требует приложения труда квалифицированных специалистов, причем в достаточно большом объеме. Подобную работу обычно проводят специализированные организации типа фирмы "ЭНТЕР Лтд.".

3. О развитии статистических методов сертификации в России

   Около 150 лет статистические методы применяются в России для проверки соответствия продукции установленным требованиям, т.е. для сертификации. Так, действительный член Петербургской академии наук М.В.Остроградский в 1846 г. рассматривал задачу статистического контроля партий мешков муки или штук сукна армейскими поставщиками. С тех пор в России кое-что еще было сделано, особенно в области теории: так, монографии Ю.К.Беляева и Я.П.Лумельского можно смело назвать классическими. Был выпущен и длинный ряд руководств, в основном переводных.
   С начала 70-х годов стали разрабатываться государственные стандарты по статистическим методам. В связи с обнаружением в них грубых ошибок 24 из 31 государственного стандарта по статистическим методам были отменены в 1986-87 гг. К сожалению, потеряв силу как нормативные документы, ошибочные стандарты продолжают использоваться как научно-технические издания.
   В 1989 г. нами был организован Центр статистических методов и информатики (ЦСМИ) для работ по развитию и внедрению современных статистических методов. Уже к середине 1990 г. ЦСМИ были разработаны 7 диалоговых систем по современным статистическим методам управления качеством, а именно, СПК, АТСТАТ-ПРП, СТАТКОН, АВРОРА-РС, ЭКСПЛАН, ПАСЭК, НАДИС (описания этих систем приведены в [4]).
   Параллельно ЦСМИ вел работу по объединению статистиков. В апреле 1990 г. в Большом Актовом Зале Московского Энергетического института прошла Учредительная конференция Всесоюзной организации по статистическим методам и их применениям. На Учредительном съезде Всесоюзной статистической ассоциации (ВСА) в октябре 1990 г. в Московском экономико-статистическом институте эта организация вошла в состав ВСА в качестве секции статистических методов. В 1992г. после развала СССР и фактического прекращения работы ВСА на основе секции статистических методов ВСА организована Российская ассоциация по статистическим методам (РАСМ), а затем и Российская академия статистических методов, существующие и в настоящее время. В мероприятиях секции статистических методов ВСА и РАСМ активно участвовали несколько сот человек. Основной тематикой этих специалистов являются статистические методы в сертификации (управлении качеством). В ЦСМИ и РАСМ, объединивших большинство ведущих российских специалистов, коллективными усилиями разработан единый подход к проблемам применения статистических методов в сертификации и управлении качеством.

4. Статистический контроль - это выборочный контроль на научной основе

   Контроль качества всем знаком - им обычно занимается отдел технического контроля (ОТК). Есть входной контроль и приемочный (готовой продукции), и контроль при передаче полуфабрикатов и комплектующих из цеха в цех. Кроме сплошного контроля всех изделий подряд применяют выборочный, когда о качестве партии продукции судят по результатам контроля некоторой части - выборки.
   Чтобы проверить качество спички - надо чиркнуть ею. Загорится - должное качество, не загорится - брак. Но повторно зажженную спичку использовать нельзя. Поэтому партию спичек можно контролировать только выборочно. Консервов, лампочек, патронов - тоже. Т.е. при разрушающем контроле необходимо пользоваться выборочными методами и судить о качестве партии продукции по результатам контроля её части - выборки.
   Выборочные методы контроля могут применяться и из экономических соображений, когда стоимость контроля высока по сравнению со стоимостью изделия. Например, вряд ли целесообразно визуально проверять качество каждой скрепки в каждой коробке.
   Для проведения выборочного контроля необходимо сформировать выборку, выбрать план контроля. А если план имеется - полезно знать его свойства. Анализ и синтез планов проводят с помощью математического моделирования на основе теории вероятностей и математической статистики, применяя компьютерные диалоговые системы (пакеты программ).
   Зачем нужны диалоговые системы по статистическому контролю? Раньше, действительно, ОТК формально применяли планы контроля из ГОСТов на конкретную продукцию, а реальное качество выпускаемых изделий никого не интересовало. Сейчас - ситуация начинает меняться. С декабря 1990 г. обязательность большинства ГОСТов отменена. У промышленности сняты кандалы. Со становлением рыночной экономики появляются конкуренты. В том числе зарубежные. Руководителям производства приходится отлаживать систему контроля качества не для галочки, не по приказу обкома, а для повышения дохода предприятий. А потому - и собственных тоже.
   Компьютерные диалоговые системы позволяют прежде всего проводить анализ и синтез планов контроля. Пусть перед Вами - прежний ГОСТ на продукцию, в нем есть раздел "Правила приемки" с планами контроля. Хороша эта система планов или плоха? С помощью диалоговых систем Вы найдете характеристики конкретного плана, приемочный и браковочный уровни дефектности (см. ниже) и т.д. Можно провести и синтез планов, т.е. компьютер подберет план, удовлетворяющий Вашим условиям.
   Российской ассоциацией статистических методов были проанализированы стандарты на конкретную продукцию (разделы "Правила приемки") и ГОСТы по статистическим методам. Обнаружено, что более половины и тех и других стандартов содержат грубые ошибки, пользоваться ими нельзя. Причины этого печального положения проанализированы в статье [5]. В отличие от ГОСТов, диалоговым системам по статистическому контролю верить можно и нужно. И экономически выгодно. По нашим оценкам [6], применение современных статистических методов позволяет в среднем вдвое сократить трудозатраты на контрольные операции (как известно, на них расходуют 10% от стоимости машиностроительной продукции). Следовательно, Россия может получить более 5 миллиардов долларов США дополнительного дохода в год.
   Приведем ещё два сообщения о высокой экономической эффективности статистического контроля. "Мы документально зафиксировали экономию от применения методов статистического контроля и методов разрешения проблем, которым обучили наших сотрудников. Мы приближаемся к степени окупаемости около 30 долларов на 1 вложенный доллар. Вот почему мы получили такую серьезную поддержку от высшего руководства", - сообщает Билл Виггенхорн, ответственный за подготовку специалистов фирмы "Моторола" (цитируем по [7]).
   По подсчетам профессора Массачузетского технологического института Фримена (см.[8]), только статистический приемочный контроль давал промышленности США 4 миллиарда долларов в 1958 г. (это более 20 миллиарда долларов в ценах 2001 г.), т.е. 0,8% ВВП - Валового Внутреннего Продукта.
   На наш взгляд, российским предпринимателям и менеджерам промышленных предприятий целесообразно равняться на японских коллег - знать хотя бы основы статистических методов, т.е. эконометрики, и активно их применять, постоянно консультируясь со специалистами-эконометриками.

Литература

   1. Статистические методы повышения качества. Перевод с японского / Под ред. Х. Кумэ. - М.: Финансы и статистика, 1990.- 301 с.
   2. Организационно-методические материалы по маркетингу на предприятии. - М.: Всесоюзный центр статистических методов и информатики, 1991. - 91 с.
   3. Цели и принципы стандартизации / Под ред. Т. Сандерса. - М.: Изд-во стандартов, 1974. - 132 с.
   4. Орлов А.И. Внедрение современных статистических методов с помощью персональных компьютеров / Качество и надежность изделий. No.5(21). - М.: Знание, 1992. - С.51-78.
   5. Орлов А.И. Сертификация и статистические методы / Заводская лаборатория. - 1997. - Т.63 - No.3. - С.55-62.
   6. Орлов А.И. Об оптимизации выборочного контроля качества продукции / Стандарты и качество. - 1989. - No. 3. - С. 91-94.
   7. Broody M. Helping Workers Work Smarter / Fortune, June 8, 1987, pp.86-88.
   8. Гнеденко Б.В. Математика и контроль качества продукции. - М.: Знание, 1978. - 64 с.

А.И.Орлов,
д.т.н., профессор МГТУ им. Н.Э.Баумана,
академик Российской академии статистических методов

*      *      *

АРМ "Математика в экспертизе" и его использование при оценке убытков от аварийного загрязнения окружающей среды

Введение

   В настоящее время экспертные исследования широко применяются для решения различных сложных задач, связанных с экологическим страхованием, в частности, с оценкой, ранжированием и классификацией видов экологических опасностей и подверженных им объектов, оценкой и выбором технологий и проектов. Экспертные методы могут применяться, например, для отбора возможных исполнителей тех или иных работ, для оценивания совокупности объектов и выбора из них лучшего (или наиболее опасного), для выяснения возможностей разработки объекта с заданными характеристиками в увязке с временными, финансовыми и иными ограничениями, и т.д. При этом высококвалифицированные специалисты-эксперты с соответствии со специально разработанной процедурой формулируют свои мнения по рассматриваемым вопросам, которые затем сводятся вместе с целью подготовки для лица, принимающего решения, необходимой информации и проекта решения.
   В докладе обсуждаются догмы в области экспертных оценок и современные рекомендации, применение статистики объектов нечисловой природы в экспертных оценках, вопросы построения интегральных показателей качества, эффективности и пр., т.е. рейтингов, а также перспективы создания и применения гаммы современных методик экспертных оценок на основе подходов и результатов указанного научного коллектива.

Экспертные исследования

   Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.
   Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения.
   Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).
   Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто ещё является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (см., например, [1]). В рамках настоящего доклада нельзя подробно рассказать о различных методах экспертных оценок (да и нет в этом необходимости, поскольку существуют многочисленные публикации).
   Большое распространение экспертных методов в практических работах находит свое отражение в том, что разрабатываются и утверждаются соответствующие нормативно-технические документы, например, ГОСТ 23554.2-82 "Экспертные методы оценки качества промышленной продукции. Обработка значений экспертных оценок качества продукции" или "Руководство по разработке комплексной оценки качества объекта" (в/ч 64518). Разрабатываются и иные проекты, например, проект фирмы "Бектел Нэшнл.Инк." (США) по методологии выбора технологии уничтожения химического оружия.
   В настоящее время не существует научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Вполне естественно, что сначала в нашей стране появились публикации о простейших методах экспертных оценок. Как обычно бывает, эти простые идеи широко распространились, вошли в массовое сознание инженеров и управленцев (менеджеров) - и стали, увы, тормозом на пути внедрения современных результатов в области экспертных оценок. По нашему мнению, наиболее продвинутые результаты в рассматриваемой области были получены в результате работы комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика" в 70-90-х годах.

Математика экспертных оценок

   Процедуры формирования экспертной группы, сбора и анализа мнений экспертов предполагают постоянное использование методов из области прикладной математической статистики. Без применения таких методов невозможно осуществить выбор возможных экспертов и подбор состава экспертной комиссии, проверить согласованность мнений экспертов, выделить группы единомышленников, сформировать итоговое (среднее) мнение экспертной комиссии. Поэтому необходимо использовать при планировании и проведении экспертных обследований весь арсенал методов современной прикладной математической статистики. Однако приходится констатировать, что имеющиеся нормативно-технические и методические разработки не вполне соответствуют этому требованию, методы анализа мнений экспертов имеют недостатки с точки зрения современной прикладной математической статистики, не позволяют в полной мере использоваь возможности современной вычислительной техники.
   Поэтому анализ используемых в настоящее время процедур экспертных оценок целесообразно начать с анализа современных методов прикладной математической статистики.
   Математические методы выборочных исследований - классическая область прикладной математической статистики. Начиная с 70-х годов в нашей стране развитие современных выборочных методов, в частности, статистики объектов нечисловой природы, стимулировалось запросами социологических и экспертных исследований [2]. Были разработаны новые теоретическиме и практические подходы, сформулированы постановки статистических задач описания данных, оценивания характеристик и параметров, проверки гипотез, предложены алгоритмы анализа разнотипных данных (включающих значения количественных и качественных признаков), получены теоремы о свойствах этих алгоритмов, о состоятельности оценок и т.д. В частности, сводка теоретических результатов была издана в виде сборника [3], подготовленного подкомиссией "Статистика объектов нечисловой природы" Научного Совета АН СССР по комплексной проблеме "Кибернетика" и Институтом социологических исследований АН СССР.
   Итак, на основе более чем двадцатилетнего опыта комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика" и двадцати лет работы ее научного семинара "Математические методы анализа экспертных оценок" можно утверждать, что современные математические методы экспертных оценок - это в основном методы статистики объектов нечисловой природы.

Автоматизированное рабочее место МАТЭК (МАТематические методы в ЭКспертных оценках)

   Разработано и применяется весьма большое число методов (и особенно их разновидностей) организации и проведения экспертных исследований. Для решения конкретной задачи можно применять, как правило, не один, а много методов, и выбор наиболее подходящего из них лежит на организаторах экспертизы. (Попытки стандартизовать правила принятия подобных решений в настоящее время рассматриваются как нецелесообразные - таков один из результатов развития стандартизации в нашей стране в 70-90-е годы.) Разрабатываемый нашим коллективом АРМ "МАТЭК" предоставляет организаторам экспертизы большие возможности для выбора тех или иных методов планирования, организации, проведения экспертизы, анализа экспертных оценок, обеспечивает необходимую компьютерную поддержку в проведении экспертного исследования.
   АРМ "МАТЭК" предназначен для подготовки и проведения экспертизы по определенной теме. С помощью АРМ "МАТЭК" можно автоматизировать процесс подбора экспертов, работу комиссии экспертов и анализ экспертных мнений, а также подготовку опросных листов, бланков и всей отчётной документации.
   Работа на АРМ в соответствии с методологией работы [4] состоит из двух частей:
    А. Подготовка экспертизы.
    В. Проведение экспертизы.
   А. Этап подготовки экспертизы включает в себя ввод всей информации, необходимой для проведения экспертизы. Итогом этого этапа являются два документа: "ТЗ" и "Сценарий".
   Подробнее: на этом этапе ЛПР должен сформулировать цель экспертизы, сформировать руководство рабочей группы (РГ).
   Далее к работе приступает РГ. Её руководитель должен ввести данные для формирования документа "ТЗ". Затем собираются данные для компоновки документа "Сценарий".
   РГ может включать в себя Руководителя, Группу обработки, Группу связи и Интервьюеров.
   Данные для документа "ТЗ" следующие: основание для проведения экспертизы, задачи экспертных опросов, сформулированные в соответствии с целью экспертизы, требования к ЭК, опросному листу, сроки выполнения экспертизы и порядок контроля за ними.
   В зависимости от того, введены или нет те или иные данные для "ТЗ", они соответственно будут или нет включены в документ "ТЗ". Последний можно просмотреть на экране и распечатать.
   Данные для документа "Сценарий" следующие: вводный текст (в этом тексте должна содержаться собственно последовательность действий при проведении экспертизы), календарный план (КП), список используемых методов анализа экспертных мнений (ЭМ). Как и при формировании "ТЗ", "Сценарий" может иметь разную структуру, в зависимости от того, какие пункты будут в него включены. Как приложение к "Сценарию" могут быть использованы примеры бланков опросных листов, анкеты "Согласие" (для выявления согласия экспертов участвовать в экспертизе), анкеты "Снежный ком", "Взаимооценка" (если соответствующие этапы включены в КП). Для этих бланков также требуется ввести оповещение (либо выбрать стандартное). Документ "Сценарий" можно просмотреть на экране и распечатать.
   При формировании "Сценария" будет сформирован опросный лист экспертизы. Опросный лист состоит из оповещения (стандартного или оригинального - по выбору РГ) и собственно вопросов. Вопросы группируются по задачам из ТЗ. При формулировке вопросов учитывается список методов обработки ответов. Точнее, пользователь, сформулировав вопрос, должен точно знать формат ответа. Для каждого формата ответа в АРМ предусмотрен список методов обработки ответов (краткое описание каждого из них можно будет просмотреть при выборе метода). Если пользователя не устраивает ни один из этих методов, он должен будет переформулировать вопрос (т.е. изменить формат ответа) так, чтобы в списке соответствующих методов оказался подходящий ему. Тем самым при формировании опросного листа будет одновременно сформулирован список используемых методов анализа экспертных мнений (ЭМ).
   В. Этап проведения экспертизы недоступен до тех пор, пока не будет завершен этап подготовки экспертизы. После того как подготовка создана, можно запустить или открыть проведение экспертизы. Тем самым возможно проведение нескольких экспертиз с одной и той же подготовкой (для каждой экспертизы выделяется собственная, идентифицируемая по названию экспертизы, база данных).
   На этапе проведения экспертизы формируется ЭК, проводится сбор и анализ ЭМ, формируется отчет и заключение для ЛПР.
   Формирование ЭК - многоступенчатый процесс. Сначала член РГ (руководитель) в соответствии с информацией об экспертах из БДЭ (базы данных об экспертах) может отобрать подходящих кандидатов в ЭК. Далее с помощью анкеты "Согласие" из этого списка отбираются согласившиеся быть членами ЭК. Два последних шага могут проводиться или нет, в зависимости от того, включены ли они в КП. Это этапы "Снежный ком" и "Взаимооценка". После того, как сформирован ЭК, можно проводить сбор ЭМ. Это осуществляется с помощью бланка вопросника. ЭМ будут храниться так, чтобы доступ к ним был удобен (то есть по любому эксперту и любому вопросу можно было получить ответ, и т.д.). Анализ ЭМ по каждому вопросу проводится методом, выбранным пользователем АРМ (руководителем РГ) на этапе подготовки экспертизы для этого вопроса .
   По всем предыдущим этапам формируются отчеты, из которых в результате получается общий отчет о проведении экспертизы. В соответствии с задачами из ТЗ формируется заключение для ЛПР.
   В соответствии с КП ведется контроль за сроками проведения экспертизы.
   Ведется протокол экспертизы, т.е. при выходе из системы фиксируется текущее состояние этапа проведения экспертизы, и при открытии данной экспертизы происходит возврат именно на тот этап экспертизы, на котором произошел выход из системы. (На этапе подготовки экспертизы протокол не ведется.)
   Разграничены права доступа к БДЭ (база данных экспертов), ЭМ и результатам обработки ЭМ.

Литература

   1. Панкова Л.А., Петровский А.М., Шнейдерман М.В. Организация экспертиз и анализ экспертной информации. - М.: Наука, 1984.
   2. Орлов А.И. Устойчивость в социально-экономических исследованиях. - М.: Наука, 1979.
   3. Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985.
   4. Орлов А.И. Экспертные оценки // Заводская лаборатория, 1996, No1. Горский В.Г., д.т.н., Государственный научно-исследовательский институт органической химии и технологии (Москва), Орлов А.И., д.т.н., Жихарев В.Н., Цупин В.А., к.ф.-м.н., Стёпочкин А. Н., Московский государственный институт электроники и математики, В.А.Васюкевич (Вошло в состав статьи: Экспертные оценки: современное состояние и перспективы использования в задачах экологического страхования / В.Г. Горский, В.Н. Жихарев, А.И.Орлов, В. А. Цупин, А..Н. Степочкин, В.А. Васюкевич. - Труды Второй Всероссийской конференции "Теория и практика экологического страхования". - М.: Ин-т проблем рынка РАН, 1996. С.20 - 23.)

А.И.Орлов,
д.т.н., профессор МГТУ им. Н.Э.Баумана,
академик Российской академии статистических методов

*      *      *

   На сайте http://antorlov.chat.ru или его зеркале http://www.newtech.ru/~orlov Вы можете найти полезные макросы для Microsoft Word 97/2000 для создания книжек размером в половину листа, обьединения множества файлов в один, создания каталогов своих файлов, извлечения из недр Word'а красивых значков. Имеется конвертор "Число-текст" с возможностью автоматического обновления вставленных расшифровок. Также представлен учебник профессора А.И.Орлова по менеджменту, статьи А.И.Орлова по актуальным вопросам статистики и экономики. Имеется лекция об устройстве ядерных реакторов.
   Страница рассылки - http://antorlov.chat.ru/ivst.htm или http://www.newtech.ru/~orlov/ivst.htm.
   Если Вы живете в Москве, то для доступа к сайту www.newtech.ru/~orlov Вы можете воспользоваться бесплатным демо-доступом компании NewTech. Телефоны: (095)234-94-49, (095)956-37-46. Login: demo или imt. Password: test. Вход под этими логинами абсолютно бесплатный и открыт круглосуточно. Сеанс связи неограничен. Одновременно возможен вход не более 5 пользователей по демо-доступу. Если Вы видите сообщение об отказе в авторизации, значит, Вы - 6-й пользователь, входящий под тестовым логином, - повторите попытку позже. Доступ с использованием программы Netscape Navigator требует указания DNS: Primary DNS: 212.16.0.1, Secondary DNS: 193.232.112.1. В последнее время увеличилась загрузка бесплатных линий, так что для дозвона рекомендуется использовать какую-нибудь автоматическую программу вроде EDialer. Отказ сервера в принятии пароля не должен служить основанием для прекращения дозвона.
   На сайте http://karamurza.chat.ru представлена книга видного современного философа и политолога С.Г.Кара-Мурзы "Опять вопросы вождям", которая является глубоким научным исследованием современных проблем западного и российского общества. Данная книга может серьезно повысить образовательный уровень интересующихся политологическими и социологическими проблемами.

Удачи Вам и счастья!

http://subscribe.ru/
E-mail: ask@subscribe.ru
В избранное