Критерии оценки качества регрессионной модели, или какая модель хорошая, а какая лучше. Коэффициент корреляции двух динамических рядов

30.03.2019

Модель считается хорошей со статистической точки зрения, если она адекватна и достаточно точна.

I. Проверка адекватности модели реальному явлению - важный этап прогнозирования экономических процессов. Для этого исследуют ряд остатков е, = у, - у, т.е. расхождения уровней, рассчитанных по модели, и фактических наблюдений. Наиболее важными свойствами остаточной компоненты являются равенство математического ожидания нулю , независимость последовательных уровней ряда остатков, их случайность и соответствие нормальному закону распределения.

1. Проверка равенства математического ожидания уровней ряда остатков нулю осуществляется в ходе проверки соответствующей нулевой гипотезы # 0: |е| = 0. С этой целью строится Г-статистика:

где е - среднее арифметическое значение уровней ряда остатков e t

- среднеквадратическое отклонение для этой

последовательности, рассчитанное по формуле для малой выборки.

На уровне значимости а гипотеза отклоняется, если "расч > ^табл(а, v)’ ? табл(а, v) критерий распределения Стьюдента с доверительной вероятностью (1 - а) и степенями свободы v = n - 1.

2. Проверка условия случайности возникновения отдельных отклонений от тренда. Для проверки случайности уровней ряда могут быть использованы следующие критерии:
- критерий «восходящих» и «нисходящих» серий (был описан ранее, см. с. 292);
- критерий «пиков», или критерий поворотных точек. Значение случайной переменной считается поворотной точкой, если оно одновременно больше (меньше) соседних с ним элементов. Если остатки случайны, то поворотная точка приходится примерно на каждые 1,5 наблюдения. Если их больше, то возмущения быстро колеблются и это не может быть объяснено только случайностью. Если же их меньше, то последовательные значения случайной компоненты положительно коррелированны.

Критерий случайности отклонений от тренда при уровне вероятности 0,95 можно представить как

где р - фактическое количество поворотных точек в случайном ряду; 1,96 - квантиль нормального распределения для 5%-го уровня значимости. Квадратные скобки здесь означают, что от результата вычисления следует взять целую часть.

Если неравенство не соблюдается, то ряд остатков нельзя считать случайным (т.е. он содержит регулярную компоненту), и стало быть, модель н е является адекватной.

3. Проверка условия независимости, или наличия (отсутствия) автокорреляции в отклонениях от модели роста, осуществляется с помощью критерия Дарбина - Уотсона [см. формулу (3.4.8)].
4. Соответствие ряда остатков нормальному закону распределения важно с точки зрения правомерности построения доверительных интервалов прогноза. Ввиду малого числа наблюдений в большинстве случаев это свойство может быть проверено лишь приближенными методами. Таким, в частности, является метод, основанный на вычислении коэффициентов асимметрии As и эксцесса Ех для ряда остатков:

Значения As и Ех для нормально распределенной совокупности равны нулю.

Если одновременно выполняются неравенства

то гипотеза о нормальном характере распределения случайной компоненты не отвергается.

Если выполняется хотя бы одно из неравенств :

гипотеза о нормальном характере распределения отвергается. В этих формулах

где - среднеквадратическая ошибка (СКО) выборочной характеристики асимметрии; а Ех - среднеквадратическая ошибка выборочной характеристики эксцесса.

В случае попадания коэффициентов асимметрии и эксцесса в зону неопределенности (между полутора и двумя СКО) используются другие критерии, в частности ^-критерий:

уровень ряда остатков; - среднеквадратичегде e mav и е . - соответственно максимальный и минимальный

ское отклонение ряда остатков.

Если расчетное значение RS попадает между табулированными границами с заданным уровнем вероятности, то гипотеза о нормальном распределении ряда остатков принимается. (Табличное значение /^-критерия см. в Приложении 5.) В этом случае допустимо строить доверительный интервал прогноза.

Если все пункты проверки дают положительный результат, то выбранная трендовая модель адекватна реальному ряду экономической динамики и ее можно использовать для построения прогнозных оценок. В противном случае - модель надо улучшать.

II. Оценка точности модели. В статистическом анализе известно большое число характеристик точности. Наиболее часто кроме среднеквадратического отклонения используются:

максимальная по абсолютной величине ошибка

относительная максимальная ошибка

средняя по модулю ошибка

средняя по модулю относительная ошибка

Эти показатели дают представление об абсолютной величине ошибки модели и о доле ошибки в процентном отношении к среднему значению результативного признака.

При использовании ретропрогноза - подхода, когда несколько последних уровней ряда оставляются в качестве проверочной последовательности, точность прогнозных оценок определяется на основе этих же показателей.

Лучшей по точности считается та модель, у которой все перечисленные характеристики имеют меньшую величину. Однако эти показатели по-разному отражают степень точности модели и потому нередко дают противоречивые выводы. Для однозначного выбора лучшей модели следует воспользоваться либо одним основным показателем, либо обобщенным критерием.

Оценка качества показывает, насколько теоретические вычисления по построенной модели отклоняются от экспериментальных данных. Наличие связи двух переменных называется корреляцией .

Если оценка качества применяется до исследования, то она решает задачу: есть ли связь между входом X и выходом Y и оценивает силу этой связи.

1. Линейный коэффициент корреляции

Линейный коэффициент корреляции указывает, есть ли между двумя рядами X и Y линейная зависимость и какой силы. Вычисляется по следующей формуле:

m x , m y , m xy математическое ожидание x , y , xy :

Дисперсия σ x 2 и σ y 2 показывает, насколько разбросаны точки от средней величины:

Линейный коэффициент корреляции может иметь знак плюс или минус. Положительная его величина свидетельствует о прямой связи между X и Y . Чем ближе KR к +1 , тем связь более тесная. Отрицательная величина его свидетельствует об обратной связи; в этом случае границей является 1 . Близость KR к нулю свидетельствует о слабой связи между X и Y (см. рис. 9.1 ).

Рис. 9.2.

Нелинейный коэффициент корреляции вычисляется по следующей формуле:

bug09.05. Проверить все эти формулы!!!

bug09.06. откуда берется "средняя величина"?

P разброс между реальными точками и средней величиной: bug09.07. средним значением?

D разброс между гипотетической кривой и реальными точками:

R разброс между гипотезой и средней величиной:

3. Коэффициент корреляции двух динамических рядов

X и Y представляются в виде рядов z i и u i для того, чтобы исключить постоянную составляющую: z i = x i m x
u i = y i m y

При r > 1 имеет место тесная корреляция. При r > 0 процессы взаимно ортогональны, корреляции нет, процессы не связаны друг с другом.

bug09.09 Более ясные рисунки

4. Корреляция внутри динамического ряда

Исследуется сила связи между прошлым и настоящим одного процесса. Для этого сигнал сравнивают с самим собой, сдвинутым во времени, и вычисляют коэффициент корреляции двух динамических рядов (см. п. 3).

bug09.12. Неясный рисунок

5. Поиск периодичности ряда

Есть ли периодичность в динамическом ряду, можно выяснить, проделав прямое преобразование Фурье и рассмотрев спектр исследуемого сигнала. Об этом рассказывается в лекции 07 «Модель динамической системы в виде Фурье представления (модель сигнала)»

6. Зависимость динамики ряда Z от двух динамических факторов X и Y

Рис. 9.5. bug09.13. Неясные рисунки (их не надо)

Коэффициент множественной корреляции R :

7. Связь двух признаков

где K это коэффициент ассоциаций, позволяет выяснить, имеется ли какая-либо связь между двумя признаками. Если данный коэффициент близок к единице, то в этом случае можно говорить о существовании такой связи.

Пример. Попытаемся с помощью данной формулы выяснить, есть ли связь между ростом и весом человека? Пусть в нашем распоряжении имеются данные о весе и росте 500 человек:

По формуле: K = (304 · 67 17 · 112)/(304 · 67 + 17 · 112) = 0.83. Так как величина 0.83 близка к 1, то можно говорить о существовании определенной связи между весом и ростом.

Часть 3. Обработка и анализ результатов моделирования.

Решения, принимаемые исследователем по результатам имитационного моделирования, могут быть конструктивными только при выполнении двух условий :

Полученные результаты обладают требуемой точностью и достоверностью;

Исследователь способен правильно интерпретировать полученные результаты и знать, каким образом они могут быть использованы.

Возможность выполнения первого условия закладывается, в-основном, еще на этапе разработки модели и частично – на этапе планирования эксперимента. Достоверность результатов моделирования предполагает, что модель, с помощью которой они получены, не только является правильной, но и отвечает некоторым дополнительным требованиям, предъявляемым к имитационным моделям.

Способность исследователя правильно интерпретировать полученные результаты и принимать на их основе правильные решения существенно зависит от соответствия формы представления результатов целям моделирования.

Если разработчик модели уверен, что полученные результаты будут использоваться в соответствии с одной, четко определенной целью, форма их представления может быть определена заранее. В этом случае преобразование экспериментальных данных к требуемому виду может производиться либо в ходе эксперимента, либо сразу после его завершения. Такой подход позволяет экономить память компьютера, необходимую для хранения большого количества необработанных данных, а также сократить время на анализ результатов и принятие решений.

Если же заранее конкретизировать цель моделирования сложно или целей несколько, данные должны накапливаться в базе данных и затем уже выдаваться в требуемой форме по запросу пользователя. Как правило, по такому принципу строятся системы автоматизации моделирования.

Оценка качества модели является завершающим этапом ее разработки и преследует две цели:

1) Проверить соответствие модели ее предназначению (целям исследования);

2) Оценить достоверность и статистические характеристики результатов, получаемых при проведении модельных экспериментов.

При аналитическом моделировании достоверность результатов определяется двумя основными факторами:

1) Корректным выбором математического аппарата, используемого для описания исследуемой системы;

2) Математической ошибкой, присущей данному математическому методу.

При имитационном моделировании на достоверность результатов влияет целый ряд дополнительных факторов, основными из которых являются:

1) Моделирование случайных факторов, основанное на использовании датчиков случайных чисел, которые могут вносить искажения в поведение модели;

2) Наличие нестационарного режима работы модели;

3) Использование нескольких разнотипных математических методов в рамках одной модели;

4) Зависимость результатов моделирования от плана эксперимента;

5) Необходимость синхронизации работы отдельных компонентов модели;

6) Наличие модели рабочей нагрузки, качество которой зависит, в свою очередь, от тех же факторов.

Пригодность имитационной модели для решения задач исследования характеризуется тем, в какой степени она обладает так называемыми целевыми свойствами. Основными из них являются:

Адекватность;

Устойчивость;

Чувствительность.

Оценка адекватности модели. В общем случае под адекватностью понимают степень соответствия модели тому реальному явлению или объекту, для описания которого она строится.

Вместе с тем, создаваемая модель ориентирована, как правило, на исследование определенного подмножества свойств этого объекта. Поэтому можно считать, что адекватность модели определяется степенью ее соответствия не столько реальному объекту, сколько целям исследования.

Один из наиболее распространенных способов формального обоснования адекватности разработанной модели – использование методов математической статистики. Суть этих методов заключается в проверке выдвинутой гипотезы (в данном случае – об адекватности модели) на основе некоторых статистических критериев. При проверке гипотез методами математической статистики необходимо иметь в виду, что статистические критерии не могут доказать ни одной гипотезы: они могут лишь указать на отсутствие опровержения.

Процедура оценки основана на сравнении измерений на реальной системе и результатов экспериментов на модели и может проводиться различными способами. Наиболее распространенные из них:

По средним значениям модели и системы;

По дисперсиям отклонений откликов модели от среднего значения откликов системы;

По максимальному значению относительных откликов модели от откликов системы.

Названные способы близки между собой, поэтому ограничимся рассмотрением первого из них. При этом способе проверяется гипотеза о близости среднего значения наблюдаемой переменной Y среднему значению отклика реальной системы Y*.

В результате N 0 опытов на реальной системе получают множество значений (выборку) Y*. Выполнив N M экспериментов на модели, также получают множество значений наблюдаемой переменной Y.

Затем вычисляются оценки математического ожидания и дисперсии откликов модели и системы, после чего выдвигается гипотеза о близости средних значений величин У* и У (в статистическом смысле). Основой для проверки гипотезы является t-статистика (распределение Стьюдента). Ее значение, вычисленное по результатам испытаний, сравнивается с критическим значением t кр, взятым из справочной таблицы. Если выполняется неравенство t < t кр, то гипотеза принимается.

Необходимо еще раз подчеркнуть, что статистические методы применимы только в том случае, если оценивается адекватность модели существующей системе. На проектируемой системе провести измерения, естественно, не представляется возможным. Единственный способ преодолеть это препятствие заключается в том, чтобы принять в качестве эталонного объекта концептуальную модель проектируемой системы. Тогда оценка адекватности программно реализованной модели заключается в проверке того, насколько корректно она отражает концептуальную модель. Данная проблема сходна с проверкой корректности любой компьютерной программы, и ее можно решать соответствующими методами, например с помощью тестирования.

Оценка устойчивости модели. При оценке адекватности модели как существующей, так и проектируемой системе реально может быть использовано лишь ограниченное подмножество всех возможных значений входных параметров (рабочей нагрузки и внешней среды). В связи с этим для обоснования достоверности получаемых результатов моделирования большое значение имеет проверка устойчивости модели. В теории моделирования это понятие трактуется следующим образом.

Устойчивость модели - это ее способность сохранять адекватность при исследовании эффективности системы на всем возможном диапазоне рабочей нагрузки, а также при внесении изменений в конфигурацию системы.

Каким образом может быть оценена устойчивость модели? Универсальной процедуры проверки устойчивости модели не существует. Разработчик вынужден прибегать к методам «для данного случая», частичным тестам и здравому смыслу. Часто бывает полезна апостериорная проверка. Она состоит в сравнении результатов моделирования и результатов измерений на системе после внесения в нее изменений. Если результаты моделирования приемлемы, уверенность в устойчивости модели возрастает.

В общем случае можно утверждать, что чем ближе структура модели структуре системы и чем выше степень детализации, тем устойчивее модель.

Устойчивость результатов моделирования может быть также оценена методами математической статистики. Здесь уместно вспомнить основную задачу математической статистики. Она заключается в том, чтобы проверить гипотезу относительно свойств некоторого множества элементов, называемого генеральной совокупностью, оценивая свойства какого-либо подмножества генеральной совокупности (т.е. выборки). В генеральной совокупности исследователя обычно интересует некоторый признак, который обусловлен случайностью и может иметь качественный или количественный характер.

В данном случае именно устойчивость результатов моделирования можно рассматривать как признак, подлежащий оценке. Для проверки гипотезы об устойчивости результатов может быть использован критерий Уилкоксона.

Критерий Уилкоксона служит для проверки того, относятся ли две выборки к одной и той же генеральной совокупности (т. е. обладают ли они одним и тем же статистическим признаком). Например, в двух партиях некоторой продукции измеряется определенный признак, и требуется проверить гипотезу о том, что этот признак имеет в обеих партиях одинаковое распределение; другими словами, необходимо убедиться, что технологический процесс от партии к партии изменяется несущественно.

При статистической оценке устойчивости модели соответствующая гипотеза может быть сформулирована следующим образом: при изменении входной (рабочей) нагрузки или структуры ИМ закон распределения результатов моделирования остается неизменным.

Проверку указанной гипотезы Н проводят при следующих исходных данных:

есть две выборки X = (x 1 ..., x n) и Y = (у 1 ..., у т), полученные для различных значений рабочей нагрузки; относительно законов распределения X и У никаких предположений не делается.

Значения обеих выборок упорядочиваются вместе по возрастанию. Затем анализируется взаимное расположение х i и у i . В случае у i < x i говорят, что пара значений (х i , у i) образует инверсию.

Например, пусть для n = т = 3 после упорядочивания получилась такая последовательность значений: y 1 , x 1 , у 3 , х 2 , у 2 , х 3 , тогда имеем инверсии: (х 1 , y 1 ), (х 2 , y 1 ), (х 2 , y 3), (x 3 ,y 1), (x 3 , y 2), (x 3 , y 3).

Подсчитывают полное число инверсий U. Если гипотеза верна, то U не должно сильно отклоняться от своего математического ожидания М: M =nm/2.

От гипотезы отказываются, если (определяют по таблице для заданного уровня значимости).

Оценка чувствительности ИМ. Очевидно, что устойчивость является положительным свойством модели. Однако если изменение входных воздействий или параметров модели (в некотором заданном диапазоне) не отражается на значениях выходных параметров, то польза от такой модели невелика (ее можно назвать «бесчувственной»). В связи с этим возникает задача оценивания чувствительности модели к изменению параметров рабочей нагрузки и внутренних параметров самой системы.

Такую оценку проводят по каждому параметру Х к в отдельности. Основана она на том, что обычно диапазон возможных изменений параметра известен. Одна из наиболее простых и распространенных процедур оценивания состоит в следующем.

1) вычисляется величина относительного среднего приращения параметра Х к:

2) проводится пара модельных экспериментов при значениях Х к = Х ктах и Х к = Х кт in и средних фиксированных значениях остальных параметров. Определяются значения отклика модели и ;

3) вычисляется ее относительное приращение наблюдаемой переменной Y:

В результате для k-ro параметра модели имеют пару значений , характеризующую чувствительность модели по этому параметру.

Аналогично формируются пары для остальных параметров модели, которые образуют множество .

Данные, полученные при оценке чувствительности модели, могут быть использованы, в частности, при планировании экспериментов: большее внимание должно уделяться тем параметрам, по которым модель является более чувствительной.

Калибровка модели. Если в результате проведенной оценки качества модели оказалось, что ее целевые свойства не удовлетворяют разработчика, необходимо выполнить ее калибровку, т. е. коррекцию с целью приведения в соответствие предъявляемым требованиям.

Как правило, процесс калибровки носит итеративный характер и состоит из трех основных этапов:

1) глобальные изменения модели (например, введение новых процессов, изменение типов событий и т. д.);

2) локальные изменения (в частности, изменение некоторых законов распределения моделируемых случайных величин);

3) изменение специальных параметров, называемых калибровочными.

На первый взгляд, структурные изменения модели, как более сложные, должны рассматриваться только после того, как все попытки откалибровать модель путем изменения параметров и локальных модификаций окажутся безуспешными. Однако такая стратегия может скрыть структурное несоответствие или недостаточную степень детальности модели. В этом смысле начинать калибровку с внесения глобальных изменений значительно безопаснее.

Вообще целесообразно объединить оценку целевых свойств ИМ и ее калибровку в единый процесс. Именно такая стратегия принята в статистическом методе калибровки, описанном ниже.

Процедура калибровки состоит из трех шагов, каждый из которых является итеративным.

Шаг 1. Сравнение выходных распределений.

Устранение различий на этом шаге основано на внесении глобальных изменений.

Шаг 2. Балансировка модели.

Основная задача - оценка устойчивости и чувствительности модели. По его результатам, как правило, производятся локальные изменения (но возможны и глобальные).

Шаг 3. Оптимизация модели.

Цель этого этапа - обеспечение требуемой точности результатов. Здесь возможны три основных направления работ:

дополнительная проверка качества датчиков СЧ;

снижение влияния переходного режима;

применение специальных методов понижения дисперсии.

Оценка качества модели является завершающим этапом ее разработки и преследует две цели:

1) проверить соответствие модели ее предназначению (целям исследования);

2) оценить достоверность и статистические характеристики результатов, получаемых при проведении модельных экспериментов.

При аналитическом моделировании достоверность результатов определяется двумя основными факторами:

1) корректным выбором математического аппарата, используемого для описания исследуемой системы;

2) методической ошибкой, присущей данному математическому методу.

Моделирование случайных факторов, основанное на использовании датчиков СЧ, которые могут вносить «искажения» в поведение модели;

Наличие нестационарного режима работы модели;

Использование нескольких разнотипных математических методов в рамках одной модели;

Зависимость результатов моделирования от плана эксперимента;

Необходимость синхронизации работы отдельных компонентов модели;

Наличие модели рабочей нагрузки, качество которой зависит, в свою очередь, от тех же факторов.

Адекватность;

Устойчивость;

Чувствительность.

Оценка адекватности модели. В общем случае под адекватностью понимают степень соответствия модели тому реальному явлению или объекту, для описания которого она строится. Адекватность модели определяется степенью ее соответствия не столько реальному объекту, сколько целям исследования.

Один из способов обоснования адекватности разработанной модели - использование методов математической статистики. Суть этих методов заключается в проверке выдвинутой гипотезы (в данном случае - об адекватности модели) на основе некоторых статистических критериев.

По средним значениям откликов модели и системы;

По дисперсиям отклонений откликов модели от среднего значения откликов системы;

По максимальному значению относительных отклонений откликов модели от откликов системы.

Оценка устойчивости модели. Устойчивость модели - это ее способность сохранять адекватность при исследовании эффективности системы на всем возможном диапазоне рабочей нагрузки, а также при внесении изменений в конфигурацию системы. Разработчик вынужден прибегать к методам «для данного случая», частичным тестам и здравому смыслу. Часто бывает полезна апостериорная проверка. Она состоит в сравнении результатов моделирования и результатов измерений на системе после внесения в нее изменений. Если результаты моделирования приемлемы, уверенность в устойчивости модели возрастает.

Чем ближе структура модели структуре системы и чем выше степень детализации, тем устойчивее модель. Устойчивость результатов моделирования может быть также оценена методами математической статистики .

Оценка чувствительности модели. Достаточно часто возникает задача оценивания чувствительности модели к изменению параметров рабочей нагрузки и внутренних параметров самой системы.

Такую оценку проводят по каждому параметру в отдельности. Основана она на том, что обычно диапазон возможных изменений параметра известен. Одна из наиболее простых и распространенных процедур оценивания состоит в следующем.

1) вычисляется величина относительного среднего приращения параметра :

2) проводится пара модельных экспериментов при значениях , и средних фиксированных значениях остальных параметров. Определяются значения отклика модели и ;

3) вычисляются ее относительное приращение наблюдаемой переменной :

В результате для -го параметра модели имеют пару значений , характеризующую чувствительность модели по этому параметру.

Аналогично формируются пары для остальных параметров модели, которые образуют множество .

Калибровка модели. Если в результате проведенной оценки качества модели оказалось, что ее целевые свойства не удовлетворяют разработчика, необходимо выполнить ее калибровку, т. е. коррекцию с целью приведения в соответствие предъявляемым требованиям.

Как правило, процесс калибровки носит итеративный характер и состоит из трех основных этапов :

1) глобальные изменения модели (например, введение новых процессов, изменение типов событий и т. д.);

3) изменение специальных параметров, называемых калибровочными.

Целесообразно объединить оценку целевых свойств имитационной модели и ее калибровку в единый процесс.

Процедура калибровки состоит из трех шагов, каждый из которых является итеративным (рис. 1.11).

Шаг 1. Сравнение выходных распределений.

Цель - оценка адекватности ИМ. Критерии сравнения могут быть различны. В частности, может использоваться величина разности между средними значениями откликов модели и системы. Устранение различий на этом шаге основано на внесении глобальных изменений.

Шаг 2. Балансировка модели.

Шаг 3. Оптимизация модели.

Цель этого этапа - обеспечение требуемой точности результатов. Здесь возможны три основных направления работ: дополнительная проверка качества датчиков случайных чисел; снижение влияния переходного режима; применение специальных методов понижения дисперсии.

Существует несколько признанных наград в области качества, которые являются настолько престижными, что компании в стремлении получить их уделяют их критериям не меньше внимания, чем требованиям стандартов ISO. Отметим наиболее известные из них.

1. Приз Эдварда Деминга является высоко котирующейся наградой японского правительства, присуждаемой за успешную деятельность в области качества. Приз ежегодно присуждается производству, которое отвечает его стандартам. Главное внимание при оценке уделяется статистическому контролю качества, что сужает диапазон этой награды по сравнению с премией Болдриджа, которая больше фокусируется на удовлетворении запросов потребителя. Компании, которые завоевывают приз Деминга, обычно имеют программы качества, которые тщательно детализированы и широко распространены по всей организации.

Оценочная модель критериев Деминга включает десять компонентов:

1. Политика.

2. Организация и ее управление.

3. Образование и его распространение.

4. Управление качеством.

5. Анализ.

6. Стандартизация.

7. Контроль.

8. Гарантия качества.

9. Результаты.

10. Планирование (будущие планы).

2. Награда Европейского форума качества, European Quality Award (EQA). В основе модели оценки EQA лежит оценка систему управления организации, которая позволяет ясно различить ее сильные и слабые стороны. Критериями являются вопросы–тесты в следующих областях:

1) лидерство – 10 % оценки;

2) управление персоналом – 9 %;

3) политика и стратегии – 8 %;

4) ресурсы – 9 %;

5) процессы – 14 %;

6) удовлетворение запросов людей – 9 %;

7) удовлетворение потребностей – 20 %;

8) воздействие на общество – 6 %;

9) результаты – 15 %.

Девять элементов, используемых для оценки экспертов, относятся к критериям, которые отражают рост уровня качества в организации. Для удобства их делят на средства (15) и результаты (69).

3. Премия Болдриджа, Malcolm Baldrige National Quality Award (МВА). Цель соревнования за эту награду – стимулировать усилия по улучшению качества, отметить достижения компаний США в области качества и публиковать наиболее успешные программы. Ежегодно правительством США присуждается не более двух премий по каждой из 3 категорий: крупное производство, крупная компания из сферы услуг, малый бизнес (500 сотрудников и менее).

Участники оцениваются в семи главных сферах:

1) лидерство – 100 баллов;

2) информация и анализ – 70 баллов;

3) стратегическое планирование – 60 баллов;

4) использование ресурсов – 150 баллов;

5) гарантии качества – 140 баллов;

6) результирующее качество – 180 баллов;

7) удовлетворение потребителей – 300 баллов.

Множество компаний в США используют критерии Малколма Болдриджа для построения собственных систем качества. Например, компания Моторола (Чикаго, Иллинойс) разработала собственные стандарты качества Motorola Corporate Quality System Review (QSR), в которых были учтены критерии ISO 9001:1994, критерии премии Болдриджа, концепции 6SIGMA и 5NINES, TL9000 (стандарты качества в области телекоммуникаций) и несколько других стандартов. В настоящее время специалисты этой компании, проводя аудит систем качества в соответствии с критериями QSR, обеспечивают удовлетворение требований всех перечисленных стандартов.