Введение в многомерный статистический анализ - калинина. Многомерный статистический анализ Многомерный статистический анализ метод главных компонент

Внедрение ПЭВМ в управление народным хозяйством предполагает переход от традиционных методов анализа деятельности предприятий в более совершенных моделей управления экономикой, которые позволяют раскрыть ее глубинные процессы.

Широкое использование в экономических исследованиях методов математической статистики дает возможность углубить экономический анализ, повысить качество информации в планировании и прогнозировании показателей производства и анализа его эффективности.

Сложность и разнообразие связей экономических показателей обусловливают многомерность признаков и в связи с этим требуют применения наиболее сложного математического аппарата - методов многомерного статистического анализа.

Понятие "многомерный статистический анализ" подразумевает объединение ряда методов, призванных исследовать сочетание взаимосвязанных признаков. Речь идет о расчленении (разбиение) рассматриваемой совокупности, которая представлена многомерными признаками на относительно небольшую их количество.

При этом переход от большого количества признаков к меньшей преследует цель снижения их размерности и повышения информативной емкости. Такая цель достигается путем выявления информации, повторяется, порождаемой взаимосвязанными признаками, установлением возможности агрегирования (объединения, суммирование) по некоторым признакам. Последнее предполагает превращение фактической модели в модель с меньшим количеством факторных признаков.

Метод многомерного статистического анализа позволяет выявлять объективно существующие, но явно не выражены закономерности, которые проявляются в тех или иных социально - экономических явлениях. С этим приходится сталкиваться при решении ряда практических задач в области экономики. В частности, сказанное имеет место, если необходимо накапливать (фиксировать) одновременно значения нескольких количественных характеристик (признаков) по изучаемому объекту наблюдения, когда каждая характеристика склонна к неконтролируемой вариации (в разрезе объектов), несмотря на однородность объектов наблюдения.

Например, исследуя однородные (по природно-экономическими условиями и типом специализации) предприятия по ряду показателей эффективности производства, убеждаемся, что при переходе от одного объекта к другому почти каждый из отобранных характеристик (идентичных) имеет неодинаковое числовое значение, то есть находит так сказать неконтролируемый (случайный) разброс. Такое "случайное" варьирования признаков, как правило, подчиняется некоторым (закономерным) тенденциям как в плане достаточно определенных размеров признаков, вокруг которых осуществляется вариация, так и в плане степени и взаимозависимости самого варьирования.

Сказанное выше приводит к определению многомерной случайной величины как набора количественных признаков, значение каждой из которых подвергается неконтролируемом разброса при повторениях данного процесса, статистического наблюдения, опыта, эксперимента и др.

Ранее было сказано, что многомерный анализ объединяет ряд методов; назовем их: факторный анализ, метод главных компонент, кластерный анализ, распознавание образов, дискриминантный анализ и и др. Первые три из названных методов рассматриваться в следующих параграфах.

Как и другие математико - статистические методы, многомерный анализ может быть эффективным в своем применении при условии высокого качества исходной информации и массовости данных наблюдений, обрабатываются с помощью ПЭВМ.

Основные понятия метода факторного анализа, суть решаемых им задач

При анализе (в равной степени и исследованы) социально - экономических явлений приходится часто встречаться со случаями, когда среди разнообразия (багатопараметричности) объектов наблюдения необходимо исключать долю параметров, или заменить их меньшим количеством тех или других функций, не причинив вреда целостности (полноте) информации. Решение такой задачи имеет смысл в рамках определенной модели и обусловлено ее структурой. Примером такой модели, которая наиболее подходит ко многим реальным ситуациям, является модель факторного анализа, методы которого позволяют сконцентрировать признаки (информацию о них) путем "конденсации" большого числа в меньше, информационное более емкое. При этом полученный "конденсат" информации должен быть представлен наиболее существенными и определяющими количественными характеристиками.

Понятие "факторный анализ" не надо смешивать с широким понятием анализа причинно - следственных связей, когда изучается влияние различных факторов (их сочетаний, комбинаций) на результативный признак.

Суть метода факторного анализа заключается в исключении описания множественных характеристик изучаемых и замене его меньшим количеством информационно более емких переменных, которые называются факторами и отражают наиболее существенные свойства явлений. Такие переменные являются некоторыми функциями исходных признаков.

Анализ, по словам Я. Окуня 9, позволяет иметь первые приближенные характеристики закономерностей, лежащих в основе явления, сформулировать первые, общие выводы о направлениях, в которых нужно вести дальнейшее исследование. Далее он указывает на основное предположение факторного анализа, которое сводиться к тому, что явление, несмотря на свою разнородность и изменчивость можно описывать небольшим количеством функциональных единиц, параметров или факторов. Эти сроки называют по - разному: влияние, причины, параметры, функциональные единицы, способности, основные или независимые показатели. Использование того или иного срока обусловлено

Окунь Я. Факторный анализ: Пер. с. пол. М.: Статистика, 1974.- С.16.

контекстом о факторе и знанием сути изучаемого явления.

Этапами факторного анализа являются последовательные сопоставления различных наборов факторов и вариантов группам с их включением, выключением и оценкой достоверности различий между группами.

В.М.Жуковська и И.Б.Мучник 10, говоря о сути задач факторного анализа, утверждают, что последний не требует априорного подразделения переменных на зависимые и независимые, поскольку все переменные в нем рассматриваются как равноправные.

Задача факторного анализа сводится к определенному понятию, числа и природы наиболее существенных и относительно независимых функциональных характеристик явления, его измерителей или базовых параметров - факторов. По мнению авторов, важной отличительной особенностью факторного анализа является то, что он позволяет одновременно исследовать большое число взаимосвязанных переменных без допущения о "неизменности всех других условий", так необходимого при использовании ряда других методов анализа. В этом большое преимущество факторного анализа как ценного инструмента исследования явления, обусловленного сложной разнообразием и взаемопереплетенням связей.

Анализ опирается в основном на наблюдения над естественным варьированием переменных.

1. При использовании факторного анализа совокупность переменных, которые изучаются с точки зрения связей между ними, не выбирается произвольно: этот метод позволяет выявлять основные факторы, которые осуществляют существенное влияние в данной области.

2. Анализ не требует предварительных гипотез, наоборот, он сам может служить методом выдвижения гипотез, а также выступать критерием гипотез, опирающихся на данные, полученные другими методами.

3. Анализ не требует априорных догадок относительно того, какие переменные независимы, а зависимые, он не гипертрофирует причинные связи и решает вопрос об их мере в процессе дальнейших исследований.

Перечень конкретных задач, решаемых с использованием методов факторного анализа будет таким (по В.М.Жуковською). Назовем основные из них в области социально-экономических исследований:

Жуковская В.М., Мучник И.Б. Факторный анализ в социально-Экономическим исследованиях. -Статистика, 1976. С.4.

1. Определение основных аспектов различий между объектами наблюдения (минимизация описание).

2. Формулировка гипотез о природе различий между объектами.

3. Выявление структуры взаимосвязей между признаками.

4. Проверка гипотез о взаимосвязи и взаимозаменяемости признаков.

5. Сопоставление структур наборов признаков.

6. Расчленение объектов наблюдения за типичными признаками.

Изложенное свидетельствует о больших возможностях факторного анализа в

исследовании общественных явлений, где, как правило, невозможно проконтролировать (экспериментально) влияние отдельных факторов.

Достаточно эффективным является использование результатов факторного анализа в моделях множественной регрессии.

Имея предварительно сформированную корреляционно-регрессионную модель изучаемого явления в виде коррелированных признаков, с помощью факторного анализа можно такой набор признаков превратить в значительно меньшую их количество путем агрегирования. При этом следует отметить, что такое преобразование ни в коей мере не ухудшает качество и полноту информации об изучаемом явлении. Созданные агрегированные признаки некоррелированы и представляют линейную комбинацию первичных признаков. С формальной математической стороны постановка задач в таком случае может иметь бесконечную множественную решений. Но нужно помнить, что при изучении социально - экономических явлений полученные агрегированные признаки должны иметь экономически обоснованное трактовки. Иначе говоря, в каком - либо случае использования математического аппарата в первую очередь выходят из знаний экономической сути изучаемых явлений.

Таким образом, сказанное выше позволяет резюмировать, что факторный анализ является специфическим методом исследования, который осуществляется на базе арсенала приемов математической статистики.

Свое практическое применение факторный анализ впервые нашел в области психологии. Возможность свести большое количество психологических тестов к небольшому количеству факторов позволило объяснить способности человеческого интеллекта.

При исследовании социально-экономических явлений, где есть трудности в изолировании влияния отдельных переменных, успешно может быть использован факторный анализ. Применение его приемов позволяет путем определенных расчетов "профильтровать" несущественные признаки и продолжить исследования в направлении его углубления.

Эффективность этого метода очевидна при исследовании таких вопросов (проблем): в экономике - специализация и концентрация производства, интенсивность ведения хозяйства, бюджет семей работников, построение различных обобщающих показателей. и т.д

По эконометрике

Многомерный статистический анализ

В многомерном статистическом анализе выборка состоит из элементов многомерного пространства. Отсюда и название этого раздела эконометрических методов. Из многих задач многомерного статистического анализа рассмотрим две - восстановления зависимости и классификации.

Оценивание линейной прогностической функции

Начнем с задачи точечного и доверительного оценивания линейной прогностической функции одной переменной.

Исходные данные – набор n пар чисел (t k , x k), k = 1,2,…,n, где t k – независимая переменная (например, время), а x k – зависимая (например, индекс инфляции, курс доллара США, объем месячного производства или размер дневной выручки торговой точки). Предполагается, что переменные связаны зависимостью

x k = a (t k - t ср)+ b + e k , k = 1,2,…,n,

где a и b – параметры, неизвестные статистику и подлежащие оцениванию, а e k – погрешности, искажающие зависимость. Среднее арифметическое моментов времени

t ср = (t 1 + t 2 +…+t n) / n

введено в модель для облегчения дальнейших выкладок.

Обычно оценивают параметры a и b линейной зависимости методом наименьших квадратов. Затем восстановленную зависимость используют для точечного и интервального прогнозирования.

Как известно, метод наименьших квадратов был разработан великим немецким математиком К. Гауссом в 1794 г. Согласно этому методу для расчета наилучшей функции, приближающей линейным образом зависимость x от t, следует рассмотреть функцию двух переменных

Чтобы найти эти оценки, надо вычислить частные производные от функции f(a,b) по аргументам a и b, приравнять их 0, затем из полученных уравнений найти оценки: Имеем:

Преобразуем правые части полученных соотношений. Вынесем за знак суммы общие множители 2 и (-1). Затем рассмотрим слагаемые. Раскроем скобки в первом выражении, получим, что каждое слагаемое разбивается на три. Во втором выражении также каждое слагаемое есть сумма трех. Значит, каждая из сумм разбивается на три суммы. Имеем:

Приравняем частные производные 0. Тогда в полученных уравнениях можно сократить множитель (-2). Поскольку

уравнения приобретают вид

Следовательно, оценки метода наименьших квадратов имеют вид

Эту оценку нетрудно преобразовать и к виду

Следовательно, восстановленная функция, с помощью которой можно прогнозировать и интерполировать, имеет вид

x*(t) = a*(t - t ср)+ b*.

Обратим внимание на то, что использование t ср в последней формуле ничуть не ограничивает ее общность. Сравним с моделью вида

x k = c t k + d + e k , k = 1,2,…,n.

Ясно, что

Аналогичным образом связаны оценки параметров:

Для получения оценок параметров и прогностической формулы нет необходимости обращаться к какой-либо вероятностной модели. Однако для того, чтобы изучать погрешности оценок параметров и восстановленной функции, т.е. строить доверительные интервалы для a*, b* и x*(t), подобная модель необходима.

Непараметрическая вероятностная модель. Пусть значения независимой переменной t детерминированы, а погрешности e k , k = 1,2,…,n, - независимые одинаково распределенные случайные величины с нулевым математическим ожиданием и дисперсией

В дальнейшем неоднократно будем использовать Центральную Предельную Теорему (ЦПТ) теории вероятностей для величин e k , k = 1,2,…,n (с весами), поэтому для выполнения ее условий необходимо предположить, например, что погрешности e k , k = 1,2,…,n, финитны или имеют конечный третий абсолютный момент. Однако заострять внимание на этих внутриматематических "условиях регулярности" нет необходимости.

Асимптотические распределения оценок параметров. Из формулы (2) следует, что

Согласно ЦПТ оценка b* имеет асимптотически нормальное распределение с математическим ожиданием b и дисперсией

Из формул (2) и (5) вытекает, что

Последнее слагаемое во втором соотношении при суммировании по i обращается в 0, поэтому из формул (2-4) следует, что

Формула (6) показывает, что оценка

Отметим, что многомерная нормальность имеет быть, когда каждое слагаемое в формуле (6) мало сравнительно со всей суммой, т.е.

Из формул (5) и (6) и исходных предположений о погрешностях вытекает также несмещенность оценок параметров.

Несмещенность и асимптотическая нормальность оценок метода наименьших квадратов позволяют легко указывать для них асимптотические доверительные границы (аналогично границам в предыдущей главе) и проверять статистические гипотезы, например, о равенстве определенным значениям, прежде всего 0. Предоставляем читателю возможность выписать формулы для расчета доверительных границ и сформулировать правила проверки упомянутых гипотез.

Асимптотическое распределение прогностической функции. Из формул (5) и (6) следует, что

т.е. рассматриваемая оценка прогностической функции является несмещенной. Поэтому

При этом, поскольку погрешности независимы в совокупности и

Таким образом,

Социальные и экономические объекты, как правило, характеризуются достаточно большим числом параметров, образующих многомерные векторы, и особое значение в экономических и социальных исследованиях приобретают задачи изучения взаимосвязей между компонентами этих векторов, причем эти взаимосвязи необходимо выявлять на основании ограниченного числа многомерных наблюдений.

Многомерным статистическим анализом называется раздел математической статистики, изучающий методы сбора и обработки многомерных статистических данных, их систематизации и обработки с целью выявления характера и структуры взаимосвязей между компонентами исследуемого многомерного признака, получения практических выводов.

Отметим, что способы сбора данных могут различаться. Так, если исследуется мировая экономика, то естественно взять в качестве объектов, на которых наблюдаются значения вектора X, страны, если же изучается национальная экономическая система, то естественно наблюдать значения вектора X на одной и той же (интересующей исследователя) стране в различные моменты времени.

Такие статистические методы, как множественный корреляционный и регрессионный анализ, традиционно изучаются в курсах теории вероятностей и математической статистики , рассмотрению прикладных аспектов регрессионного анализа посвящена дисциплина «Эконометрика» .

Другим методам исследования многомерных генеральных совокупностей на основании статистических данных посвящено данное пособие.

Методы снижения размерности многомерного пространства позволяют без существенной потери информации перейти от первоначальной системы большого числа наблюдаемых взаимосвязанных факторов к системе существенно меньшего числа скрытых (ненаблюдаемых) факторов, определяющих вариацию первоначальных признаков. В первой главе описываются методы компонентного и факторного анализа, с использованием которых можно выявлять объективно существующие, но непосредственно не наблюдаемые закономерности при помощи главных компонент или факторов.

Методы многомерной классификации предназначены для разделения совокупностей объектов (характеризующиеся большим числом признаков) на классы, в каждый из которых должны входить объекты, в определенном смысле однородные или близкие. Такую классификацию на основании статистических данных о значениях признаков на объектах можно провести методами кластерного и дискриминантного анализа, рассматриваемыми во второй главе (Многомерный статистический анализ с использованием “STATISTICA”).

Развитие вычислительной техники и программного обеспечения способствует широкому внедрению методов многомерного статистического анализа в практику. Пакеты прикладных программ с удобным пользовательским интерфейсом, такие как SPSS, Statistica, SAS и др., снимают трудности в применении указанных методов, заключающиеся в сложности математического аппарата, опирающегося на линейную алгебру, теорию вероятностей и математическую статистику, и громоздкости вычислений.

Однако применение программ без понимания математической сущности используемых алгоритмов способствует развитию у исследователя иллюзии простоты применения многомерных статистических методов, что может привести к неверным или необоснованным результатам. Значимые практические результаты могут быть получены только на основе профессиональных знаний в предметной области, подкрепленных владением математическими методами и пакетами прикладных программ, в которых эти методы реализованы.

Поэтому для каждого из рассматриваемых в данной книге методов приводятся основные теоретические сведения, в том числе алгоритмы; обсуждается реализация этих методов и алгоритмов в пакетах прикладных программ. Рассматриваемые методы иллюстрируются примерами их практического применения в экономике с использованием пакета SPSS.

Пособие написано на основе опыта чтения курса «Многомерные статистические методы» студентам Государственного университета управления. Для более подробного изучения методов прикладного многомерного статистического анализа рекомендуются книги .

Предполагается, что читатель хорошо знаком с курсами линейной алгебры (например, в объеме учебника и приложения к учебнику ), теории вероятностей и математической статистики (например, в объеме учебника ).

Изложены основные понятия и методы статистического анализа многомерных результатов технических экспериментов . <...> Приведены теоретические сведения о свойствах многомерных гауссовских распределений . <...> Результатом эксперимента, рассматриваемого в пособии, является случайный вектор , распределенный по нормальному закону. <...> Многомерная нормальная плотность Часто результатом эксперимента является совокупность чисел, характеризующая некоторый исследуемый объект. <...> 4 f x  Запись в виде ξ  ~ (ND ,)μ  имеет p-мерное нормальное распределение . означает, что вектор ξ , ξ) принимает различные значения, поэтому с полным основанием можно говорить о случайном векторе 12 компонент вектора ,ξ  компонент,ξ  т. е. EDE E   ξ= E E ξ ξ  = μ = ξ − μ ξ − μ ()()  ξp где Е – знак математического ожидания. <...> Пусть η ров p pЧ   шениями μ= ν +B ;.   bD BD Bη ξ = ′ , (1.3) Матрица D из (1.2) – симметричная, положительно-определенная, поэтому справедливо ее представление D CC′=Λ где C – ортогональная матрица , составленная из собственных векторов матрицы ;D Λ – диагональная матрица с собственными числами λ>i 0 матрицы D по главной диагонали. <...> Совместная плотность его компонент,1,η=i ip, определенная по общим правилам (см. приложение), равна 5 (1.4) ; линейное преобразование ,η  где B – квадратная матрица разме – случайный вектор, вариаций,. <...> Оценивание параметров нормального распределения Пусть 12 ξ , nξξ    купности, т. е. статистической обработки является оценка вектора средних μ  и i ND . <...> Основной задачей первичной μ=i n  матрицы ковариаций . <...> A ln ∂ = (1.5) Учитывая правила дифференцирования функционалов по векторному или матричному аргументам (см. <...> Тогда σ = ξ −ξ ξ − ξ = ξ ξ −ξ ξ∑∑ ij nn ki i kj j kk Здесь kiξ – i-я компонента вектора среднего iμ i-й компоненты вектора . <...> Оценки максимального правдоподобия коэфij / ρ=σ σ σ имеют вид ij ,. ij ii jj ri j σ σσ  ≠ ii jj Доказательство. <...> Оценивание зависимости между компонентами нормального вектора Подробный анализ связей <...>

МУ_к_выполнению_курсовой_работы_«Многомерный_статистический_анализ».pdf

УДК 519.2 ББК 22.172 К27 Рецензент В.Ю. Чуев Карташов Г.Д., Тимонин В.И., Будовская Л.М. К27 Многомерный статистический анализ: Методические указания к выполнению курсовой работы. – М.: Изд-во МГТУ им. Н.Э. Баумана, 2007. – 48 с.: ил. Изложены основные понятия и методы статистического анализа многомерных результатов технических экспериментов. Приведены теоретические сведения о свойствах многомерных гауссовских распределений. Для студентов старших курсов факультета фундаментальных наук. Ил. 2. Библиогр. 5 назв. УДК 519.2 ББК 22.172 © МГТУ им. Н.Э. Баумана, 2007

Стр.2

ОГЛАВЛЕНИЕ Введение....................................................................................................... 3 1. Многомерное нормальное распределение...................................... 4 2. Статистические выводы о векторе средних.................................... 17 3. Дискриминантный анализ................................................................. 23 4. Метод главных компонент............................................................... 27 5. Канонические корреляции................................................................ 30 6. Многомерный регрессионный анализ............................................. 35 7. Факторный анализ............................................................................. 40 Приложение.................................................................................................. 44 Список литературы...................................................................................... 46 47

Дисперсионный анализ.

Целью дисперсионного анализа является проверка статистической значимости различия между средними (для групп или переменных). Эта проверка проводится с помощью разбиения суммы квадратов на компоненты, т.е. с помощью разбиения общей дисперсии (вариации) на части, одна из которых обусловлена случайной ошибкой (то есть внутригрупповой изменчивостью), а вторая связана с различием средних значений. Последняя компонента дисперсии затем используется для анализа статистической значимости различия между средними значениями. Если это различие значимо , нулевая гипотеза отвергается и принимается альтернативная гипотеза о существовании различия между средними.

Разбиение суммы квадратов. Для выборки объема n выборочная дисперсия вычисляется как сумма квадратов отклонений от выборочного среднего, деленная на n-1 (объем выборки минус единица). Таким образом, при фиксированном объеме выборки n дисперсия есть функция суммы квадратов (отклонений). В основе дисперсионного анализа лежит разделение дисперсии на части или компоненты, т.е. выборка разбивается на две части в которых вычисляются среднии и сумма квадратов отклонений. Расчет тех же показателей по выборки в целом дает большее значение дисперсии, что объясняется расхождение между групповыми средними. Таким образом, дисперсионный анализ позволяет объяснить внутригрупповую изменчивость, которая при исследовании всей группы в целом не может быть изменена.

Проверка значимости в дисперсионном анализе основана на сравнении компоненты дисперсии, обусловленной межгрупповым и компоненты дисперсии, обусловленной внутригрупповым разбросом (называемой средним квадратом ошибки). Если верна нулевая гипотеза (равенство средних в двух популяциях), то можно ожидать сравнительно небольшое различие выборочных средних из-за чисто случайной изменчивости. Поэтому, при нулевой гипотезе, внутригрупповая дисперсия будет практически совпадать с общей дисперсией, подсчитанной без учета групповой принадлежности. Полученные внутригрупповые дисперсии можно сравнить с помощью F-критерия, проверяющего, действительно ли отношение дисперсий значимо больше 1.

Преимущества: 1) дисперсионный анализ существенно более эффективен и, для малых выборок, т.к. более информативен; 2)дисперсионный анализ позволяет обнаружить эффекты взаимодействия между факторами и, поэтому, позволяет проверять более сложные гипотезы

Метод главных компонент состоит в линейном понижении размерности, в котором определяются попарно ортогональные направления максимальной вариации исходных данных, после чего данные проектируются на пространство меньшей размерности, порожденное компонентами с наибольшей вариацией.

Метод главных компонент является частью факторного анализа, который состоит в том, что две коррелированные переменные объединены в один фактор. Если пример с двумя переменными распространить на большее число переменных, то вычисления становятся сложнее, однако основной принцип представления двух или более зависимых переменных одним фактором остается в силе.

При сокращении числа переменных решение о том, когда следует остановить процедуру выделения факторов, главным образом зависит от точки зрения на то, что считать малой "случайной" изменчивостью. При повторных итерациях выделяются факторы с все меньшей и меньшей дисперсией.

Центроидный метод определения факторов.

Центроидный метод используется при кластерном анализе. В этом методе расстояние между двумя кластерами определяется как расстояние между их центрами тяжести при не взвешенном центроидном методе..

Взвешенный центроидный метод (медиана) идентичен не взвешенному, за исключением того, что при вычислениях используются веса для учёта разницы между размерами кластеров (т.е. числами объектов в них). Поэтому, если имеются (или подозреваются) значительные отличия в размерах кластеров, этот метод оказывается предпочтительнее предыдущего.

Кластерный анализ.

Термин кластерный анализ в действительности включает в себя набор различных алгоритмов классификации. Общий вопрос, задаваемый исследователями во многих областях, состоит в том, как организовать наблюдаемые данные в наглядные структуры, т.е. определить кластеры схожих объектов. Фактически, кластерный анализ является не столько обычным статистическим методом, сколько "набором" различных алгоритмов "распределения объектов по кластерам". Существует точка зрения, что в отличие от многих других статистических процедур, методы кластерного анализа используются в большинстве случаев тогда, когда вы не имеете каких-либо априорных гипотез относительно классов, но все еще находитесь в описательной стадии исследования. Следует понимать, что кластерный анализ определяет "наиболее возможно значимое решение".

Алгоритм древовидной кластеризации. Назначение этого алгоритма состоит в объединении объектов в достаточно большие кластеры, используя некоторую меру сходства или расстояние между объектами. Типичным результатом такой кластеризации является иерархическое дерево, которое представляет собой диаграмму. Диаграмма начинается с каждого объекта в классе (в левой части диаграммы). Теперь представим себе, что постепенно (очень малыми шагами) вы "ослабляете" ваш критерий о том, какие объекты являются уникальными, а какие нет. Другими словами, вы понижаете порог, относящийся к решению об объединении двух или более объектов в один кластер. В результате, вы связываете вместе всё большее и большее число объектов и агрегируете (объединяете) все больше и больше кластеров, состоящих из все сильнее различающихся элементов. Окончательно, на последнем шаге все объекты объединяются вместе. На этих диаграммах горизонтальные оси представляют расстояние объединения (в вертикальных древовидных диаграммах вертикальные оси представляют расстояние объединения). Так, для каждого узла в графе (там, где формируется новый кластер) вы можете видеть величину расстояния, для которого соответствующие элементы связываются в новый единственный кластер. Когда данные имеют ясную "структуру" в терминах кластеров объектов, сходных между собой, тогда эта структура, скорее всего, должна быть отражена в иерархическом дереве различными ветвями. В результате успешного анализа методом объединения появляется возможность обнаружить кластеры (ветви) и интерпретировать их.

Дискриминантный анализ используется для принятия решения о том, какие переменные различают (дискриминируют) две или более возникающие совокупности (группы). Наиболее общим применением дискриминантного анализа является включение в исследование многих переменных с целью определения тех из них, которые наилучшим образом разделяют совокупности между собой. Другими словами, вы хотите построить "модель", позволяющую лучше всего предсказать, к какой совокупности будет принадлежать тот или иной образец. В следующем рассуждении термин "в модели" будет использоваться для того, чтобы обозначать переменные, используемые в предсказании принадлежности к совокупности; о неиспользуемых для этого переменных будем говорить, что они "вне модели".

В пошаговом анализе дискриминантных функций модель дискриминации строится по шагам. Точнее, на каждом шаге просматриваются все переменные и находится та из них, которая вносит наибольший вклад в различие между совокупностями. Эта переменная должна быть включена в модель на данном шаге, и происходит переход к следующему шагу.

Можно также двигаться в обратном направлении, в этом случае все переменные будут сначала включены в модель, а затем на каждом шаге будут устраняться переменные, вносящие малый вклад в предсказания. Тогда в качестве результата успешного анализа можно сохранить только "важные" переменные в модели, то есть те переменные, чей вклад в дискриминацию больше остальных.

Эта пошаговая процедура "руководствуется" соответствующим значением F для включения и соответствующим значением F для исключения. Значение F статистики для переменной указывает на ее статистическую значимость при дискриминации между совокупностями, то есть, она является мерой вклада переменной в предсказание членства в совокупности.

Для двух групп дискриминантный анализ может рассматриваться также как процедура множественной регрессии. Если вы кодируете две группы как 1 и 2, и затем используете эти переменные в качестве зависимых переменных в множественной регрессии, то получите результаты, аналогичные тем, которые получили бы с помощью дискриминантного анализа. В общем, в случае двух совокупностей вы подгоняете линейное уравнение следующего типа:

Группа = a + b1*x1 + b2*x2 + ... + bm*xm

где a является константой, и b1...bm являются коэффициентами регрессии. Интерпретация результатов задачи с двумя совокупностями тесно следует логике применения множественной регрессии: переменные с наибольшими регрессионными коэффициентами вносят наибольший вклад в дискриминацию.

Если имеется более двух групп, то можно оценить более, чем одну дискриминантную функцию подобно тому, как это было сделано ранее. Например, когда имеются три совокупности, вы можете оценить: (1) - функцию для дискриминации между совокупностью 1 и совокупностями 2 и 3, взятыми вместе, и (2) - другую функцию для дискриминации между совокупностью 2 и совокупности 3. Например, вы можете иметь одну функцию, дискриминирующую между теми выпускниками средней школы, которые идут в колледж, против тех, кто этого не делает (но хочет получить работу или пойти в училище), и вторую функцию для дискриминации между теми выпускниками, которые хотят получить работу против тех, кто хочет пойти в училище. Коэффициенты b в этих дискриминирующих функциях могут быть проинтерпретированы тем же способом, что и ранее.

Каноническая корреляция.

Канонический анализ предназначен для анализа зависимостей между списками переменными. Если говорить точнее, он позволяет исследовать зависимость между двумя множествами переменных. При вычислении канонических корней подсчитывают собственные значения матрицы корреляций. Эти значения равны доле дисперсии, объясняемой корреляцией между соответствующими каноническими переменными. При этом полученная доля вычисляется относительно дисперсии канонических переменных, т.е. взвешенных сумм по двум множествам переменных; таким образом, собственные значения не показывают абсолютного значения, объясняемого в соответствующих канонических переменных.

Если извлечь квадратный корень из полученных собственных значений, получим набор чисел, который можно проинтерпретировать как коэффициенты корреляции. Поскольку они относятся к каноническим переменным, их также называют каноническими корреляциями. Как и собственные значения, корреляции между последовательно выделяемыми на каждом шаге каноническими переменными, убывают. Однако другие канонические переменные также могут быть значимо коррелированы, и эти корреляции часто допускают достаточно осмысленную интерпретацию.

Критерий значимости канонических корреляций сравнительно несложен. Во-первых, канонические корреляции оцениваются одна за другой в порядке убывания. Только те корни, которые оказались статистически значимыми, оставляются для последующего анализа. Хотя на самом деле вычисления происходят немного иначе. Программа сначала оценивает значимость всего набора корней, затем значимость набора, остающегося после удаления первого корня, второго корня, и т.д.

Исследования показали, что используемый критерий обнаруживает большие канонические корреляции даже при небольшом размере выборки (например, n = 50). Слабые канонические корреляции (например, R = .3) требуют больших размеров выборки (n > 200) для обнаружения в 50% случаев. Отметим, что канонические корреляции небольшого размера обычно не представляют практической ценности, поскольку им соответствует небольшая реальная изменчивость исходных данных.

Канонические веса. После определения числа значимых канонических корней возникает вопрос об интерпретации каждого (значимого) корня. Напомним, что каждый корень в действительности представляет две взвешенные суммы, по одной на каждое множество переменных. Одним из способов толкования "смысла" каждого канонического корня является рассмотрение весов, сопоставленных каждому множеству переменных. Эти веса также называются каноническими весами.

При анализе, обычно, пользуются тем, что чем больше приписанный вес (т.е., абсолютное значение веса), тем больше вклад соответствующей переменной в значение канонической переменной.

Если вы знакомы с множественной регрессией, вы можете применить для канонических весов интерпретацию, использованную для бета - весов в уравнении множественной регрессии. Канонические веса, в некотором смысле, аналогичны частным корреляциям переменных, соответствующих каноническому корню. Таким образом, рассмотрение канонических весов позволяют понять "значение" каждого канонического корня, т.е. увидеть, как конкретные переменные в каждом множестве влияют на взвешенную сумму (т.е. каноническую переменную).

Параметрические и непараметрические методы оценки результатов.

Параметрические методы, основанные на выборочном распределении определенной статистики. Говоря кратко, если вы знаете распределение наблюдаемой переменной, то можете предсказать, как в повторных выборках равного объема будет "вести себя" используемая статистика - т.е. каким образом она будет распределена.

В практике использование параметрических методов ограничено из-за объема или размера выборки доступной для анализа; проблем с точным измерением признаков наблюдаемого объекта

Таким образом, возникает необходимость в наличие процедур, позволяющих обрабатывать данные "низкого качества" из выборок малого объема с переменными, про распределение которых мало что или вообще ничего не известно. Непараметрические методы как раз и разработаны для тех ситуаций, достаточно часто возникающих на практике, когда исследователь ничего не знает о параметрах исследуемой популяции (отсюда и название методов - непараметрические). Говоря более специальным языком, непараметрические методы не основываются на оценке параметров (таких как среднее или стандартное отклонение) при описании выборочного распределения интересующей величины. Поэтому эти методы иногда также называются свободными от параметров или свободно распределенными.

По существу, для каждого параметрического критерия имеется, по крайней мере, один непараметрический аналог. Эти критерии можно отнести к одной из следующих групп:

критерии различия между группами (независимые выборки);

критерии различия между группами (зависимые выборки);

критерии зависимости между переменными.

Различия между независимыми группами. Обычно, когда имеются две выборки (например, мужчины и женщины), которые вы хотите сравнить относительно среднего значения некоторой изучаемой переменной, вы используете t-критерий для независимых. Непараметрическими альтернативами этому критерию являются: критерий серий Вальда-Вольфовица, U критерий Манна-Уитни и двухвыборочный критерий Колмогорова-Смирнова. Если вы имеете несколько групп, то можете использовать дисперсионный анализ. Его непараметрическими аналогами являются: ранговый дисперсионный анализ Краскела-Уоллиса и медианный тест.

Различия между зависимыми группами. Если вы хотите сравнить две переменные, относящиеся к одной и той же выборке (например, математические успехи студентов в начале и в конце семестра), то обычно используется t-критерий для зависимых выборок. Альтернативными непараметрическими тестами являются: критерий знаков и критерий Вилкоксона парных сравнений. Если рассматриваемые переменные по природе своей категориальны или являются категоризованными (т.е. представлены в виде частот попавших в определенные категории), то подходящим будет критерий хи-квадрат Макнемара. Если рассматривается более двух переменных, относящихся к одной и той же выборке, то обычно используется дисперсионный анализ (ANOVA) с повторными измерениями. Альтернативным непараметрическим методом является ранговый дисперсионный анализ Фридмана или Q критерий Кохрена (последний применяется, например, если переменная измерена в номинальной шкале). Q критерий Кохрена используется также для оценки изменений частот (долей).

Зависимости между переменными. Для того, чтобы оценить зависимость (связь) между двумя переменными, обычно вычисляют коэффициент корреляции. Непараметрическими аналогами стандартного коэффициента корреляции Пирсона являются статистики Спирмена R, тау Кендалла и коэффициент Гамма Если две рассматриваемые переменные по природе своей категориальны, подходящими непараметрическими критериями для тестирования зависимости будут: Хи-квадрат, Фи коэффициент, точный критерий Фишера. Дополнительно доступен критерий зависимости между несколькими переменными так называемый коэффициент конкордации Кендалла. Этот тест часто используется для оценки согласованности мнений независимых экспертов (судей), в частности, баллов, выставленных одному и тому же субъекту.

Если данные не являются нормально распределенными, а измерения, в лучшем случае, содержат ранжированную информацию, то вычисление обычных описательных статистик (например, среднего, стандартного отклонения) не слишком информативно. Например, в психометрии хорошо известно, что воспринимаемая интенсивность стимулов (например, воспринимаемая яркость света) представляет собой логарифмическую функцию реальной интенсивности (яркости, измеренной в объективных единицах - люксах). В данном примере, обычная оценка среднего (сумма значений, деленная на число стимулов) не дает верного представления о среднем значении действительной интенсивности стимула. (В обсуждаемом примере скорее следует вычислить геометрическое среднее.) Непараметрическая статистика вычисляет разнообразный набор мер положения (среднее, медиану, моду и т.д.) и рассеяния (дисперсию, гармоническое среднее, квартильный размах и т.д.), позволяющий представить более "полную картину" данных.