Однофакторный дисперсионный анализ

В статистике однофакторный дисперсионный анализ (или однофакторный ANOVA ) — это метод сравнения того, являются ли средние значения двух или более выборок существенно разными (с использованием F -распределения ). Этот метод дисперсионного анализа требует числовой переменной отклика «Y» и одной объясняющей переменной «X», поэтому он «однофакторный». ^[1]

ANOVA проверяет нулевую гипотезу , которая гласит, что выборки во всех группах взяты из популяций с одинаковыми средними значениями. Для этого делаются две оценки дисперсии популяции. Эти оценки основаны на различных предположениях (см. ниже). ANOVA выдает F-статистику, отношение дисперсии, рассчитанной среди средних значений, к дисперсии внутри выборок. Если групповые средние взяты из популяций с одинаковыми средними значениями, то дисперсия между групповыми средними должна быть ниже дисперсии выборок, следуя центральной предельной теореме . Более высокое отношение, следовательно, подразумевает, что выборки были взяты из популяций с разными средними значениями. ^[1]

Однако обычно однофакторный дисперсионный анализ используется для проверки различий между по крайней мере тремя группами, поскольку случай с двумя группами может быть охвачен t-тестом (Госсет, 1908). Когда есть только два средних значения для сравнения, t-тест и F-тест эквивалентны; связь между ANOVA и t задается как F  =  t ² . Расширением однофакторного дисперсионного анализа является двухфакторный дисперсионный анализ , который исследует влияние двух различных категориальных независимых переменных на одну зависимую переменную.

Результаты однофакторного дисперсионного анализа можно считать надежными, если выполняются следующие предположения:

• Остатки переменной отклика распределены нормально (или приблизительно нормально).
• Дисперсии популяций равны.
• Ответы для данной группы являются независимыми и одинаково распределенными нормальными случайными величинами (а не простой случайной выборкой (SRS)).

Если данные порядковые , следует использовать непараметрическую альтернативу этому тесту, например, однофакторный дисперсионный анализ Краскела–Уоллиса . Если известно, что дисперсии не равны, можно использовать обобщение t-теста Уэлча для двух выборок. ^[2]

ANOVA — относительно надежная процедура в отношении нарушений предположения о нормальности. ^[3]

Однофакторный дисперсионный анализ можно обобщить для факторного и многомерного анализа, а также для анализа ковариации. ^{[ необходимо разъяснение ]}

В популярной литературе часто утверждается, что ни один из этих F -тестов не является надежным , когда есть серьезные нарушения предположения о том, что каждая популяция следует нормальному распределению , особенно для малых уровней альфа и несбалансированных макетов. ^[4] Кроме того, также утверждается, что если базовое предположение о гомоскедастичности нарушается, свойства ошибки I типа ухудшаются гораздо сильнее. ^[5]

Однако это заблуждение, основанное на работах, выполненных в 1950-х годах и ранее. Первое всестороннее исследование проблемы с помощью моделирования Монте-Карло было проведено Дональдсоном (1966). ^[6] Он показал, что при обычных отклонениях (положительный перекос, неравные дисперсии) « F -тест консервативен», и поэтому вероятность того, что переменная значима, меньше, чем следовало бы. Однако по мере увеличения размера выборки или числа ячеек «кривые мощности, по-видимому, сходятся к кривым, основанным на нормальном распределении». Тику (1971) обнаружил, что «ненормальная теоретическая мощность F отличается от нормальной теоретической мощности на поправочный член, который резко уменьшается с увеличением размера выборки». ^[7] Проблема ненормальности, особенно в больших выборках, гораздо менее серьезна, чем предполагают популярные статьи.

Текущая точка зрения заключается в том, что «исследования Монте-Карло широко использовались с тестами на основе нормального распределения для определения их чувствительности к нарушениям предположения о нормальном распределении анализируемых переменных в популяции. Общий вывод из этих исследований заключается в том, что последствия таких нарушений менее серьезны, чем считалось ранее. Хотя эти выводы не должны полностью отговаривать кого-либо от беспокойства о предположении о нормальности, они увеличили общую популярность статистических тестов, зависящих от распределения, во всех областях исследований». ^[8]

Для непараметрических альтернатив в факторной компоновке см. Sawilowsky. ^[9] Для более подробного обсуждения см. ANOVA по рангам .

Нормальная линейная модель описывает группы лечения с вероятностными распределениями, которые являются идентично колоколообразными (нормальными) кривыми с разными средними. Таким образом, для подгонки моделей требуются только средние значения каждой группы лечения и расчет дисперсии (используется средняя дисперсия в группах лечения). Расчеты средних значений и дисперсии выполняются как часть проверки гипотезы.

Обычно используемые нормальные линейные модели для полностью рандомизированного эксперимента: ^[10]

${\displaystyle y_{i,j}=\mu _{j}+\varepsilon _{i,j}}$ (модель средств)

или

${\displaystyle y_{i,j}=\mu +\tau _{j}+\varepsilon _{i,j}}$ (модель эффектов)

где

${\displaystyle i=1,\dotsc ,I}$это индекс по экспериментальным единицам

${\displaystyle j=1,\dotsc ,J}$это индекс по группам лечения

${\displaystyle I_{j}}$количество экспериментальных единиц в j-й группе лечения

${\displaystyle I=\sum _{j}I_{j}}$общее количество экспериментальных единиц

${\displaystyle y_{i,j}}$являются наблюдениями

${\displaystyle \mu _{j}}$это среднее значение наблюдений для j-й группы лечения

${\displaystyle \мю}$это общее среднее значение наблюдений

${\displaystyle \tau _{j}}$j-й эффект обработки, отклонение от общего среднего

${\displaystyle \сумма \тау _{j}=0}$

${\displaystyle \mu _{j} = \mu +\tau _{j}}$

${\displaystyle \varepsilon \thicksim N(0,\sigma ^{2})}$, являются нормально распределенными случайными ошибками с нулевым средним.${\displaystyle \varepsilon _ {i,j}}$

Индекс экспериментальных единиц может быть интерпретирован несколькими способами. В некоторых экспериментах одна и та же экспериментальная единица подвергается ряду обработок; может указывать на определенную единицу. В других случаях каждая группа обработки имеет отдельный набор экспериментальных единиц; может быть просто индексом в -ом списке.${\displaystyle я}$${\displaystyle я}$${\displaystyle я}$${\displaystyle j}$

Одной из форм организации экспериментальных наблюдений является группировка по столбцам:${\displaystyle y_{ij}}$

Организация данных ANOVA, несбалансированный, однофакторный

	Списки групповых наблюдений
	${\displaystyle I_{1}}$	${\displaystyle I_{2}}$	${\displaystyle I_{3}}$	${\displaystyle \точка}$	${\displaystyle I_{j}}$
1	${\displaystyle y_{11}}$	${\displaystyle y_{12}}$	${\displaystyle y_{13}}$		${\displaystyle y_{1j}}$
2	${\displaystyle y_{21}}$	${\displaystyle y_{22}}$	${\displaystyle y_{23}}$		${\displaystyle y_{2j}}$
3	${\displaystyle y_{31}}$	${\displaystyle y_{32}}$	${\displaystyle y_{33}}$		${\displaystyle y_{3j}}$
${\displaystyle \vdots}$					${\displaystyle \vdots}$
${\displaystyle я}$	${\displaystyle y_{i1}}$	${\displaystyle y_{i2}}$	${\displaystyle y_{i3}}$	${\displaystyle \точка}$	${\displaystyle y_{ij}}$
	Сводная статистика группы						Общая сводная статистика
# Наблюдаемый	${\displaystyle I_{1}}$	${\displaystyle I_{2}}$	${\displaystyle \точка}$	${\displaystyle I_{j}}$	${\displaystyle \точка}$	${\displaystyle I_{J}}$	# Наблюдаемый	${\displaystyle I=\sum I_{j}}$
Сумма				${\displaystyle \sum _{i}y_{ij}}$			Сумма	${\displaystyle \sum _{j}\sum _{i}y_{ij}}$
Сумма кв.				${\displaystyle \sum _{i}(y_{ij})^{2}}$			Сумма кв.	${\displaystyle \sum _{j}\sum _{i}(y_{ij})^{2}}$
Иметь в виду	${\displaystyle m_{1}}$	${\displaystyle \точка}$		${\displaystyle m_{j}}$	${\displaystyle \точка}$	${\displaystyle m_{J}}$	Иметь в виду	${\displaystyle м}$
Дисперсия	${\displaystyle s_{1}^{2}}$	${\displaystyle \точка}$		${\displaystyle s_{j}^{2}}$	${\displaystyle \точка}$	${\displaystyle s_{J}^{2}}$	Дисперсия	${\displaystyle s^{2}}$

Сравнение модели с резюме: и . Общее среднее и общая дисперсия вычисляются из общих сумм, а не из групповых средних и дисперсий.${\displaystyle \мю =м}$${\displaystyle \mu _{j}=m_{j}}$

Учитывая сводную статистику, расчеты проверки гипотезы показаны в табличной форме. В то время как два столбца SS показаны для их пояснительной ценности, для отображения результатов требуется только один столбец.

Таблица ANOVA для фиксированной модели, однофакторный, полностью рандомизированный эксперимент

Источник вариации	Суммы квадратов	Суммы квадратов	Степени свободы	Средний квадрат	Ф
	Пояснительная СС [11]	Вычислительная СС [12]	ДФ	РС
Процедуры	${\displaystyle \sum _{Лечение}I_{j}(m_{j}-m)^{2}}$	${\displaystyle \sum _{j}{\frac {(\sum _{i}y_{ij})^{2}}{I_{j}}}-{\frac {(\sum _{j}\sum _{i}y_{ij})^{2}}{I}}}$	${\displaystyle J-1}$	${\displaystyle {\frac {SS_{Лечение}}{DF_{Лечение}}}}$	${\displaystyle {\frac {MS_{Лечение}}{MS_{Ошибка}}}}$
Ошибка	${\displaystyle \sum _{Лечение}(I_{j}-1)s_{j}^{2}}$	${\displaystyle \sum _{j}\sum _{i}y_{ij}^{2}-\sum _{j}{\frac {(\sum _{i}y_{ij})^{2}}{I_{j}}}}$	${\displaystyle IJ}$	${\displaystyle {\frac {SS_{Ошибка}}{DF_{Ошибка}}}}$
Общий	${\displaystyle \sum _{Observations}(y_{ij}-m)^{2}}$	${\displaystyle \sum _{j}\sum _{i}y_{ij}^{2}-{\frac {(\sum _{j}\sum _{i}y_{ij})^{2}}{I}}}$	${\displaystyle I-1}$

${\displaystyle MS_{Error}}$— оценка дисперсии, соответствующая модели.${\displaystyle \sigma ^{2}}$

Основной анализ ANOVA состоит из серии расчетов. Данные собираются в табличной форме. Затем

• Каждая группа обработки суммируется по числу экспериментальных единиц, двум суммам, среднему значению и дисперсии. Сводки по группам обработки объединяются для получения итогов по числу единиц и сумм. Общее среднее значение и общая дисперсия вычисляются из общих сумм. Обработка и общее среднее значение используются в модели.
• Из сводок рассчитываются три DF и SS. Затем рассчитываются MS и соотношение определяет F.
• Компьютер обычно определяет p-значение из F, которое определяет, дают ли обработки существенно разные результаты. Если результат значителен, то модель предварительно имеет силу.

Если эксперимент сбалансирован, все члены равны, поэтому уравнения СС упрощаются.${\displaystyle I_{j}}$

В более сложном эксперименте, где экспериментальные единицы (или эффекты окружающей среды) не являются однородными, в анализе также используется статистика строк. Модель включает члены, зависящие от . Определение дополнительных членов уменьшает количество доступных степеней свободы.${\displaystyle i}$

Рассмотрим эксперимент по изучению влияния трех различных уровней фактора на реакцию (например, трех уровней удобрения на рост растений). Если бы у нас было 6 наблюдений для каждого уровня, мы могли бы записать результат эксперимента в таблице, например, где a ₁ , a ₂ и a ₃ — это три уровня изучаемого фактора.

а 1	а 2	а 3
6	8	13
8	12	9
4	9	11
5	11	8
3	6	7
4	8	12

Нулевая гипотеза, обозначенная H ₀ , для общего F -теста для этого эксперимента будет заключаться в том, что все три уровня фактора в среднем дают один и тот же ответ. Для расчета F -коэффициента:

Шаг 1: Рассчитайте среднее значение в каждой группе:

${\displaystyle {\begin{aligned}{\overline {Y}}_{1}&={\frac {1}{6}}\sum Y_{1i}={\frac {6+8+4+5+3+4}{6}}=5\\{\overline {Y}}_{2}&={\frac {1}{6}}\sum Y_{2i}={\frac {8+12+9+11+6+8}{6}}=9\\{\overline {Y}}_{3}&={\frac {1}{6}}\sum Y_{3i}={\frac {13+9+11+8+7+12}{6}}=10\end{aligned}}}$

Шаг 2: Рассчитайте общее среднее значение:

${\displaystyle {\overline {Y}}={\frac {\sum _{i}{\overline {Y}}_{i}}{a}}={\frac {{\overline {Y}}_{1}+{\overline {Y}}_{2}+{\overline {Y}}_{3}}{a}}={\frac {5+9+10}{3}}=8}$

где а — количество групп.

Шаг 3: Рассчитайте «межгрупповую» сумму квадратов разностей:

${\displaystyle {\begin{aligned}S_{B}&=n({\overline {Y}}_{1}-{\overline {Y}})^{2}+n({\overline {Y}}_{2}-{\overline {Y}})^{2}+n({\overline {Y}}_{3}-{\overline {Y}})^{2}\\[8pt]&=6(5-8)^{2}+6(9-8)^{2}+6(10-8)^{2}=84\end{aligned}}}$

где n — количество значений данных в группе.

Межгрупповое число степеней свободы на единицу меньше числа групп.

${\displaystyle f_{b}=3-1=2}$

поэтому среднеквадратичное значение между группами равно

${\displaystyle MS_{B}=84/2=42}$

Шаг 4: Рассчитайте "внутригрупповую" сумму квадратов. Начните с центрирования данных в каждой группе

Внутригрупповая сумма квадратов — это сумма квадратов всех 18 значений в этой таблице.

${\displaystyle {\begin{aligned}S_{W}=&(1)^{2}+(3)^{2}+(-1)^{2}+(0)^{2}+(-2)^{2}+(-1)^{2}+\\&(-1)^{2}+(3)^{2}+(0)^{2}+(2)^{2}+(-3)^{2}+(-1)^{2}+\\&(3)^{2}+(-1)^{2}+(1)^{2}+(-2)^{2}+(-3)^{2}+(2)^{2}\\=&\ 1+9+1+0+4+1+1+9+0+4+9+1+9+1+1+4+9+4\\=&\ 68\\\end{aligned}}}$

Внутригрупповые степени свободы:

${\displaystyle f_{W}=a(n-1)=3(6-1)=15}$

Таким образом, внутригрупповое среднеквадратичное значение равно

${\displaystyle MS_{W}=S_{W}/f_{W}=68/15\approx 4.5}$

Шаг 5: Коэффициент F равен

${\displaystyle F={\frac {MS_{B}}{MS_{W}}}\approx 42/4.5\approx 9.3}$

Критическое значение — это число, которое должна превысить статистика теста, чтобы отвергнуть тест. В этом случае F _крит (2,15) = 3,68 при α = 0,05. Поскольку F =9,3 > 3,68, результаты значимы на уровне значимости 5%. Можно было бы не принимать нулевую гипотезу, делая вывод о том, что имеются веские доказательства того, что ожидаемые значения в трех группах различаются. Значение p для этого теста равно 0,002.

После выполнения F -теста обычно проводят некоторый "post-hoc" анализ средних значений группы. В этом случае средние значения первых двух групп различаются на 4 единицы, средние значения первой и третьей групп различаются на 5 единиц, а средние значения второй и третьей групп различаются всего на 1 единицу. Стандартная ошибка каждого из этих различий составляет . Таким образом, первая группа сильно отличается от других групп, так как средняя разница более чем в 3 раза превышает стандартную ошибку, поэтому мы можем быть уверены в том, что среднее значение совокупности первой группы отличается от средних значений совокупности других групп. Однако нет никаких доказательств того, что средние значения совокупности второй и третьей групп различаются друг от друга, так как их средняя разница в одну единицу сопоставима со стандартной ошибкой.${\displaystyle {\sqrt {4.5/6+4.5/6}}=1.2}$

Примечание. F ( x ,  y ) обозначает кумулятивную функцию распределения F -распределения с x степенями свободы в числителе и y степенями свободы в знаменателе.

• Анализ дисперсии
• F-тест ( включает пример однофакторного дисперсионного анализа )
• Смешанная модель
• Многомерный дисперсионный анализ (MANOVA)
• Повторные измерения ANOVA
• Двухфакторный дисперсионный анализ
• t-тест Уэлча

• Джордж Каселла (18 апреля 2008 г.). Статистический дизайн. Springer . ISBN 978-0-387-75965-4.