Часть серии статей о |
Регрессионный анализ |
---|
Модели |
Оценка |
Фон |
Многоуровневые модели (также известные как иерархические линейные модели , линейные модели со смешанными эффектами , смешанные модели , модели вложенных данных , случайные коэффициенты , модели со случайными эффектами , модели со случайными параметрами или планы с разделенным участком ) — это статистические модели параметров , которые изменяются на более чем одном уровне. [1] Примером может служить модель успеваемости учащихся, которая содержит показатели для отдельных учащихся, а также показатели для классов, в которых учащиеся сгруппированы. Эти модели можно рассматривать как обобщения линейных моделей (в частности, линейной регрессии ), хотя их также можно распространять на нелинейные модели. Эти модели стали гораздо более популярными после того, как стали доступны достаточная вычислительная мощность и программное обеспечение. [1]
Многоуровневые модели особенно подходят для исследовательских проектов, где данные для участников организованы на более чем одном уровне (т. е. вложенные данные ). [2] Единицами анализа обычно являются отдельные лица (на более низком уровне), которые вложены в контекстные/агрегированные единицы (на более высоком уровне). [3] Хотя самым низким уровнем данных в многоуровневых моделях обычно является отдельное лицо, могут также изучаться повторные измерения отдельных лиц. [2] [4] Таким образом, многоуровневые модели предоставляют альтернативный тип анализа для одномерного или многомерного анализа повторных измерений . Могут изучаться индивидуальные различия в кривых роста . [2] Кроме того, многоуровневые модели могут использоваться в качестве альтернативы ANCOVA , где оценки по зависимой переменной корректируются с учетом ковариатов (например, индивидуальных различий) перед тестированием различий в лечении. [5] Многоуровневые модели способны анализировать эти эксперименты без предположений об однородности наклонов регрессии, которые требуются для ANCOVA. [2]
Многоуровневые модели могут использоваться на данных со многими уровнями, хотя двухуровневые модели являются наиболее распространенными, и остальная часть этой статьи посвящена только им. Зависимая переменная должна быть исследована на самом низком уровне анализа. [1]
Когда есть одна независимая переменная уровня 1, модель уровня 1 имеет вид
.
На уровне 1 как отрезки, так и наклоны в группах могут быть либо фиксированными (что означает, что все группы имеют одинаковые значения, хотя в реальном мире это было бы редким явлением), неслучайно изменяющимися (что означает, что отрезки и/или наклоны предсказуемы из независимой переменной на уровне 2), либо случайно изменяющимися (что означает, что отрезки и/или наклоны различны в разных группах, и что каждая имеет свое собственное общее среднее значение и дисперсию). [2] [4]
При наличии нескольких независимых переменных уровня 1 модель можно расширить, подставив векторы и матрицы в уравнение.
Когда связь между ответом и предиктором не может быть описана линейной связью, то можно найти некоторую нелинейную функциональную связь между ответом и предиктором и расширить модель до нелинейной модели со смешанными эффектами . Например, когда ответ является кумулятивной траекторией заражения -й страны и представляет -й временной момент, то упорядоченная пара для каждой страны может показывать форму, похожую на логистическую функцию . [6] [7]
Зависимые переменные — это отрезки и наклоны для независимых переменных на уровне 1 в группах уровня 2.
Перед проведением многоуровневого анализа модели исследователь должен решить несколько аспектов, включая то, какие предикторы следует включить в анализ, если таковые имеются. Во-вторых, исследователь должен решить, будут ли значения параметров (т. е. элементы, которые будут оцениваться) фиксированными или случайными. [2] [5] [4] Фиксированные параметры состоят из константы по всем группам, тогда как случайный параметр имеет разное значение для каждой из групп. [4] Кроме того, исследователь должен решить, использовать ли оценку максимального правдоподобия или ограниченный тип оценки максимального правдоподобия. [2]
Модель случайных перехватов — это модель, в которой перехваты могут варьироваться, и, следовательно, оценки зависимой переменной для каждого отдельного наблюдения предсказываются перехватом, который варьируется в зависимости от группы. [5] [8] [4] Эта модель предполагает, что наклоны фиксированы (одинаковы в разных контекстах). Кроме того, эта модель предоставляет информацию о внутриклассовых корреляциях , которые полезны для определения того, требуются ли многоуровневые модели в первую очередь. [2]
Модель случайных наклонов — это модель, в которой наклоны могут изменяться в соответствии с матрицей корреляции, и, следовательно, наклоны различаются по группирующим переменным, таким как время или индивидуумы. Эта модель предполагает, что интерсепты фиксированы (одинаковы в разных контекстах). [5]
Модель, включающая как случайные точки пересечения, так и случайные наклоны, вероятно, является наиболее реалистичным типом модели, хотя она также является наиболее сложной. В этой модели и точки пересечения, и наклоны могут варьироваться в разных группах, что означает, что они различаются в разных контекстах. [5]
Чтобы провести многоуровневый анализ модели, нужно начать с фиксированных коэффициентов (наклонов и отсекаемых точек). Один аспект может изменяться за раз (то есть изменяться) и сравниваться с предыдущей моделью, чтобы оценить лучшее соответствие модели. [1] Есть три разных вопроса, которые исследователь задает при оценке модели. Во-первых, хороша ли эта модель? Во-вторых, лучше ли более сложная модель? В-третьих, какой вклад вносят отдельные предикторы в модель?
Для оценки моделей будут рассмотрены различные статистики соответствия модели. [2] Одной из таких статистик является тест отношения правдоподобия хи-квадрат , который оценивает разницу между моделями. Тест отношения правдоподобия может быть использован для построения моделей в целом, для изучения того, что происходит, когда эффекты в модели могут варьироваться, и при тестировании категориальной переменной с фиктивным кодом как одного эффекта. [2] Однако тест можно использовать только тогда, когда модели являются вложенными (это означает, что более сложная модель включает все эффекты более простой модели). При тестировании невложенных моделей сравнения между моделями могут быть сделаны с использованием информационного критерия Акаике (AIC) или информационного критерия Байеса (BIC), среди прочих. [1] [2] [5] См. далее Выбор модели .
Многоуровневые модели имеют те же предположения, что и другие основные общие линейные модели (например, ANOVA , регрессия ), но некоторые предположения изменены с учетом иерархической природы дизайна (т. е. вложенных данных).
Предположение о линейности утверждает, что существует прямолинейная (прямолинейная, в отличие от нелинейной или U-образной) связь между переменными. [9] Однако модель может быть расширена до нелинейных связей. [10] В частности, когда средняя часть уравнения регрессии уровня 1 заменяется нелинейной параметрической функцией, то такая модельная структура широко называется нелинейной моделью со смешанными эффектами . [7]
Предположение о нормальности утверждает, что члены ошибки на каждом уровне модели распределены нормально. [9] [ оспаривается – обсудить ] Однако большинство статистического программного обеспечения позволяет задавать различные распределения для членов дисперсии, такие как пуассоновское, биномиальное, логистическое. Многоуровневый подход к моделированию может использоваться для всех форм обобщенных линейных моделей.
Предположение о гомоскедастичности , также известное как однородность дисперсии, предполагает равенство дисперсий совокупности. [9] Однако для учета этого можно указать другую матрицу дисперсии-корреляции, а также можно смоделировать неоднородность дисперсии.
Независимость — это предположение общих линейных моделей, которое утверждает, что случаи являются случайными выборками из популяции и что оценки зависимой переменной независимы друг от друга. [9] Одной из основных целей многоуровневых моделей является рассмотрение случаев, когда предположение о независимости нарушается; однако многоуровневые модели предполагают, что 1) остатки уровня 1 и уровня 2 некоррелированы и 2) ошибки (измеренные остатками) на самом высоком уровне некоррелированы. [11]
Регрессоры не должны коррелировать со случайными эффектами . Это предположение проверяемо, но часто игнорируется, что делает оценщик непоследовательным. [12] Если это предположение нарушается, случайный эффект должен быть явно смоделирован в фиксированной части модели, либо с использованием фиктивных переменных, либо с включением кластерных средних всех регрессоров. [12] [13] [14] [15] Это предположение, вероятно, является наиболее важным предположением, которое делает оценщик, но оно неправильно понимается большинством прикладных исследователей, использующих эти типы моделей. [12]
Тип статистических тестов, используемых в многоуровневых моделях, зависит от того, исследуются ли фиксированные эффекты или компоненты дисперсии. При исследовании фиксированных эффектов тесты сравниваются со стандартной ошибкой фиксированного эффекта, что приводит к Z-тесту . [5] Также можно вычислить t -тест . При вычислении t-теста важно помнить о степенях свободы, которые будут зависеть от уровня предиктора (например, предиктор уровня 1 или предиктор уровня 2). [5] Для предиктора уровня 1 степени свободы основаны на количестве предикторов уровня 1, количестве групп и количестве индивидуальных наблюдений. Для предиктора уровня 2 степени свободы основаны на количестве предикторов уровня 2 и количестве групп. [5]
Статистическая мощность многоуровневых моделей различается в зависимости от того, исследуются ли эффекты уровня 1 или уровня 2. Мощность для эффектов уровня 1 зависит от количества индивидуальных наблюдений, тогда как мощность для эффектов уровня 2 зависит от количества групп. [16] Для проведения исследований с достаточной мощностью в многоуровневых моделях требуются большие размеры выборки. Однако количество индивидуальных наблюдений в группах не так важно, как количество групп в исследовании. Для обнаружения межуровневых взаимодействий, учитывая, что размеры групп не слишком малы, было рекомендовано использовать не менее 20 групп, [16] хотя можно использовать гораздо меньшее количество групп, если интересуют только выводы о фиксированных эффектах, а случайные эффекты являются контрольными или «мешающими» переменными. [4] Вопрос статистической мощности в многоуровневых моделях осложняется тем фактом, что мощность изменяется в зависимости от размера эффекта и внутриклассовых корреляций, она отличается для фиксированных эффектов по сравнению со случайными эффектами и меняется в зависимости от количества групп и количества индивидуальных наблюдений в группе. [16]
Концепция уровня является краеугольным камнем этого подхода. В примере образовательного исследования уровни для двухуровневой модели могут быть
Однако если изучать несколько школ и несколько школьных округов, то четырехуровневая модель может включать:
Исследователь должен установить для каждой переменной уровень, на котором она измерялась. В этом примере «тестовый балл» может измеряться на уровне ученика, «опыт учителя» на уровне класса, «финансирование школы» на уровне школы, а «город» на уровне района.
В качестве простого примера рассмотрим базовую линейную регрессионную модель, которая предсказывает доход как функцию возраста, класса, пола и расы. Затем можно заметить, что уровень дохода также варьируется в зависимости от города и штата проживания. Простым способом включить это в регрессионную модель было бы добавление дополнительной независимой категориальной переменной для учета местоположения (т. е. набора дополнительных бинарных предикторов и связанных с ними коэффициентов регрессии, по одному на местоположение). Это имело бы эффект смещения среднего дохода вверх или вниз — но это все еще предполагало бы, например, что влияние расы и пола на доход везде одинаково. В действительности это вряд ли так — разные местные законы, разные пенсионные политики, различия в уровне расовых предрассудков и т. д., вероятно, приведут к тому, что все предикторы будут иметь разные виды эффектов в разных местах.
Другими словами, простая линейная регрессионная модель может, например, предсказать, что данный случайно выбранный человек в Сиэтле будет иметь средний годовой доход на 10 000 долларов выше, чем аналогичный человек в Мобайле, штат Алабама . Однако она также предскажет, например, что белый человек может иметь средний доход на 7 000 долларов выше, чем черный человек, а 65-летний может иметь доход на 3 000 долларов ниже, чем 45-летний, в обоих случаях независимо от местоположения. Многоуровневая модель, однако, допускает различные коэффициенты регрессии для каждого предиктора в каждом местоположении. По сути, она предполагает, что люди в данном местоположении имеют коррелированные доходы, генерируемые одним набором коэффициентов регрессии, тогда как люди в другом месте имеют доходы, генерируемые другим набором коэффициентов. Между тем, сами коэффициенты считаются коррелированными и генерируемыми из одного набора гиперпараметров . Возможны дополнительные уровни: например, люди могут быть сгруппированы по городам, а коэффициенты регрессии на уровне города — по штатам, а коэффициенты на уровне штата могут быть получены из одного гипергиперпараметра.
Многоуровневые модели являются подклассом иерархических байесовских моделей , которые являются общими моделями с несколькими уровнями случайных величин и произвольными отношениями между различными переменными. Многоуровневый анализ был расширен, чтобы включить многоуровневое структурное моделирование уравнений , многоуровневое моделирование латентных классов и другие более общие модели.
Многоуровневые модели использовались в исследованиях в области образования или географических исследованиях для раздельной оценки различий между учениками в одной и той же школе и различий между школами. В психологических приложениях множественные уровни — это элементы инструмента, отдельные лица и семьи. В социологических приложениях многоуровневые модели используются для изучения отдельных лиц, включенных в регионы или страны. В исследованиях организационной психологии данные отдельных лиц часто должны быть вложены в команды или другие функциональные единицы. Они часто используются в экологических исследованиях, а также под более общим термином смешанные модели . [4]
Различные ковариабы могут быть релевантными на разных уровнях. Их можно использовать для лонгитюдных исследований, как и в исследованиях роста, для разделения изменений в пределах одного человека и различий между людьми.
Межуровневые взаимодействия также могут представлять существенный интерес; например, когда наклону разрешено изменяться случайным образом, предиктор уровня 2 может быть включен в формулу наклона для ковариата уровня 1. Например, можно оценить взаимодействие расы и соседства, чтобы получить оценку взаимодействия между характеристиками индивидуума и социальным контекстом.
Существует несколько альтернативных способов анализа иерархических данных, хотя большинство из них имеют некоторые проблемы. Во-первых, можно использовать традиционные статистические методы. Можно было бы разбить переменные более высокого порядка на индивидуальный уровень и, таким образом, провести анализ на этом индивидуальном уровне (например, назначить переменные класса на индивидуальный уровень). Проблема с этим подходом заключается в том, что это нарушит предположение о независимости и, таким образом, может исказить наши результаты. Это известно как атомистическое заблуждение. [17] Другой способ анализа данных с использованием традиционных статистических подходов заключается в том, чтобы агрегировать переменные индивидуального уровня в переменные более высокого порядка, а затем провести анализ на этом более высоком уровне. Проблема с этим подходом заключается в том, что он отбрасывает всю внутригрупповую информацию (потому что он берет среднее значение переменных индивидуального уровня). До 80–90% дисперсии может быть потрачено впустую, а связь между агрегированными переменными будет раздута и, таким образом, искажена. [18] Это известно как экологическое заблуждение , и статистически этот тип анализа приводит к снижению мощности в дополнение к потере информации. [2]
Другой способ анализа иерархических данных — модель случайных коэффициентов. Эта модель предполагает, что у каждой группы своя регрессионная модель — со своим собственным отсеканием и наклоном. [5] Поскольку группы являются выборочными, модель предполагает, что отсекаемые отрезки и наклоны также случайным образом выбираются из совокупности отсекаемых отрезков и наклонов групп. Это позволяет проводить анализ, в котором можно предположить, что наклоны фиксированы, но отсекаемые отрезки могут меняться. [5] Однако это представляет собой проблему, поскольку отдельные компоненты независимы, но групповые компоненты независимы между группами, но зависимы внутри групп. Это также позволяет проводить анализ, в котором наклоны случайны; однако корреляции членов ошибки (возмущений) зависят от значений переменных индивидуального уровня. [5] Таким образом, проблема с использованием модели случайных коэффициентов для анализа иерархических данных заключается в том, что по-прежнему невозможно включить переменные более высокого порядка.
Многоуровневые модели имеют два члена ошибок, которые также известны как помехи. Все индивидуальные компоненты независимы, но есть также групповые компоненты, которые независимы между группами, но коррелируют внутри групп. Однако компоненты дисперсии могут различаться, поскольку некоторые группы более однородны, чем другие. [18]
Многоуровневое моделирование часто используется в различных приложениях и может быть сформулировано с помощью байесовского фреймворка. В частности, байесовские нелинейные модели смешанных эффектов в последнее время привлекли значительное внимание. Базовая версия байесовских нелинейных моделей смешанных эффектов представлена в виде следующей трехэтапной:
Этап 1: Модель индивидуального уровня
Этап 2: Модель населения
Этап 3: Предшествующий
Здесь обозначает непрерывную реакцию -го субъекта в момент времени , а - -й ковариат -го субъекта. Параметры, участвующие в модели, записаны греческими буквами. - известная функция, параметризованная -мерным вектором . Обычно - `нелинейная' функция, описывающая временную траекторию индивидуумов. В модели и описывают внутрииндивидуальную и межиндивидуальную изменчивость соответственно. Если этап 3: априорный не рассматривается, то модель сводится к частотной нелинейной модели со смешанными эффектами.
Центральной задачей при применении байесовских нелинейных моделей смешанного эффекта является оценка апостериорной плотности:
Панель справа отображает байесовский исследовательский цикл с использованием байесовской нелинейной модели смешанных эффектов. [19] Исследовательский цикл с использованием байесовской нелинейной модели смешанных эффектов состоит из двух этапов: (a) стандартный исследовательский цикл и (b) байесовский рабочий процесс. Стандартный исследовательский цикл включает обзор литературы, определение проблемы и указание исследовательского вопроса и гипотезы. Байесовский рабочий процесс состоит из трех подэтапов: (b)–(i) формализация априорных распределений на основе фоновых знаний и априорного выявления; (b)–(ii) определение функции правдоподобия на основе нелинейной функции ; и (b)–(iii) выполнение апостериорного вывода. Полученный апостериорный вывод может быть использован для начала нового исследовательского цикла.
{{cite book}}
: CS1 maint: multiple names: authors list (link){{cite book}}
: CS1 maint: multiple names: authors list (link){{cite book}}
: |last=
имеет общее название ( помощь ){{cite book}}
: CS1 maint: multiple names: authors list (link){{cite book}}
: CS1 maint: multiple names: authors list (link)