Теория обобщаемости

Эта статья включает список общих ссылок , но в ней отсутствуют соответствующие встроенные цитаты . Пожалуйста, помогите улучшить эту статью, введя более точные цитаты. ( Август 2012 ) ( Узнайте, как и когда удалять это сообщение )

Теория обобщения , или теория G , представляет собой статистическую структуру для концептуализации, исследования и проектирования надежных наблюдений . Она используется для определения надежности (т. е. воспроизводимости) измерений в определенных условиях. Она особенно полезна для оценки надежности оценок производительности. Первоначально она была введена Ли Кронбахом , Н. Раджаратнамом и Голдин Глезер в 1963 году.

В теории G источники вариации называются гранями . Грани похожи на «факторы», используемые в дисперсионном анализе , и могут включать в себя людей, оценщиков, элементы/формы, время и обстановку среди других возможностей. Эти грани являются потенциальными источниками ошибок, и цель теории обобщаемости состоит в том, чтобы количественно оценить количество ошибок, вызванных каждой гранью и взаимодействием граней. Полезность данных, полученных в ходе исследования G, в решающей степени зависит от дизайна исследования. Поэтому исследователь должен тщательно продумать способы, которыми он/она надеется обобщить какие-либо конкретные результаты. Важно ли обобщать данные из одной обстановки на большее количество обстановок? Из одного оценщика на большее количество оценщиков? Из одного набора элементов на больший набор элементов? Ответы на эти вопросы будут различаться от одного исследователя к другому и будут определять дизайн исследования G по-разному.

В дополнение к решению о том, какие грани исследователь обычно хочет изучить, необходимо определить, какая грань будет служить объектом измерения (например, систематический источник дисперсии) для целей анализа. Оставшиеся интересующие грани затем считаются источниками погрешности измерения. В большинстве случаев объектом измерения будет человек, которому присваивается номер/оценка. В других случаях это может быть группа или исполнители, такие как команда или класс. В идеале почти вся измеренная дисперсия будет приписана объекту измерения (например, индивидуальные различия), и только незначительное количество дисперсии будет приписано оставшимся граням (например, оценщику, времени, обстановке).

Результаты исследования G также могут быть использованы для информирования о решении или исследовании D. В исследовании D мы можем задать гипотетический вопрос «что произойдет, если изменить различные аспекты этого исследования?» Например, компания по производству безалкогольных напитков может быть заинтересована в оценке качества нового продукта с помощью шкалы потребительских оценок. Используя исследование D, можно будет оценить, как изменится последовательность оценок качества, если потребителям будет задано 10 вопросов вместо 2 или если 1000 потребителей оценят безалкогольный напиток вместо 100. Таким образом, используя смоделированные исследования D, можно изучить, как коэффициенты обобщаемости (аналогичные коэффициентам надежности в классической теории тестирования ) изменятся при различных обстоятельствах, и, следовательно, определить идеальные условия, при которых наши измерения будут наиболее надежными.

Классическая теория тестирования (КТТ) фокусируется на определении погрешности измерения. Возможно, самая известная модель КТТ — это уравнение , где X — наблюдаемая оценка, T — истинная оценка, а e — ошибка, вовлеченная в измерение. Хотя e может представлять множество различных типов ошибок, таких как ошибка оценщика или прибора, КТТ позволяет нам оценивать только один тип ошибки за раз. По сути, она объединяет все источники ошибок в один термин ошибки. Это может быть уместно в контексте строго контролируемых лабораторных условий, но дисперсия является частью повседневной жизни. Например, в полевых исследованиях нереалистично ожидать, что условия измерения останутся постоянными. Теория обобщаемости признает и допускает изменчивость условий оценки, которые могут влиять на измерения. Преимущество теории G заключается в том, что исследователи могут оценить, какая доля общей дисперсии в результатах обусловлена ​​индивидуальными факторами, которые часто различаются при оценке, такими как обстановка, время, предметы и оценщики.${\displaystyle X=T+E}$

Другое важное различие между CTT и теорией G заключается в том, что последний подход учитывает, как может измениться последовательность результатов, если мера используется для принятия абсолютных и относительных решений. Примером абсолютного или критериально-связанного решения будет случай, когда результаты теста отдельного человека сравниваются с проходным баллом для определения соответствия или диагноза (т. е. результаты теста ребенка используются для определения соответствия программе для одаренных детей). Напротив, примером относительного или нормо-связанного решения будет случай, когда результаты теста отдельного человека используются для (a) определения относительного положения по сравнению с его/ее сверстниками (т. е. результаты субтеста по чтению ребенка используются для определения того, в какую группу чтения он/она помещен), или (b) проведения внутрииндивидуальных сравнений (т. е. сравнения предыдущих и текущих результатов в рамках одного и того же человека). Тип решения, который интересует исследователя, определит, какую формулу следует использовать для расчета коэффициента генерализуемости (аналогично коэффициенту надежности в CTT).

• Теория ответов на вопросы

• Бреннан, Р. Л. (2001). Теория обобщения . Нью-Йорк: Springer-Verlag.
• Чиу, CWC (2001). Оценка эффективности на основе суждений: теория обобщения . Нью-Йорк: Kluwer.
• Крокер, Л. и Альгина, Дж. (1986). Введение в классическую и современную теорию тестирования . Нью-Йорк: Harcourt Brace.
• Cronbach, LJ, Gleser, GC, Nanda, H., & Rajaratnam, N. (1972). Надежность поведенческих измерений: Теория генерализуемости для оценок и профилей . Нью-Йорк: John Wiley.
• Cronbach, LJ, Nageswari, R., & Gleser, GC (1963). Теория генерализуемости: либерализация теории надежности. Британский журнал статистической психологии, 16 , 137-163.
• Shrout, PE, & Fleiss, JL (1979). Внутриклассовые корреляции: использование при оценке надежности оценщиков. Psychological Bulletin, 86(2), 420–428. doi: 10.1037/0033-2909.86.2.420
• Шавелсон, Р. Дж. и Уэбб, Н. М. (1991). Теория обобщения: Учебник . Thousand Oaks, CA: Sage.

• Георг Э. Мэтт, Теория обобщаемости
• Теория обобщаемости на основе Раша
• Ральф Блох, G_String Software