Оценка линейного тренда

В этой статье есть несколько проблем. Помогите улучшить ее или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалять эти сообщения ) В статье содержится список общих ссылок , но в ней отсутствуют соответствующие встроенные цитаты .Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Июль 2019 )( Узнайте, как и когда удалить это сообщение ) Тон или стиль этой статьи может не отражать энциклопедический тон , используемый в Википедии .Ознакомьтесь с руководством Википедии по написанию лучших статей для получения рекомендаций. ( Сентябрь 2023 )( Узнайте, как и когда удалить это сообщение ) Эта статья может оказаться слишком сложной для понимания большинством читателей .Пожалуйста, помогите улучшить его, чтобы сделать его понятным для неспециалистов , не удаляя технические детали. ( Декабрь 2023 )( Узнайте, как и когда удалить это сообщение ) ( Узнайте, как и когда удалить это сообщение )

Оценка линейного тренда — это статистический метод, используемый для анализа закономерностей данных . Закономерности данных , или тенденции, возникают, когда собранная информация имеет тенденцию увеличиваться или уменьшаться с течением времени или подвергается влиянию изменений внешнего фактора. Оценка линейного тренда по сути создает прямую линию на графике данных , которая моделирует общее направление, в котором движутся данные .

При наличии набора данных существует множество функций , которые можно выбрать для подгонки данных. Простейшая функция — это прямая линия с зависимой переменной (обычно измеренными данными) на вертикальной оси и независимой переменной (часто временем) на горизонтальной оси.

Метод наименьших квадратов — это распространенный метод подгонки прямой линии через данные. Этот метод минимизирует сумму квадратов ошибок в ряду данных . При наличии набора точек во времени и значений данных, наблюдаемых для этих точек во времени, значения и выбираются так, чтобы минимизировать сумму квадратов ошибок${\displaystyle y}$${\displaystyle т}$${\displaystyle y_{t}}$${\displaystyle {\шляпа {а}}}$${\displaystyle {\шляпа {б}}}$

${\displaystyle \sum _{t}\left[y_{t}-\left({\hat {a}}t+{\hat {b}}\right)\right]^{2}}$.

Эта формула сначала вычисляет разницу между наблюдаемыми данными и оценкой , разница в каждой точке данных возводится в квадрат, а затем складывается, давая измерение ошибки "сумма квадратов". Значения и , полученные из данных, параметризуют простую линейную оценку . Термин "тренд" относится к наклону в оценке наименьших квадратов.${\displaystyle y_{t}}$${\displaystyle ({\hat {a}}t+{\hat {b}})}$${\displaystyle {\шляпа {а}}}$${\displaystyle {\шляпа {б}}}$${\displaystyle {\hat {y}}={\hat {a}}x+{\hat {b}}}$${\displaystyle {\шляпа {а}}}$

Для анализа (временного) ряда данных можно предположить, что он может быть представлен как тренд плюс шум:

${\displaystyle y_{t}=at+b+e_{t}\,}$

где и — неизвестные константы, а ' — случайно распределенные ошибки . Если можно отвергнуть нулевую гипотезу о том, что ошибки нестационарны , то нестационарный ряд называется трендово-стационарным . Метод наименьших квадратов предполагает, что ошибки распределены независимо с нормальным распределением. Если это не так, проверки гипотез о неизвестных параметрах и могут быть неточными. Проще всего, если все ' имеют одинаковое распределение, но если нет (если некоторые имеют более высокую дисперсию , что означает, что эти точки данных фактически менее надежны), то это можно учесть во время подгонки наименьших квадратов, взвесив каждую точку на величину, обратную дисперсии этой точки.${\displaystyle а}$${\displaystyle б}$${\displaystyle е}$${\displaystyle \{y_{t}\}}$${\displaystyle а}$${\displaystyle б}$${\displaystyle е}$

Обычно, когда для анализа имеется только один временной ряд, дисперсия оценивается путем подгонки тренда для получения оценочных значений параметров и, таким образом, позволяет получить прогнозируемые значения. ${\displaystyle е}$${\displaystyle {\шляпа {а}}}$${\displaystyle {\шляпа {b}},}$

${\displaystyle {\hat {y}}={\hat {a}}t+{\hat {b}}}$

вычитаются из данных (таким образом, устраняя тренд данных), остатки остаются в виде данных с исключенным трендом и оценивается дисперсия 's из остатков — часто это единственный способ оценить дисперсию 's.${\displaystyle y_{t}}$ ${\displaystyle {\hat {e}}_{t}}$${\displaystyle e_{t}}$${\displaystyle e_{t}}$

Как только "шум" ряда известен, значимость тренда можно оценить, приняв нулевую гипотезу о том, что тренд, , не отличается от 0. Из вышеприведенного обсуждения трендов в случайных данных с известной дисперсией следует ожидать распределения вычисленных трендов от случайных (без тренда) данных. Если оценочный тренд, , больше критического значения для определенного уровня значимости , то оценочный тренд считается значительно отличным от нуля на этом уровне значимости, и нулевая гипотеза о нулевом базовом тренде отвергается.${\displaystyle а}$${\displaystyle {\шляпа {а}}}$

Использование линейной линии тренда стало предметом критики, что привело к поиску альтернативных подходов, чтобы избежать ее использования в оценке модели. Один из альтернативных подходов включает тесты единичного корня и технику коинтеграции в эконометрических исследованиях.

Оценочный коэффициент, связанный с линейной трендовой переменной, такой как время, интерпретируется как мера воздействия ряда неизвестных или известных, но неизмеримых факторов на зависимую переменную за единицу времени. Строго говоря, эта интерпретация применима только для временного интервала оценки. За пределами этого временного интервала невозможно определить, как эти неизмеримые факторы ведут себя как качественно, так и количественно.

Результаты исследований математиков, статистиков, эконометров и экономистов были опубликованы в ответ на эти вопросы. Например, подробные заметки о значении линейных временных трендов в регрессионной модели приведены в Cameron (2005); ^[1] Granger, Engle и многие другие эконометристы писали о стационарности, тестировании единичного корня, коинтеграции и связанных с этим вопросах (краткое изложение некоторых работ в этой области можно найти в информационном документе ^[2] Королевской шведской академии наук (2003)); а Ho-Trieu & Tucker (1990) писали о логарифмических временных трендах с результатами, указывающими на то, что линейные временные тренды являются частными случаями циклов .

Сложнее увидеть тренд в шумном временном ряду. Например, если истинный ряд — это 0, 1, 2, 3, все плюс некоторый независимый нормально распределенный «шум» e стандартного отклонения E , и задан выборочный ряд длиной 50, то если E = 0,1, тренд будет очевиден; если E = 100, тренд, вероятно, будет виден; но если E = 10000, тренд будет похоронен в шуме.       

Рассмотрим конкретный пример, например, глобальные данные о температуре поверхности за последние 140 лет, представленные МГЭИК . ^[3] Межгодовые колебания составляют около 0,2  °C, а тренд — около 0,6  °C за 140 лет, с 95% доверительным интервалом 0,2  °C (по совпадению, примерно такое же значение, как и межгодовые колебания). Следовательно, тренд статистически отличается от 0. Однако, как отмечено в другом месте, ^[4] этот временной ряд не соответствует предположениям, необходимым для того, чтобы метод наименьших квадратов был действителен.

Процесс подгонки по методу наименьших квадратов дает значение r-квадрат ( r2 ), которое равно 1 минус отношение дисперсии остатков к дисперсии зависимой переменной. Оно показывает, какая доля дисперсии данных объясняется подогнанной линией тренда. Оно не связано со ^{статистической} значимостью линии тренда (см. график); статистическая значимость тренда определяется его t-статистикой . Часто фильтрация ряда увеличивает r2 ^, при этом мало влияя на подогнанный тренд.

До сих пор предполагалось, что данные состоят из тренда и шума, причем шум в каждой точке данных является независимыми и одинаково распределенными случайными величинами с нормальным распределением. Реальные данные (например, климатические данные) могут не соответствовать этим критериям. Это важно, так как это имеет огромное значение для легкости, с которой статистика может быть проанализирована, чтобы извлечь максимальную информацию из ряда данных. Если есть другие нелинейные эффекты, которые имеют корреляцию с независимой переменной (например, циклические влияния), использование оценки тренда методом наименьших квадратов недействительно. Кроме того, когда вариации значительно больше, чем результирующий прямолинейный тренд, выбор начальной и конечной точек может существенно изменить результат. То есть модель математически неверно определена . Статистические выводы (тесты на наличие тренда, доверительные интервалы для тренда и т. д.) недействительны, если отклонения от стандартных предположений не учтены должным образом, например, следующим образом:

• Зависимость: автокоррелированные временные ряды можно моделировать с использованием моделей авторегрессии скользящего среднего .
• Непостоянная дисперсия: в простейших случаях можно использовать взвешенный метод наименьших квадратов .
• Ненормальное распределение ошибок: в простейших случаях может быть применима обобщенная линейная модель .
• Единичный корень : взятие первых (или иногда вторых) разностей данных, при этом уровень разности определяется с помощью различных тестов на единичный корень. ^[4]

В R линейный тренд данных можно оценить с помощью функции «tslm» пакета «forecast».

Медицинские и биомедицинские исследования часто стремятся определить связь между наборами данных, например, клинической или научной метрики при трех различных заболеваниях. Но данные также могут быть связаны во времени (например, изменение эффекта препарата от исходного уровня, до месяца 1, до месяца 2) или внешним фактором, который может или не может быть определен исследователем и/или его субъектом (например, отсутствие боли, легкая боль, умеренная боль или сильная боль). В этих случаях можно было бы ожидать, что статистика теста эффекта (например, влияние статина на уровень холестерина , анальгетика на степень боли или увеличение доз различных концентраций препарата на измеримый индекс, т. е. эффект доза-реакция) будет изменяться в прямом порядке по мере развития эффекта. Предположим, что средний уровень холестерина до и после назначения статина падает с 5,6 ммоль/л на исходном уровне до 3,4 ммоль/л через один месяц и до 3,7 ммоль/л через два месяца. При достаточной мощности ANOVA (дисперсионный анализ) скорее всего обнаружит значительное падение в один и два месяца, но падение не является линейным. Кроме того, может потребоваться апостериорный тест. Альтернативным тестом может быть повторный (двусторонний) ANOVA или тест Фридмана , в зависимости от характера данных. Тем не менее, поскольку группы упорядочены, стандартный ANOVA не подходит. Если холестерин упадет с 5,4 до 4,1 и до 3,7, будет четкая линейная тенденция. Тот же принцип может быть применен к эффектам частоты аллеля/генотипа , где можно утверждать, что однонуклеотидный полиморфизм в нуклеотидах XX, XY, YY на самом деле является тенденцией отсутствия Y, одного Y, а затем двух Y. ^[3]

Математика оценки линейного тренда является вариантом стандартного ANOVA, дающим различную информацию, и будет наиболее подходящим тестом, если исследователи выдвинут гипотезу о наличии эффекта тренда в своей тестовой статистике. Одним из примеров являются уровни трипсина сыворотки в шести группах субъектов, упорядоченных по возрасту десятилетие (от 10–19 лет до 60–69 лет). Уровни трипсина (нг/мл) растут в прямой линейной тенденции 128, 152, 194, 207, 215, 218 (данные Альтмана). Неудивительно, что «стандартный» ANOVA дает p  < 0,0001, тогда как оценка линейного тренда дает p  = 0,00006. Кстати, можно обоснованно утверждать, что, поскольку возраст является естественным непрерывно изменяющимся показателем, его не следует классифицировать по десятилетиям, а эффект возраста и трипсина сыворотки ищется с помощью корреляции (предполагая, что необработанные данные доступны). Еще один пример — это вещество, измеренное в четырех временных точках в разных группах:

Это четкая тенденция. ANOVA дает p  = 0,091, поскольку общая дисперсия превышает средние значения, тогда как оценка линейного тренда дает p  = 0,012. Однако если бы данные были собраны в четырех временных точках у одних и тех же лиц, оценка линейного тренда была бы неуместной, и был бы применен двухфакторный (повторные измерения) ANOVA.

• Оценка
• Экстраполяция
• Прогнозирование
• Наименьшие квадраты
• Спектральный анализ методом наименьших квадратов
• Линия монтажа
• Интервал прогнозирования
• Регрессионный анализ

• Бьянки, М.; Бойл, М.; Холлингсворт, Д. (1999). «Сравнение методов оценки тренда». Applied Economics Letters . 6 (2): 103–109. doi :10.1080/135048599353726.
• Кэмерон, С. (2005). «Как сделать регрессионный анализ более полезным, II». Эконометрика . Мейденхед: McGraw Hill Higher Education. стр. 171–198. ISBN 0077104285.
• Чатфилд, К. (1993). «Вычисление интервальных прогнозов». Журнал деловой и экономической статистики . 11 (2): 121–135. doi :10.1080/07350015.1993.10509938.
• Хо-Трие, Н. Л.; Такер, Дж. (1990). «Еще одно замечание об использовании логарифмического временного тренда». Обзор маркетинга и сельскохозяйственной экономики . 58 (1): 89–90. doi :10.22004/ag.econ.12288.
• Kungl. Vetenskapsakademien (2003). "Эконометрика временных рядов: коинтеграция и авторегрессионная условная гетероскедастичность". Расширенная информация о премии Банка Швеции по экономическим наукам памяти Альфреда Нобеля . Королевская шведская академия наук.
• Арианос, С.; Карбоне, А.; Турк, К. (2011). «Самоподобие скользящих средних высокого порядка». Physical Review E. 84 ( 4): 046113. Bibcode : 2011PhRvE..84d6113A. doi : 10.1103/physreve.84.046113. PMID  22181233.
• Альтман, Д. Г. (1991). Практическая статистика для медицинских исследований . Лондон: Chapman and Hall. С. 212–220. ISBN 041227630-5.