Инвариантная оценка

В этой статье есть несколько проблем. Помогите улучшить ее или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалять эти сообщения ) В статье содержится список общих ссылок , но в ней отсутствуют соответствующие встроенные цитаты .Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. (July 2010) (Learn how and when to remove this message) This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed. Find sources: "Invariant estimator" – news · newspapers · books · scholar · JSTOR (July 2010) (Learn how and when to remove this message) (Learn how and when to remove this message)

В статистике понятие инвариантного оценщика является критерием, который можно использовать для сравнения свойств различных оценщиков для одной и той же величины. Это способ формализации идеи о том, что оценщик должен обладать определенными интуитивно привлекательными качествами. Строго говоря, «инвариантный» будет означать, что сами оценки остаются неизменными, когда и измерения, и параметры преобразуются совместимым образом, но значение было расширено, чтобы позволить оценкам изменяться соответствующим образом при таких преобразованиях. ^[1] Термин эквивариантный оценщик используется в формальных математических контекстах, которые включают точное описание отношения того, как оценщик изменяется в ответ на изменения в наборе данных и параметризации: это соответствует использованию « эквивариантности » в более общей математике.

В статистическом выводе существует несколько подходов к теории оценки , которые можно использовать для немедленного решения, какие оценщики следует использовать в соответствии с этими подходами. Например, идеи из байесовского вывода напрямую приведут к байесовским оценщикам . Аналогично, теория классического статистического вывода иногда может приводить к сильным выводам о том, какой оценщик следует использовать. Однако полезность этих теорий зависит от наличия полностью предписанной статистической модели и может также зависеть от наличия соответствующей функции потерь для определения оценщика. Таким образом, может быть проведен байесовский анализ , приводящий к апостериорному распределению для соответствующих параметров, но использование конкретной функции полезности или потерь может быть неясным. Идеи инвариантности затем могут быть применены к задаче суммирования апостериорного распределения. В других случаях статистический анализ проводится без полностью определенной статистической модели или классическая теория статистического вывода не может быть легко применена, поскольку рассматриваемое семейство моделей не поддается такой обработке. В дополнение к этим случаям, когда общая теория не предписывает оценщика, концепция инвариантности оценщика может применяться при поиске оценщиков альтернативных форм, либо ради простоты применения оценщика, либо для того, чтобы оценщик был надежным .

Понятие инвариантности иногда используется само по себе как способ выбора между оценщиками, но это не обязательно является окончательным. Например, требование инвариантности может быть несовместимо с требованием, чтобы оценщик был несмещенным по среднему ; с другой стороны, критерий несмещенности по медиане определяется в терминах выборочного распределения оценщика и поэтому инвариантен относительно многих преобразований.

Одно из применений концепции инвариантности — когда предлагается класс или семейство оценщиков, и среди них должна быть выбрана конкретная формулировка. Одна процедура заключается в том, чтобы наложить соответствующие свойства инвариантности, а затем найти формулировку в этом классе, которая имеет наилучшие свойства, что приводит к тому, что называется оптимальной инвариантной оценкой.

Существует несколько типов преобразований, которые полезно учитывать при работе с инвариантными оценщиками. Каждый из них порождает класс оценщиков, которые инвариантны к этим конкретным типам преобразований.

• Инвариантность сдвига: Теоретически оценки параметра местоположения должны быть инвариантны к простым сдвигам значений данных. Если все значения данных увеличиваются на заданную величину, оценка должна измениться на ту же величину. При рассмотрении оценки с использованием взвешенного среднего это требование инвариантности немедленно подразумевает, что веса должны в сумме давать единицу. Хотя тот же результат часто выводится из требования несмещенности, использование «инвариантности» не требует, чтобы существовало среднее значение, и вообще не использует какое-либо распределение вероятностей.
• Масштабная инвариантность: Обратите внимание, что эту тему об инвариантности параметра масштаба оценки не следует путать с более общей масштабной инвариантностью поведения систем в совокупности свойств (в физике).
• Инвариантность преобразования параметров: здесь преобразование применяется только к параметрам. Идея здесь заключается в том, что по сути тот же вывод должен быть сделан из данных и модели, включающей параметр θ, как это было бы сделано из тех же данных, если бы модель использовала параметр φ, где φ является однозначным преобразованием θ, φ = h (θ). Согласно этому типу инвариантности, результаты от преобразованно-инвариантных оценщиков также должны быть связаны соотношением φ = h (θ). Оценщики максимального правдоподобия обладают этим свойством, когда преобразование является монотонным . Хотя асимптотические свойства оценщика могут быть инвариантными, свойства малой выборки могут быть разными, и необходимо вывести конкретное распределение. ^[2]
• Инвариантность к перестановкам: если набор значений данных может быть представлен статистической моделью, которая является результатом независимых и одинаково распределенных случайных величин , разумно наложить требование, чтобы любая оценка любого свойства общего распределения была инвариантной к перестановкам: в частности, оценка, рассматриваемая как функция набора значений данных, не должна меняться, если элементы данных меняются местами в наборе данных.

Сочетание инвариантности перестановки и инвариантности местоположения для оценки параметра местоположения из независимого и одинаково распределенного набора данных с использованием взвешенного среднего подразумевает, что веса должны быть идентичны и в сумме давать единицу. Конечно, оценки, отличные от взвешенного среднего, могут быть предпочтительными.

В этой настройке нам дан набор измерений , который содержит информацию о неизвестном параметре . Измерения моделируются как векторная случайная величина , имеющая функцию плотности вероятности , которая зависит от вектора параметров .${\displaystyle x}$${\displaystyle \theta }$${\displaystyle x}$ ${\displaystyle f(x|\theta )}$${\displaystyle \theta }$

Задача состоит в оценке заданного . Оценка, обозначенная , является функцией измерений и принадлежит набору . Качество результата определяется функцией потерь , которая определяет функцию риска . Наборы возможных значений , , и обозначаются , , и , соответственно.${\displaystyle \theta }$${\displaystyle x}$${\displaystyle a}$${\displaystyle A}$ ${\displaystyle L=L(a,\theta )}$ ${\displaystyle R=R(a,\theta )=E[L(a,\theta )|\theta ]}$${\displaystyle x}$${\displaystyle \theta }$${\displaystyle a}$${\displaystyle X}$${\displaystyle \Theta }$${\displaystyle A}$

В статистической классификации правило, которое присваивает класс новому элементу данных, можно считать особым типом оценщика. Ряд соображений типа инвариантности можно использовать при формулировании априорных знаний для распознавания образов .

Инвариантная оценка — это оценка, которая подчиняется следующим двум правилам: ^{[ необходима цитата ]}

1. Принцип рациональной инвариантности: действие, предпринимаемое в задаче принятия решения, не должно зависеть от преобразования используемого измерения.
2. Принцип инвариантности: если две задачи принятия решений имеют одинаковую формальную структуру (с точки зрения , и ), то в каждой задаче следует использовать одно и то же правило принятия решений .${\displaystyle X}$${\displaystyle \Theta }$${\displaystyle f(x|\theta )}$${\displaystyle L}$

Чтобы формально определить инвариантную или эквивариантную оценку, сначала необходимо дать некоторые определения, связанные с группами преобразований. Пусть обозначает множество возможных выборок данных. Группа преобразований , обозначаемая как , представляет собой множество (измеримых) преобразований 1:1 и на в себя, которое удовлетворяет следующим условиям:${\displaystyle X}$${\displaystyle X}$${\displaystyle G}$${\displaystyle X}$

1. Если и тогда${\displaystyle g_{1}\in G}$${\displaystyle g_{2}\in G}$${\displaystyle g_{1}g_{2}\in G\,}$
2. Если , то , где (То есть каждое преобразование имеет обратное внутри группы.)${\displaystyle g\in G}$${\displaystyle g^{-1}\in G}$${\displaystyle g^{-1}(g(x))=x\,.}$
3. ${\displaystyle e\in G}$(т.е. происходит трансформация идентичности )${\displaystyle e(x)=x\,}$

Наборы данных и в эквивалентны, если для некоторого . Все эквивалентные точки образуют класс эквивалентности . Такой класс эквивалентности называется орбитой (в ). Орбита, , является множеством . Если состоит из одной орбиты, то называется транзитивным.${\displaystyle x_{1}}$${\displaystyle x_{2}}$${\displaystyle X}$${\displaystyle x_{1}=g(x_{2})}$${\displaystyle g\in G}$${\displaystyle X}$${\displaystyle x_{0}}$${\displaystyle X(x_{0})}$${\displaystyle X(x_{0})=\{g(x_{0}):g\in G\}}$${\displaystyle X}$${\displaystyle g}$

Семейство плотностей называется инвариантным относительно группы , если для любого и существует единственное такое, что имеет плотность . будем обозначать .${\displaystyle F}$${\displaystyle G}$${\displaystyle g\in G}$${\displaystyle \theta \in \Theta }$${\displaystyle \theta ^{*}\in \Theta }$${\displaystyle Y=g(x)}$${\displaystyle f(y|\theta ^{*})}$${\displaystyle \theta ^{*}}$${\displaystyle {\bar {g}}(\theta )}$

Если инвариантна относительно группы , то говорят, что функция потерь инвариантна относительно , ​​если для каждого и существует такое , что для всех . Преобразованное значение будет обозначаться как .${\displaystyle F}$${\displaystyle G}$${\displaystyle L(\theta ,a)}$${\displaystyle G}$${\displaystyle g\in G}$${\displaystyle a\in A}$${\displaystyle a^{*}\in A}$${\displaystyle L(\theta ,a)=L({\bar {g}}(\theta ),a^{*})}$${\displaystyle \theta \in \Theta }$${\displaystyle a^{*}}$${\displaystyle {\tilde {g}}(a)}$

В приведенном выше примере — это группа преобразований из в себя, а — это группа преобразований из в себя.${\displaystyle {\bar {G}}=\{{\bar {g}}:g\in G\}}$${\displaystyle \Theta }$${\displaystyle {\tilde {G}}=\{{\tilde {g}}:g\in G\}}$${\displaystyle A}$

Задача оценки инвариантна (эквивариантна) относительно , ​​если существуют три группы , определенные выше.${\displaystyle G}$${\displaystyle G,{\bar {G}},{\tilde {G}}}$

Для задачи оценки, которая инвариантна относительно , ​​оценщик является инвариантным оценщиком относительно , ​​если для всех и ,${\displaystyle G}$${\displaystyle \delta (x)}$${\displaystyle G}$${\displaystyle x\in X}$${\displaystyle g\in G}$

${\displaystyle \delta (g(x))={\tilde {g}}(\delta (x)).}$

1. Функция риска инвариантной оценки, , постоянна на орбитах . Эквивалентно для всех и .${\displaystyle \delta }$${\displaystyle \Theta }$${\displaystyle R(\theta ,\delta )=R({\bar {g}}(\theta ),\delta )}$${\displaystyle \theta \in \Theta }$${\displaystyle {\bar {g}}\in {\bar {G}}}$
2. Функция риска инвариантной оценки с транзитивностью постоянна.${\displaystyle {\bar {g}}}$

Для данной задачи инвариантная оценка с наименьшим риском называется «лучшей инвариантной оценкой». Лучшая инвариантная оценка не всегда может быть достигнута. Частным случаем, для которого она может быть достигнута, является случай, когда является транзитивным.${\displaystyle {\bar {g}}}$

Предположим, что является параметром местоположения, если плотность имеет вид . Для и задача инвариантна относительно . Инвариантная оценка в этом случае должна удовлетворять${\displaystyle \theta }$${\displaystyle X}$${\displaystyle f(x-\theta )}$${\displaystyle \Theta =A=\mathbb {R} ^{1}}$${\displaystyle L=L(a-\theta )}$${\displaystyle g={\bar {g}}={\tilde {g}}=\{g_{c}:g_{c}(x)=x+c,c\in \mathbb {R} \}}$

${\displaystyle \delta (x+c)=\delta (x)+c,{\text{ for all }}c\in \mathbb {R} ,}$

таким образом, он имеет вид ( ). является транзитивным по , поэтому риск не меняется с : то есть, . Наилучшей инвариантной оценкой является та, которая сводит риск к минимуму.${\displaystyle \delta (x)=x+K}$${\displaystyle K\in \mathbb {R} }$${\displaystyle {\bar {g}}}$${\displaystyle \Theta }$${\displaystyle \theta }$${\displaystyle R(\theta ,\delta )=R(0,\delta )=\operatorname {E} [L(X+K)|\theta =0]}$${\displaystyle R(\theta ,\delta )}$

В случае, если L — квадрат ошибки${\displaystyle \delta (x)=x-\operatorname {E} [X|\theta =0].}$

Задача оценки состоит в том, что имеет плотность , где θ — параметр, который необходимо оценить, и где функция потерь . Эта задача инвариантна со следующими (аддитивными) группами преобразований:${\displaystyle X=(X_{1},\dots ,X_{n})}$${\displaystyle f(x_{1}-\theta ,\dots ,x_{n}-\theta )}$${\displaystyle L(|a-\theta |)}$

${\displaystyle G=\{g_{c}:g_{c}(x)=(x_{1}+c,\dots ,x_{n}+c),c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\bar {G}}=\{g_{c}:g_{c}(\theta )=\theta +c,c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\tilde {G}}=\{g_{c}:g_{c}(a)=a+c,c\in \mathbb {R} ^{1}\}.}$

Лучшая инвариантная оценка — это та, которая минимизирует${\displaystyle \delta (x)}$

${\displaystyle {\frac {\int _{-\infty }^{\infty }L(\delta (x)-\theta )f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }},}$

и это оценка Питмана (1939).

Для случая квадратичной ошибки потери результат будет следующим:

${\displaystyle \delta (x)={\frac {\int _{-\infty }^{\infty }\theta f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }}.}$

Если (т.е. многомерное нормальное распределение с независимыми компонентами с единичной дисперсией), то${\displaystyle x\sim N(\theta 1_{n},I)\,\!}$

${\displaystyle \delta _{\text{Pitman}}=\delta _{ML}={\frac {\sum {x_{i}}}{n}}.}$

Если (независимые компоненты, имеющие распределение Коши с параметром масштаба σ ), то ,. Однако результат будет${\displaystyle x\sim C(\theta 1_{n},I\sigma ^{2})\,\!}$${\displaystyle \delta _{\text{Pitman}}\neq \delta _{ML}}$

${\displaystyle \delta _{\text{Pitman}}=\sum _{k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}{\sum _{m=1}^{n}{{\text{Re}}\{w_{k}\}}}}\right]},\qquad n>1,}$

с

${\displaystyle w_{k}=\prod _{j\neq k}\left[{\frac {1}{(x_{k}-x_{j})^{2}+4\sigma ^{2}}}\right]\left[1-{\frac {2\sigma }{(x_{k}-x_{j})}}i\right].}$

• Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN 0-387-96098-8. МР  0804611.^{[ нужна страница ]}
• Freue, Gabriela V. Cohen (2007). «Оценка Питмана параметра местоположения Коши». Журнал статистического планирования и вывода . 137 (6): 1900–1913. doi :10.1016/j.jspi.2006.05.002.
• Питман, Э. Дж. Г. (1939). «Оценка параметров местоположения и масштаба непрерывной популяции любой заданной формы». Biometrika . 30 (3/4): 391–421. doi :10.1093/biomet/30.3-4.391. JSTOR  2332656.
• Питман, Э. Дж. Г. (1939). «Проверка гипотез относительно параметров местоположения и масштаба». Biometrika . 31 (1/2): 200–215. doi :10.1093/biomet/31.1-2.200. JSTOR  2334983.