Принцип ортогональности

В статистике и обработке сигналов принцип ортогональности является необходимым и достаточным условием оптимальности байесовского оценщика . Грубо говоря, принцип ортогональности гласит, что вектор ошибок оптимального оценщика (в смысле среднеквадратической ошибки ) ортогонален любому возможному оценщику. Принцип ортогональности чаще всего формулируется для линейных оценщиков, но возможны и более общие формулировки. Поскольку принцип является необходимым и достаточным условием оптимальности, его можно использовать для нахождения минимальной среднеквадратической ошибки оценщика.

Принцип ортогональности чаще всего используется в условиях линейной оценки. ^[1] В этом контексте пусть x будет неизвестным случайным вектором , который должен быть оценен на основе вектора наблюдения y . Требуется построить линейную оценку для некоторой матрицы H и вектора c . Тогда принцип ортогональности гласит, что оценка достигает минимальной среднеквадратической ошибки тогда и только тогда, когда${\displaystyle {\hat {x}}=Hy+c}$${\displaystyle {\хэт {x}}}$

• ${\displaystyle \operatorname {E} \{({\hat {x}}-x)y^{T}\}=0,}$и
• ${\displaystyle \operatorname {E} \{{\hat {x}}-x\}=0.}$

Если x и y имеют нулевое среднее значение, то достаточно потребовать выполнения первого условия.

Предположим, что x — гауссовская случайная величина со средним значением m и дисперсией. Предположим также, что мы наблюдаем значение , где w — гауссовский шум, который не зависит от x и имеет среднее значение 0 и дисперсию. Мы хотим найти линейную оценку, минимизирующую MSE. Подставляя выражение в два требования принципа ортогональности, получаем${\displaystyle \сигма _{x}^{2}.}$${\displaystyle y=x+w,}$${\displaystyle \sigma _{w}^{2}.}$${\displaystyle {\hat {x}}=hy+c}$${\displaystyle {\hat {x}}=hy+c}$

${\displaystyle 0=\operatorname {E} \{({\hat {x}}-x)y\}}$

${\displaystyle 0=\operatorname {E} \{(hx+hw+cx)(x+w)\}}$

${\displaystyle 0=h(\sigma _{x}^{2}+\sigma _{w}^{2})+hm^{2}+cm-\sigma _{x}^{2}-m^{2}}$

и

${\displaystyle 0=\operatorname {E} \{{\hat {x}}-x\}}$

${\displaystyle 0=\operatorname {E} \{hx+hw+cx\}}$

${\displaystyle 0=(h-1)m+c.}$

Решение этих двух линейных уравнений относительно h и c приводит к

${\displaystyle h={\frac {\sigma _{x}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}},\quad c={\frac {\sigma _{w}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}}m,}$

так что линейная оценка минимальной среднеквадратической ошибки определяется выражением

${\displaystyle {\hat {x}}={\frac {\sigma _{x}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}}y+{\frac {\sigma _{w}^{2}}{\sigma _{x}^{2}+\sigma _{w}^{2}}}m.}$

Эту оценку можно интерпретировать как средневзвешенное значение между шумными измерениями y и априорным ожидаемым значением m . Если дисперсия шума мала по сравнению с дисперсией априорного значения (что соответствует высокому SNR ), то большая часть веса дается измерениям y , которые считаются более надежными, чем априорная информация. И наоборот, если дисперсия шума относительно выше, то оценка будет близка к m , поскольку измерения недостаточно надежны, чтобы перевесить априорную информацию.${\displaystyle \sigma _{w}^{2}}$${\displaystyle \sigma _{x}^{2}}$

Наконец, обратите внимание, что поскольку переменные x и y являются совместно гауссовыми, минимальная оценка MSE является линейной. ^[2] Следовательно, в этом случае оценка выше минимизирует MSE среди всех оценок, а не только линейных оценок.

Пусть будет гильбертовым пространством случайных величин со скалярным произведением , определяемым как . Предположим, что является замкнутым подпространством , представляющим пространство всех возможных оценок. Требуется найти вектор , который будет аппроксимировать вектор . Точнее, требуется минимизировать среднюю квадратичную ошибку (MSE) между и .${\displaystyle V}$${\displaystyle \langle x,y\rangle =\operatorname {E} \{x^{H}y\}}$${\displaystyle W}$${\displaystyle V}$${\displaystyle {\hat {x}}\in W}$${\displaystyle x\in V}$${\displaystyle \operatorname {E} \|x-{\hat {x}}\|^{2}}$${\displaystyle {\hat {x}}}$${\displaystyle x}$

В частном случае линейных оценщиков, описанном выше, пространство представляет собой множество всех функций от и , в то время как представляет собой множество линейных оценщиков, т. е. линейных функций только от . Другие настройки, которые можно сформулировать таким образом, включают подпространство каузальных линейных фильтров и подпространство всех (возможно, нелинейных) оценщиков.${\displaystyle V}$${\displaystyle x}$${\displaystyle y}$${\displaystyle W}$${\displaystyle y}$

Геометрически мы можем увидеть эту проблему с помощью следующего простого случая, где — одномерное подпространство:${\displaystyle W}$

Мы хотим найти ближайшее приближение к вектору вектором в пространстве . Из геометрической интерпретации интуитивно понятно, что наилучшее приближение или наименьшая ошибка возникает, когда вектор ошибки, , ортогонален векторам в пространстве . ${\displaystyle x}$${\displaystyle {\hat {x}}}$${\displaystyle W}$${\displaystyle e}$${\displaystyle W}$

Точнее, общий принцип ортогональности утверждает следующее: если задано замкнутое подпространство оценок в гильбертовом пространстве и элемент в , то элемент достигает минимальной среднеквадратической ошибки среди всех элементов в тогда и только тогда, когда для всех${\displaystyle W}$${\displaystyle V}$${\displaystyle x}$${\displaystyle V}$${\displaystyle {\hat {x}}\in W}$${\displaystyle W}$${\displaystyle \operatorname {E} \{(x-{\hat {x}})y^{T}\}=0}$${\displaystyle y\in W.}$

Изложенный таким образом, этот принцип является просто утверждением теоремы о проекции Гильберта . Тем не менее, широкое использование этого результата в обработке сигналов привело к названию «принцип ортогональности».

Ниже представлен один из способов нахождения минимальной оценки среднеквадратической ошибки с использованием принципа ортогональности.

Мы хотим иметь возможность аппроксимировать вектор с помощью ${\displaystyle x}$

${\displaystyle x={\hat {x}}+e\,}$

где

${\displaystyle {\hat {x}}=\sum _{i}c_{i}p_{i}}$

является приближением как линейной комбинации векторов в подпространстве, охватываемом Поэтому мы хотим иметь возможность решить относительно коэффициентов, , чтобы мы могли записать наше приближение в известных терминах.${\displaystyle x}$${\displaystyle W}$${\displaystyle p_{1},p_{2},\ldots .}$${\displaystyle c_{i}}$

По теореме ортогональности квадратная норма вектора ошибок минимизируется, когда для всех j ,${\displaystyle \left\Vert e\right\Vert ^{2}}$

${\displaystyle \left\langle x-\sum _{i}c_{i}p_{i},p_{j}\right\rangle =0.}$

Развивая это уравнение, получаем

${\displaystyle \left\langle x,p_{j}\right\rangle =\left\langle \sum _{i}c_{i}p_{i},p_{j}\right\rangle =\sum _{i}c_{i}\left\langle p_{i},p_{j}\right\rangle .}$

Если имеется конечное число векторов , то это уравнение можно записать в матричной форме как${\displaystyle n}$${\displaystyle p_{i}}$

${\displaystyle {\begin{bmatrix}\left\langle x,p_{1}\right\rangle \\\left\langle x,p_{2}\right\rangle \\\vdots \\\left\langle x,p_{n}\right\rangle \end{bmatrix}}={\begin{bmatrix}\left\langle p_{1},p_{1}\right\rangle &\left\langle p_{2},p_{1}\right\rangle &\cdots &\left\langle p_{n},p_{1}\right\rangle \\\left\langle p_{1},p_{2}\right\rangle &\left\langle p_{2},p_{2}\right\rangle &\cdots &\left\langle p_{n},p_{2}\right\rangle \\\vdots &\vdots &\ddots &\vdots \\\left\langle p_{1},p_{n}\right\rangle &\left\langle p_{2},p_{n}\right\rangle &\cdots &\left\langle p_{n},p_{n}\right\rangle \end{bmatrix}}{\begin{bmatrix}c_{1}\\c_{2}\\\vdots \\c_{n}\end{bmatrix}}.}$

Предполагая, что линейно независимы , матрицу Грама можно инвертировать, чтобы получить${\displaystyle p_{i}}$

${\displaystyle {\begin{bmatrix}c_{1}\\c_{2}\\\vdots \\c_{n}\end{bmatrix}}={\begin{bmatrix}\left\langle p_{1},p_{1}\right\rangle &\left\langle p_{2},p_{1}\right\rangle &\cdots &\left\langle p_{n},p_{1}\right\rangle \\\left\langle p_{1},p_{2}\right\rangle &\left\langle p_{2},p_{2}\right\rangle &\cdots &\left\langle p_{n},p_{2}\right\rangle \\\vdots &\vdots &\ddots &\vdots \\\left\langle p_{1},p_{n}\right\rangle &\left\langle p_{2},p_{n}\right\rangle &\cdots &\left\langle p_{n},p_{n}\right\rangle \end{bmatrix}}^{-1}{\begin{bmatrix}\left\langle x,p_{1}\right\rangle \\\left\langle x,p_{2}\right\rangle \\\vdots \\\left\langle x,p_{n}\right\rangle \end{bmatrix}},}$

таким образом, получая выражение для коэффициентов оценки минимальной среднеквадратической ошибки.${\displaystyle c_{i}}$

• Минимальная среднеквадратическая ошибка
• Теорема проекции Гильберта

• Кей, СМ (1993). Основы статистической обработки сигналов: теория оценки . Prentice Hall. ISBN 0-13-042268-1.
• Мун, Тодд К. (2000). Математические методы и алгоритмы обработки сигналов . Prentice-Hall. ISBN 0-201-36186-8.