Сходства между Wiener и LMS

Эта статья чрезмерно опирается на ссылки на первичные источники . Пожалуйста, улучшите эту статью, добавив вторичные или третичные источники . Найти источники:  "Сходства между Wiener и LMS" – новости  · газеты  · книги  · ученый  · JSTOR ( май 2008 г. ) ( Узнайте, как и когда удалять это сообщение )

Эта статья может быть запутанной или непонятной для читателей . Пожалуйста, помогите прояснить статью . Об этом может быть обсуждение на странице обсуждения . ( Февраль 2009 ) ( Узнайте, как и когда удалить это сообщение )

Решение фильтра наименьших средних квадратов сходится к решению фильтра Винера , предполагая, что неизвестная система — это LTI , а шум — стационарный . Оба фильтра можно использовать для определения импульсного отклика неизвестной системы, зная только исходный входной сигнал и выход неизвестной системы. Ослабляя критерий ошибки для уменьшения текущей ошибки выборки вместо минимизации общей ошибки по всем n, алгоритм LMS можно вывести из фильтра Винера.

При известном входном сигнале выход неизвестной системы LTI может быть выражен как:${\displaystyle s[n]}$${\displaystyle x[n]}$

${\displaystyle x[n]=\sum _{k=0}^{N-1}h_{k}s[nk]+w[n]}$

где — неизвестные коэффициенты отвода фильтра, а — шум.${\displaystyle h_{k}}$${\displaystyle w[n]}$

Модель системы , использующая решение фильтра Винера с порядком N, может быть выражена как:${\displaystyle {\hat {x}}[n]}$

${\displaystyle {\hat {x}}[n]=\sum _{k=0}^{N-1}{\hat {h}}_{k}s[n-k]}$

где — коэффициенты отвода фильтра, которые необходимо определить.${\displaystyle {\hat {h}}_{k}}$

Ошибку между моделью и неизвестной системой можно выразить как:

${\displaystyle e[n]=x[n]-{\hat {x}}[n]}$

Общую квадратичную ошибку можно выразить как:${\displaystyle E}$

${\displaystyle E=\sum _{n=-\infty }^{\infty }e[n]^{2}}$

${\displaystyle E=\sum _{n=-\infty }^{\infty }(x[n]-{\hat {x}}[n])^{2}}$

${\displaystyle E=\sum _{n=-\infty }^{\infty }(x[n]^{2}-2x[n]{\hat {x}}[n]+{\hat {x}}[n]^{2})}$

Используйте критерий минимальной среднеквадратической ошибки по всем , установив его градиент равным нулю:${\displaystyle n}$

${\displaystyle \nabla E=0}$который для всех${\displaystyle {\frac {\partial E}{\partial {\hat {h}}_{i}}}=0}$${\displaystyle i=0,1,2,...,N-1}$

${\displaystyle {\frac {\partial E}{\partial {\hat {h}}_{i}}}={\frac {\partial }{\partial {\hat {h}}_{i}}}\sum _{n=-\infty }^{\infty }[x[n]^{2}-2x[n]{\hat {x}}[n]+{\hat {x}}[n]^{2}]}$

Заменить определение :${\displaystyle {\hat {x}}[n]}$

${\displaystyle {\frac {\partial E}{\partial {\hat {h}}_{i}}}={\frac {\partial }{\partial {\hat {h}}_{i}}}\sum _{n=-\infty }^{\infty }[x[n]^{2}-2x[n]\sum _{k=0}^{N-1}{\hat {h}}_{k}s[n-k]+(\sum _{k=0}^{N-1}{\hat {h}}_{k}s[n-k])^{2}]}$

Распределим частную производную:

${\displaystyle {\frac {\partial E}{\partial {\hat {h}}_{i}}}=\sum _{n=-\infty }^{\infty }[-2x[n]s[n-i]+2(\sum _{k=0}^{N-1}{\hat {h}}_{k}s[n-k])s[n-i]]}$

Используя определение дискретной взаимной корреляции :

${\displaystyle R_{xy}(i)=\sum _{n=-\infty }^{\infty }x[n]y[n-i]}$

${\displaystyle {\frac {\partial E}{\partial {\hat {h}}_{i}}}=-2R_{xs}[i]+2\sum _{k=0}^{N-1}{\hat {h}}_{k}R_{ss}[i-k]=0}$

Переставьте термины:

${\displaystyle R_{xs}[i]=\sum _{k=0}^{N-1}{\hat {h}}_{k}R_{ss}[i-k]}$ для всех${\displaystyle i=0,1,2,...,N-1}$

Эту систему из N уравнений с N неизвестными можно определить.

Результирующие коэффициенты фильтра Винера можно определить по формуле: , где — вектор взаимной корреляции между и .${\displaystyle W=R_{xx}^{-1}P_{xs}}$${\displaystyle P_{xs}}$${\displaystyle x}$${\displaystyle s}$

Ослабляя бесконечную сумму фильтра Винера только до ошибки в момент времени , можно вывести алгоритм LMS.${\displaystyle n}$

Квадратичная ошибка может быть выражена как:

${\displaystyle E=(d[n]-y[n])^{2}}$

Используя критерий минимальной среднеквадратической ошибки, возьмем градиент:

${\displaystyle {\frac {\partial E}{\partial w}}={\frac {\partial }{\partial w}}(d[n]-y[n])^{2}}$

Применить цепочку правил и подставить определение y[n]

${\displaystyle {\frac {\partial E}{\partial w}}=2(d[n]-y[n]){\frac {\partial }{\partial w}}(d[n]-\sum _{k=0}^{N-1}{\hat {w}}_{k}x[n-k])}$

${\displaystyle {\frac {\partial E}{\partial w_{i}}}=-2(e[n])(x[n-i])}$

Используя градиентный спуск и размер шага :${\displaystyle \mu }$

${\displaystyle w[n+1]=w[n]-\mu {\frac {\partial E}{\partial w}}}$

что становится, для i = 0, 1, ..., N-1,

${\displaystyle w_{i}[n+1]=w_{i}[n]+2\mu (e[n])(x[n-i])}$

Это уравнение обновления LMS.

• фильтр Винера
• Фильтр наименьших средних квадратов

• Дж. Г. Прокис и Д. Г. Манолакис, Цифровая обработка сигналов: принципы, алгоритмы и приложения, Prentice-Hall, 4-е изд., 2007.