Нормирующая константа

В теории вероятностей нормирующая константа или нормирующий множитель используется для сведения любой функции вероятности к функции плотности вероятности с общей вероятностью, равной единице.

Например, гауссова функция может быть нормализована в функцию плотности вероятности, которая дает стандартное нормальное распределение. В теореме Байеса нормирующая константа используется для того, чтобы гарантировать, что сумма всех возможных гипотез равна 1. Другие применения нормирующих констант включают в себя придание значению полинома Лежандра значения 1 и в ортогональности ортонормированных функций.

Подобная концепция использовалась и в других областях, помимо теории вероятностей, например, для многочленов.

В теории вероятностей нормирующая константа — это константа, на которую всюду неотрицательная функция должна быть умножена так, чтобы площадь под ее графиком была равна 1, например, чтобы сделать ее функцией плотности вероятности или функцией массы вероятности . ^{[1] [2]}

Если начать с простой гауссовой функции, то получим соответствующий гауссовский интеграл$${\displaystyle p(x)=e^{-x^{2}/2},\quad x\in (-\infty ,\infty )}$$$${\displaystyle \int _{-\infty }^{\infty }p(x)\,dx=\int _{-\infty }^{\infty }e^{-x^{2}/2}\,dx={\sqrt {2\pi \,}},}$$

Теперь, если мы используем обратное значение последнего в качестве нормирующей константы для первого, определяя функцию как так, что ее интеграл равен единице , то функция является функцией плотности вероятности. ^[3] Это плотность стандартного нормального распределения . ( Стандартное в данном случае означает, что ожидаемое значение равно 0, а дисперсия равна 1.)${\displaystyle \varphi (x)}$$${\displaystyle \varphi (x)={\frac {1}{\sqrt {2\pi \,}}}p(x)={\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}}$$$${\displaystyle \int _{-\infty }^{\infty }\varphi (x)\,dx=\int _{-\infty }^{\infty }{\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}\,dx=1}$$${\displaystyle \varphi (x)}$

А константа — это нормирующая константа функции .${\textstyle {\frac {1}{\sqrt {2\пи}}}}$${\displaystyle p(x)}$

Аналогично, и, следовательно, является функцией массы вероятности на множестве всех неотрицательных целых чисел. ^[4] Это функция массы вероятности распределения Пуассона с ожидаемым значением λ.$${\displaystyle \sum _{n=0}^{\infty }{\frac {\lambda ^{n}}{n!}}=e^{\lambda },}$$$${\displaystyle f(n)={\frac {\lambda ^{n}e^{-\lambda }}{n!}}}$$

Обратите внимание, что если функция плотности вероятности является функцией различных параметров, то таковой будет и ее нормирующая константа. Параметризованная нормирующая константа для распределения Больцмана играет центральную роль в статистической механике . В этом контексте нормирующая константа называется функцией распределения .

Теорема Байеса гласит, что апостериорная мера вероятности пропорциональна произведению априорной меры вероятности и функции правдоподобия . Пропорциональность подразумевает, что нужно умножить или разделить на нормализующую константу, чтобы присвоить меру 1 всему пространству, т. е. получить меру вероятности. В простом дискретном случае мы имеем где P(H ₀ ) — априорная вероятность того, что гипотеза верна; P(D|H ₀ ) — условная вероятность данных при условии, что гипотеза верна, но при условии, что данные известны, это вероятность гипотезы (или ее параметров) при условии, что данные; P(H ₀ |D) — апостериорная вероятность того, что гипотеза верна, при условии, что данные известны. P(D) должна быть вероятностью получения данных, но сама по себе ее трудно вычислить, поэтому альтернативный способ описания этой связи — это пропорциональность: поскольку P(H|D) является вероятностью, сумма по всем возможным (взаимоисключающим) гипотезам должна быть равна 1, что приводит к выводу, что В этом случае обратная величина значения является нормализующей константой . ^[5] Ее можно расширить от счетного числа гипотез до несчетного числа, заменив сумму интегралом.$${\displaystyle P(H_{0}|D)={\frac {P(D|H_{0})P(H_{0})}{P(D)}}}$$$${\displaystyle P(H_{0}|D)\propto P(D|H_{0})P(H_{0}).}$$$${\displaystyle P(H_{0}|D)={\frac {P(D|H_{0})P(H_{0})}{\displaystyle \sum _{i}P(D|H_{i})P(H_{i})}}.}$$$${\displaystyle P(D)=\sum _{i}P(D|H_{i})P(H_{i})\;}$$

Для конкретности, существует много методов оценки нормализующей константы для практических целей. Методы включают в себя метод выборки моста, наивную оценку Монте-Карло, обобщенную оценку гармонического среднего и выборку важности. ^[6]

Полиномы Лежандра характеризуются ортогональностью относительно равномерной меры на интервале [−1, 1] и тем фактом, что они нормализованы так, что их значение в точке 1 равно 1. Константа, на которую умножают полином, чтобы его значение стало равным 1, является нормализующей константой.

Ортонормированные функции нормализованы таким образом, что относительно некоторого внутреннего произведения ⟨ f , g ⟩ .$${\displaystyle \langle f_{i},\,f_{j}\rangle =\,\delta _{i,j}}$$

Константа 1/ √ 2 используется для определения гиперболических функций cosh и sinh по длинам смежных и противолежащих сторон гиперболического треугольника .

• Нормализация (статистика)