Теория больших отклонений
Раздел теории вероятностей

В теории вероятностей теория больших отклонений касается асимптотического поведения удаленных хвостов последовательностей вероятностных распределений. Хотя некоторые основные идеи теории можно проследить до Лапласа , формализация началась со страховой математики, а именно теории разорения Крамера и Лундберга . Единая формализация теории больших отклонений была разработана в 1966 году в статье Варадхана . [1] Теория больших отклонений формализует эвристические идеи концентрации мер и широко обобщает понятие сходимости вероятностных мер .

Грубо говоря, теория больших отклонений занимается экспоненциальным снижением вероятностных мер определенных видов экстремальных или хвостовых событий.

Вводные примеры

Любое большое отклонение совершается наименее маловероятным из всех маловероятных способов!

-  Франк ден Холландер, Большие отклонения, с. 10

Элементарный пример

Рассмотрим последовательность независимых подбрасываний честной монеты. Возможными результатами могут быть орел или решка. Обозначим возможный результат i-го испытания как , где орел кодируется как 1, а решка как 0. Теперь обозначим среднее значение после испытаний, а именно Х я {\displaystyle X_{i}} М Н {\displaystyle M_{N}} Н {\displaystyle N}

М Н = 1 Н ∑ я = 1 Н Х я {\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}} .

Тогда лежит между 0 и 1. Из закона больших чисел следует, что с ростом N распределение сходится к (ожидаемому значению одного подбрасывания монеты). М Н {\displaystyle M_{N}} М Н {\displaystyle M_{N}} 0,5 = Э ⁡ [ Х ] {\displaystyle 0.5=\operatorname {E} [X]}

Более того, по центральной предельной теореме следует, что распределено приблизительно нормально для больших . Центральная предельная теорема может предоставить более подробную информацию о поведении , чем закон больших чисел. Например, мы можем приблизительно найти вероятность хвоста – вероятность того, что больше некоторого значения – для фиксированного значения . Однако приближение по центральной предельной теореме может быть неточным, если далеко от и недостаточно велико. Кроме того, оно не дает информации о сходимости вероятностей хвоста при . Однако теория больших отклонений может дать ответы на такие проблемы. М Н {\displaystyle M_{N}} Н {\displaystyle N} М Н {\displaystyle M_{N}} М Н {\displaystyle M_{N}} М Н {\displaystyle M_{N}} х {\displaystyle x} Н {\displaystyle N} х {\displaystyle x} Э ⁡ [ Х я ] {\displaystyle \operatorname {E} [X_{i}]} N {\displaystyle N} N → ∞ {\displaystyle N\to \infty }

Давайте сделаем это утверждение более точным. Для заданного значения вычислим вероятность хвоста . Определим 0.5 < x < 1 {\displaystyle 0.5<x<1} P ( M N > x ) {\displaystyle P(M_{N}>x)}

I ( x ) = x ln ⁡ x + ( 1 − x ) ln ⁡ ( 1 − x ) + ln ⁡ 2 {\displaystyle I(x)=x\ln {x}+(1-x)\ln(1-x)+\ln {2}} .

Обратите внимание, что функция является выпуклой, неотрицательной функцией, которая равна нулю при и увеличивается при приближении к . Это отрицательная энтропия Бернулли с ; то, что она подходит для подбрасывания монеты, следует из свойства асимптотического равнораспределения, примененного к испытанию Бернулли . Тогда с помощью неравенства Чернова можно показать, что . [2] Эта граница довольно точная, в том смысле, что не может быть заменена большим числом, которое дало бы строгое неравенство для всех положительных . [3] (Однако экспоненциальную границу все еще можно уменьшить на субэкспоненциальный множитель порядка ; это следует из приближения Стирлинга, примененного к биномиальному коэффициенту, появляющемуся в распределении Бернулли .) Следовательно, мы получаем следующий результат: I ( x ) {\displaystyle I(x)} x = 1 2 {\displaystyle x={\tfrac {1}{2}}} x {\displaystyle x} 1 {\displaystyle 1} p = 1 2 {\displaystyle p={\tfrac {1}{2}}} P ( M N > x ) < exp ⁡ ( − N I ( x ) ) {\displaystyle P(M_{N}>x)<\exp(-NI(x))} I ( x ) {\displaystyle I(x)} N {\displaystyle N} 1 / N {\displaystyle 1/{\sqrt {N}}}

P ( M N > x ) ≈ exp ⁡ ( − N I ( x ) ) {\displaystyle P(M_{N}>x)\approx \exp(-NI(x))} .

Вероятность убывает экспоненциально как со скоростью, зависящей от x . Эта формула аппроксимирует любую хвостовую вероятность выборочного среднего iid-переменных и дает ее сходимость по мере увеличения числа выборок. P ( M N > x ) {\displaystyle P(M_{N}>x)} N → ∞ {\displaystyle N\to \infty }

Большие отклонения для сумм независимых случайных величин

В приведенном выше примере подбрасывания монеты мы явно предположили, что каждое подбрасывание является независимым испытанием, и вероятность выпадения орла или решки всегда одинакова.

Пусть — независимые и одинаково распределенные (iid) случайные величины, общее распределение которых удовлетворяет определенному условию роста. Тогда существует следующий предел: X , X 1 , X 2 , … {\displaystyle X,X_{1},X_{2},\ldots }

lim N → ∞ 1 N ln ⁡ P ( M N > x ) = − I ( x ) {\displaystyle \lim _{N\to \infty }{\frac {1}{N}}\ln P(M_{N}>x)=-I(x)} .

Здесь

M N = 1 N ∑ i = 1 N X i {\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}} ,

как и прежде.

Функция называется « функцией скорости » или «функцией Крамера», а иногда «функцией энтропии». I ( ⋅ ) {\displaystyle I(\cdot )}

Вышеупомянутый предел означает, что для больших , N {\displaystyle N}

P ( M N > x ) ≈ exp ⁡ [ − N I ( x ) ] {\displaystyle P(M_{N}>x)\approx \exp[-NI(x)]} ,

что является основным результатом теории больших отклонений. [4] [5]

Если мы знаем распределение вероятностей , можно получить явное выражение для функции скорости. Это дается преобразованием Лежандра–Фенхеля , [6] X {\displaystyle X}

I ( x ) = sup θ > 0 [ θ x − λ ( θ ) ] {\displaystyle I(x)=\sup _{\theta >0}[\theta x-\lambda (\theta )]} ,

где

λ ( θ ) = ln ⁡ E ⁡ [ exp ⁡ ( θ X ) ] {\displaystyle \lambda (\theta )=\ln \operatorname {E} [\exp(\theta X)]}

называется кумулянтной производящей функцией (КПФ) и обозначает математическое ожидание . E {\displaystyle \operatorname {E} }

Если распределение является нормальным , то функция скорости становится параболой с вершиной, соответствующей среднему значению нормального распределения. X {\displaystyle X}

Если — неприводимая и апериодическая цепь Маркова , то вариант основного результата больших отклонений, изложенный выше, может иметь место. [ необходима ссылка ] { X i } {\displaystyle \{X_{i}\}}

Умеренные отклонения для сумм независимых случайных величин

Предыдущий пример контролировал вероятность события , то есть концентрацию закона на компактном множестве . Также возможно контролировать вероятность события для некоторой последовательности . Ниже приведен пример принципа умеренных отклонений : [7] [8] [ M N > x ] {\displaystyle [M_{N}>x]} M N {\displaystyle M_{N}} [ − x , x ] {\displaystyle [-x,x]} [ M N > x a N ] {\displaystyle [M_{N}>xa_{N}]} a N → 0 {\displaystyle a_{N}\to 0}

Теорема  —  Пусть — последовательность центрированных независимых одинаковых переменных с конечной дисперсией, такая что . Определим . Тогда для любой последовательности : X 1 , X 2 , … {\displaystyle X_{1},X_{2},\dots } σ 2 {\displaystyle \sigma ^{2}} ∀ λ ∈ R ,   ln ⁡ E [ e λ X 1 ] < ∞ {\displaystyle \forall \lambda \in \mathbb {R} ,\ \ln \mathbb {E} [e^{\lambda X_{1}}]<\infty } M N := 1 N ∑ n ≤ N X N {\displaystyle M_{N}:={\frac {1}{N}}\sum \limits _{n\leq N}X_{N}} 1 ≪ a N ≪ N {\displaystyle 1\ll a_{N}\ll {\sqrt {N}}}

lim N → + ∞ a N 2 N ln ⁡ P [ a N M N ≥ x ] = − x 2 2 σ 2 {\displaystyle \lim \limits _{N\to +\infty }{\frac {a_{N}^{2}}{N}}\ln \mathbb {P} [a_{N}M_{N}\geq x]=-{\frac {x^{2}}{2\sigma ^{2}}}}

В частности, предельным случаем является центральная предельная теорема . a N = N {\displaystyle a_{N}={\sqrt {N}}}

Формальное определение

Пусть задано польское пространство , пусть будет последовательностью борелевских вероятностных мер на , пусть будет последовательностью положительных действительных чисел, такой что , и, наконец, пусть будет полунепрерывным снизу функционалом на Говорят, что последовательность удовлетворяет принципу большого отклонения со скоростью и нормой тогда и только тогда, когда для каждого измеримого по Борелю множества , X {\displaystyle {\mathcal {X}}} { P N } {\displaystyle \{\mathbb {P} _{N}\}} X {\displaystyle {\mathcal {X}}} { a N } {\displaystyle \{a_{N}\}} lim N a N = ∞ {\displaystyle \lim _{N}a_{N}=\infty } I : X → [ 0 , ∞ ] {\displaystyle I:{\mathcal {X}}\to [0,\infty ]} X . {\displaystyle {\mathcal {X}}.} { P N } {\displaystyle \{\mathbb {P} _{N}\}} { a n } {\displaystyle \{a_{n}\}} I {\displaystyle I} E ⊂ X {\displaystyle E\subset {\mathcal {X}}}

− inf x ∈ E ∘ I ( x ) ≤ lim _ N ⁡ a N − 1 log ⁡ ( P N ( E ) ) ≤ lim ¯ N ⁡ a N − 1 log ⁡ ( P N ( E ) ) ≤ − inf x ∈ E ¯ I ( x ) {\displaystyle -\inf _{x\in E^{\circ }}I(x)\leq \varliminf _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq \varlimsup _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq -\inf _{x\in {\overline {E}}}I(x)} ,

где и обозначают соответственно замыкание и внутреннюю часть . [ необходима ссылка ] E ¯ {\displaystyle {\overline {E}}} E ∘ {\displaystyle E^{\circ }} E {\displaystyle E}

Краткая история

Первые строгие результаты, касающиеся больших отклонений, принадлежат шведскому математику Харальду Крамеру , который применил их для моделирования страхового бизнеса. [9] С точки зрения страховой компании, доход имеет постоянную ставку в месяц (ежемесячная премия), но претензии поступают случайным образом. Чтобы компания была успешной в течение определенного периода времени (предпочтительно многих месяцев), общий доход должен превышать общий размер претензии. Таким образом, чтобы оценить премию, вы должны задать следующий вопрос: «Какую премию мы должны выбрать, чтобы в течение месяцев общий размер претензии был меньше ?» Это, очевидно, тот же вопрос, который задает теория больших отклонений. Крамер дал решение этого вопроса для случайных величин iid , где функция ставки выражается в виде степенного ряда . q {\displaystyle q} N {\displaystyle N} C = Σ X i {\displaystyle C=\Sigma X_{i}} N q {\displaystyle Nq}

Крайне неполный список математиков, добившихся важных успехов, включает Петрова , [10] Санова , [11] С.Р.С. Варадхана (который получил премию Абеля за свой вклад в теорию), Д. Рюэля , О.Э. Ланфорда , Марка Фрейдлина , Александра Д. Вентцелля , Амира Дембо и Офера Зейтуни . [12]

Приложения

Принципы больших отклонений могут эффективно применяться для сбора информации из вероятностной модели. Таким образом, теория больших отклонений находит свое применение в теории информации и управлении рисками . В физике наиболее известные приложения теории больших отклонений возникают в термодинамике и статистической механике (в связи со связью энтропии с функцией скорости).

Большие отклонения и энтропия

Функция скорости связана с энтропией в статистической механике. Это можно эвристически увидеть следующим образом. В статистической механике энтропия конкретного макросостояния связана с числом микросостояний, которые соответствуют этому макросостоянию. В нашем примере с подбрасыванием монеты среднее значение может обозначать конкретное макросостояние. А конкретная последовательность орлов и решек, которая приводит к конкретному значению, составляет конкретное микросостояние. Грубо говоря, макросостояние, имеющее большее число микросостояний, приводящих к нему, имеет более высокую энтропию. И состояние с более высокой энтропией имеет более высокий шанс быть реализованным в реальных экспериментах. Макросостояние со средним значением 1/2 (столько же орлов, сколько и решек) имеет наибольшее число микросостояний, приводящих к нему, и это действительно состояние с самой высокой энтропией. И в большинстве практических ситуаций мы действительно получим это макросостояние для большого числа испытаний. С другой стороны, «функция скорости» измеряет вероятность появления конкретного макросостояния. Чем меньше функция скорости, тем выше вероятность появления макросостояния. В нашем подбрасывании монеты значение "функции скорости" для среднего значения, равного 1/2, равно нулю. Таким образом, можно рассматривать "функцию скорости" как отрицательную часть "энтропии". M N {\displaystyle M_{N}} M N {\displaystyle M_{N}}

Между «функцией скорости» в теории больших уклонений и дивергенцией Кульбака–Лейблера существует связь , установленная теоремой Санова (см. Санов [11] и Новак, [13] гл. 14.5).

В частном случае большие отклонения тесно связаны с понятием пределов Громова–Хаусдорфа . [14]

Смотрите также

Ссылки

  1. ^ SRS Varadhan, Асимптотическая вероятность и дифференциальные уравнения , Comm. Pure Appl. Math. 19 (1966), 261-286.
  2. ^ "Большие отклонения для анализа производительности: очереди, коммуникации и вычисления", Шварц, Адам, 1953- TN: 1228486
  3. ^ Варадхан, SRS, Анналы вероятности 2008, т. 36, № 2, 397–419, [1]
  4. ^ "Большие отклонения" (PDF) . www.math.nyu.edu . 2 февраля 2012 г. . Получено 11 июня 2024 г. .
  5. ^ SRS Varadhan, Большие отклонения и их применение (SIAM, Филадельфия, 1984)
  6. ^ Тушетт, Хьюго (1 июля 2009 г.). «Подход к статистической механике с использованием больших отклонений». Physics Reports . 478 ( 1– 3): 1– 69. arXiv : 0804.0327 . Bibcode : 2009PhR...478....1T. doi : 10.1016/j.physrep.2009.05.002. S2CID  118416390.
  7. ^ Дембо, Амир; Зейтуни, Офер (3 ноября 2009 г.). Методы и приложения больших отклонений. Springer Science & Business Media. стр. 109. ISBN 978-3-642-03311-7.
  8. ^ Sethuraman, Jayaram; O., Robert (2011), «Умеренные отклонения», в Lovric, Miodrag (ред.), Международная энциклопедия статистической науки , Берлин, Гейдельберг: Springer Berlin Heidelberg, стр.  847– 849, doi :10.1007/978-3-642-04898-2_374, ISBN 978-3-642-04897-5, получено 2 июля 2023 г.
  9. ^ Крамер, Х. (1944). О новой предельной теореме теории вероятностей. Успехи математических наук, (10), 166-178.
  10. ^ Петров В. В. (1954) Обобщение предельной теоремы Крамера // Успехи математических наук, т. 9, № 4(62), 195--202.
  11. ^ ab Санов И. Н. (1957) О вероятности больших отклонений случайных величин // Матем. сборник, т. 42 (84), 11--44.
  12. ^ Дембо, А. и Зейтуни, О. (2009). Методы больших отклонений и их применение (т. 38). Springer Science & Business Media
  13. ^ Novak SY (2011) Методы экстремальной стоимости и их применение в финансах. Chapman & Hall/CRC Press. ISBN 978-1-4398-3574-6 . 
  14. ^ Котани М., Сунады Т. Большое отклонение и касательный конус на бесконечности кристаллической решетки , Math. Z. 254, (2006), 837-870.

Библиография

  • Специальный приглашенный доклад: Большие отклонения, автор SRS Varadhan, Анналы вероятности, 2008, том 36, № 2, 397–419, doi :10.1214/07-AOP348
  • Базовое введение в большие отклонения: теория, приложения, моделирование, Хьюго Тушетт, arXiv:1106.4146.
  • Энтропия, большие отклонения и статистическая механика, RS Ellis, Springer Publication. ISBN 3-540-29059-1 
  • Большие отклонения для анализа производительности Алана Вайса и Адама Шварца. Chapman and Hall ISBN 0-412-06311-5 
  • Методы и приложения больших отклонений Амира Дембо и Офера Зейтуни. Springer ISBN 0-387-98406-2 
  • Курс по большим отклонениям с введением в меры Гиббса Фираса Расула-Аги и Тимо Сеппяляйнена. Grad. Stud. Math., 162. Американское математическое общество ISBN 978-0-8218-7578-0 
  • Случайные возмущения динамических систем М.И. Фрейдлина и А.Д. Вентцеля. Springer ISBN 0-387-98362-7 
  • «Большие отклонения для двумерного уравнения Навье-Стокса с мультипликативным шумом», SS Sritharan и P. Sundar, Стохастические процессы и их приложения, т. 116 (2006) 1636–1659.[2]
  • «Большие отклонения для стохастической оболочечной модели турбулентности», У. Манна, С. С. Шритаран и П. Сундар, NoDEA Nonlinear Differential Equations Appl. 16 (2009), № 4, 493–521.[3]
Retrieved from "https://en.wikipedia.org/w/index.php?title=Large_deviations_theory&oldid=1236262490"