Сходимость случайных величин

В теории вероятностей существует несколько различных понятий сходимости последовательностей случайных величин , включая сходимость по вероятности , сходимость по распределению и почти наверняка сходимость . Различные понятия сходимости охватывают различные свойства последовательности, при этом некоторые понятия сходимости сильнее других. Например, сходимость по распределению говорит нам о предельном распределении последовательности случайных величин. Это более слабое понятие, чем сходимость по вероятности, которое говорит нам о значении, которое примет случайная величина, а не только о распределении.

Эта концепция важна в теории вероятностей и ее приложениях к статистике и стохастическим процессам . Те же концепции известны в более общей математике как стохастическая сходимость , и они формализуют идею о том, что некоторые свойства последовательности по существу случайных или непредсказуемых событий иногда могут, как ожидается, прийти к поведению, которое по существу не меняется, когда элементы достаточно далеко в последовательности изучаются. Различные возможные понятия сходимости связаны с тем, как такое поведение может быть охарактеризовано: два легко понимаемых поведения заключаются в том, что последовательность в конечном итоге принимает постоянное значение, и что значения в последовательности продолжают меняться, но могут быть описаны неизменным распределением вероятностей.

«Стохастическая сходимость» формализует идею о том, что последовательность по существу случайных или непредсказуемых событий иногда может, как ожидается, уложиться в шаблон. Шаблон может быть, например,

• Сходимость в классическом смысле к фиксированному значению, возможно, сама происходящая из случайного события
• Все большее сходство результатов с тем, что могла бы дать чисто детерминированная функция
• Растущее предпочтение определенного результата
• Растущее «отвращение» к слишком большому отклонению от определенного результата
• Что распределение вероятностей, описывающее следующий результат, может становиться все более похожим на определенное распределение

Некоторые менее очевидные, более теоретические закономерности могут быть

• Что ряд, сформированный путем вычисления ожидаемого значения расстояния результата от конкретного значения, может сходиться к 0
• Что дисперсия случайной величины, описывающей следующее событие, становится все меньше и меньше.

Эти другие типы закономерностей, которые могут возникнуть, отражены в различных типах стохастической конвергенции, которые были изучены.

Хотя приведенное выше обсуждение касалось сходимости одного ряда к предельному значению, понятие сходимости двух рядов друг к другу также важно, но с этим легко справиться, изучая последовательность, определяемую либо как разность, либо как отношение двух рядов.

Например, если среднее значение n независимых случайных величин , имеющих одинаковое конечное среднее значение и дисперсию , определяется как${\displaystyle Y_{i},\ i=1,\точки ,n}$

${\displaystyle X_{n}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}\,,}$

то при стремлении к бесконечности сходится по вероятности (см. ниже) к общему среднему , , случайных величин . Этот результат известен как слабый закон больших чисел . Другие формы сходимости важны в других полезных теоремах, включая центральную предельную теорему .${\displaystyle n}$${\displaystyle X_{n}}$${\displaystyle \мю}$${\displaystyle Y_{i}}$

Далее мы предполагаем, что — последовательность случайных величин, а — случайная величина, и все они определены в одном и том же вероятностном пространстве .${\displaystyle (X_{n})}$${\displaystyle X}$ ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$

Примеры конвергенции в распределении

Фабрика игральных костей
Предположим, что только что построена новая фабрика по производству игральных костей. Первые несколько игральных костей выходят довольно предвзятыми из-за несовершенства производственного процесса. Результат подбрасывания любой из них будет следовать распределению, заметно отличающемуся от желаемого равномерного распределения . По мере совершенствования фабрики игральные кости становятся все менее загруженными, а результаты подбрасывания новой игральной кости будут все более и более точно следовать равномерному распределению.
Бросание монет
Пусть X n будет долей орлов после подбрасывания несмещенной монеты n раз. Тогда X 1 имеет распределение Бернулли с ожидаемым значением μ = 0,5 и дисперсией σ 2 = 0,25 . Последующие случайные величины X 2 , X 3 , ... будут распределены биномиально . По мере увеличения n это распределение постепенно начнет приобретать форму, все более похожую на колоколообразную кривую нормального распределения. Если мы сдвинем и изменим масштаб X n соответствующим образом, то распределение будет сходиться к стандартному нормальному, результат, который следует из знаменитой центральной предельной теоремы .${\displaystyle \scriptstyle Z_{n}={\frac {\sqrt {n}}{\sigma }}(X_{n}-\mu )}$
Графический пример
Предположим, что { X i } — это iid- последовательность равномерных U (−1, 1) случайных величин. Пусть — их (нормализованные) суммы. Тогда согласно центральной предельной теореме распределение Z n приближается к нормальному N (0, ⁠${\displaystyle \scriptstyle Z_{n}={\scriptscriptstyle {\frac {1}{\sqrt {n}}}}\sum _{i=1}^{n}X_{i}}$1/3⁠ ) ​​распределение. Эта сходимость показана на рисунке: по мере увеличения n форма функции плотности вероятности становится все ближе и ближе к гауссовой кривой.

Грубо говоря, при таком режиме сходимости мы все больше ожидаем увидеть, как следующий результат в последовательности случайных экспериментов становится все лучше и лучше моделируемым заданным распределением вероятностей . Точнее, распределение связанной случайной величины в последовательности становится произвольно близким к указанному фиксированному распределению.

Сходимость в распределении является самой слабой формой сходимости, обычно обсуждаемой, поскольку она подразумевается всеми другими типами сходимости, упомянутыми в этой статье. Однако сходимость в распределении очень часто используется на практике; чаще всего она возникает из применения центральной предельной теоремы .

Говорят, что последовательность действительных случайных величин с кумулятивными функциями распределения сходится по распределению , или сходится слабо , или сходится по закону к случайной величине X с кумулятивной функцией распределения F , если${\displaystyle X_{1},X_{2},\ldots }$ ${\displaystyle F_{1},F_{2},\ldots }$

${\displaystyle \lim _{n\to \infty }F_{n}(x)=F(x),}$

для каждого числа, при котором является непрерывным .${\displaystyle x\in \mathbb {R} }$${\displaystyle F}$

Требование того, чтобы рассматривались только точки непрерывности, является существенным. Например, если распределены равномерно на интервалах , то эта последовательность сходится по распределению к вырожденной случайной величине . Действительно, для всех , когда , и для всех , когда . Однако для этой предельной случайной величины , хотя для всех . Таким образом, сходимость cdfs нарушается в точке , где является разрывной.${\displaystyle F}$${\displaystyle X_{n}}$${\displaystyle \left(0,{\frac {1}{n}}\right)}$${\displaystyle X=0}$${\displaystyle F_{n}(x)=0}$ ${\displaystyle n}$${\displaystyle x\leq 0}$${\displaystyle F_{n}(x)=1}$${\displaystyle x\geq {\frac {1}{n}}}$${\displaystyle n>0}$${\displaystyle F(0)=1}$${\displaystyle F_{n}(0)=0}$${\displaystyle n}$${\displaystyle x=0}$${\displaystyle F}$

Сходимость в распределении можно обозначить как

${\displaystyle {\begin{aligned}{}&X_{n}\ \xrightarrow {d} \ X,\ \ X_{n}\ \xrightarrow {\mathcal {D}} \ X,\ \ X_{n}\ \xrightarrow {\mathcal {L}} \ X,\ \ X_{n}\ \xrightarrow {d} \ {\mathcal {L}}_{X},\\&X_{n}\rightsquigarrow X,\ \ X_{n}\Rightarrow X,\ \ {\mathcal {L}}(X_{n})\to {\mathcal {L}}(X),\\\end{aligned}}}$

1

где — закон (распределение вероятностей) X. Например, если X — стандартно нормальное, мы можем записать .${\displaystyle \scriptstyle {\mathcal {L}}_{X}}$${\displaystyle X_{n}\,{\xrightarrow {d}}\,{\mathcal {N}}(0,\,1)}$

Для случайных векторов сходимость по распределению определяется аналогично. Мы говорим, что эта последовательность сходится по распределению к случайному k -вектору X, если${\displaystyle \left\{X_{1},X_{2},\dots \right\}\subset \mathbb {R} ^{k}}$

${\displaystyle \lim _{n\to \infty }\mathbb {P} (X_{n}\in A)=\mathbb {P} (X\in A)}$

для каждого , который является непрерывным множеством X .${\displaystyle A\subset \mathbb {R} ^{k}}$

Определение сходимости в распределении может быть расширено от случайных векторов до более общих случайных элементов в произвольных метрических пространствах и даже до «случайных величин», которые не поддаются измерению — ситуация, которая возникает, например, при изучении эмпирических процессов . Это «слабая сходимость законов без определения законов» — за исключением асимптотики. ^[1]

В этом случае термин слабая сходимость является предпочтительным (см. слабая сходимость мер ), и мы говорим, что последовательность случайных элементов { X _n } слабо сходится к X (обозначается как X _n ⇒ X ), если

${\displaystyle \mathbb {E} ^{*}h(X_{n})\to \mathbb {E} \,h(X)}$

для всех непрерывных ограниченных функций h . ^[2] Здесь E* обозначает внешнее ожидание , то есть ожидание «наименьшей измеримой функции g , которая доминирует над h ( X _n ) ».

• Поскольку , сходимость в распределении означает, что вероятность того, что X _n находится в заданном диапазоне, приблизительно равна вероятности того, что значение X находится в этом диапазоне, при условии, что n достаточно велико .${\displaystyle F(a)=\mathbb {P} (X\leq a)}$
• В общем случае сходимость в распределении не означает, что последовательность соответствующих функций плотности вероятности также будет сходиться. В качестве примера можно рассмотреть случайные величины с плотностями f _n ( x ) = (1 + cos(2 πnx )) 1 _(0,1) . Эти случайные величины сходятся в распределении к равномерному U (0, 1), тогда как их плотности вообще не сходятся. ^[3]
  • Однако, согласно теореме Шеффе , сходимость функций плотности вероятности подразумевает сходимость распределения. ^[4]
• Лемма о портманто дает несколько эквивалентных определений сходимости в распределении. Хотя эти определения менее интуитивны, они используются для доказательства ряда статистических теорем. Лемма утверждает, что { X _n } сходится в распределении к X тогда и только тогда, когда верно любое из следующих утверждений: ^[5]
  • ${\displaystyle \mathbb {P} (X_{n}\leq x)\to \mathbb {P} (X\leq x)}$для всех точек непрерывности ;${\displaystyle x\mapsto \mathbb {P} (X\leq x)}$
  • ${\displaystyle \mathbb {E} f(X_{n})\to \mathbb {E} f(X)}$для всех ограниченных непрерывных функций (где обозначает оператор ожидаемого значения ) ;${\displaystyle f}$${\displaystyle \mathbb {E} }$
  • ${\displaystyle \mathbb {E} f(X_{n})\to \mathbb {E} f(X)}$для всех ограниченных липшицевых функций ;${\displaystyle f}$
  • ${\displaystyle \lim \inf \mathbb {E} f(X_{n})\geq \mathbb {E} f(X)}$для всех неотрицательных, непрерывных функций ;${\displaystyle f}$
  • ${\displaystyle \lim \inf \mathbb {P} (X_{n}\in G)\geq \mathbb {P} (X\in G)}$для каждого открытого множества ;${\displaystyle G}$
  • ${\displaystyle \lim \sup \mathbb {P} (X_{n}\in F)\leq \mathbb {P} (X\in F)}$для каждого замкнутого множества ;${\displaystyle F}$
  • ${\displaystyle \mathbb {P} (X_{n}\in B)\to \mathbb {P} (X\in B)}$для всех множеств непрерывности случайной величины ;${\displaystyle Б}$${\displaystyle X}$
  • ${\displaystyle \limsup \mathbb {E} f(X_{n})\leq \mathbb {E} f(X)}$для каждой полунепрерывной сверху функции , ограниченной сверху; ^{[ необходима ссылка ]}${\displaystyle f}$
  • ${\displaystyle \liminf \mathbb {E} f(X_{n})\geq \mathbb {E} f(X)}$для каждой полунепрерывной снизу функции , ограниченной снизу. ^{[ необходима ссылка ]}${\displaystyle f}$
• Теорема о непрерывном отображении утверждает, что для непрерывной функции g , если последовательность { X _n } сходится по распределению к X , то { g ( X _n )} сходится по распределению к g ( X ) .
  • Однако следует отметить, что сходимость в распределении { X _n } к X и { Y _n } к Y в общем случае не подразумевает сходимость в распределении { X _n + Y _n } к X + Y или { X _n Y _n } к XY .
• Теорема Леви о непрерывности : Последовательность { X _n } сходится по распределению к X тогда и только тогда, когда последовательность соответствующих характеристических функций { φ _n } поточечно сходится к характеристической функции φ множества X.
• Сходимость по распределению метризуема метрикой Леви–Прохорова .
• Естественной связью со сходимостью по распределению является теорема Скорохода о представлении .

Основная идея этого типа сходимости заключается в том, что вероятность «необычного» результата становится все меньше и меньше по мере развития последовательности.

Понятие сходимости по вероятности очень часто используется в статистике. Например, оценщик называется состоятельным , если он сходится по вероятности к оцениваемой величине. Сходимость по вероятности также является типом сходимости, установленным слабым законом больших чисел .

Последовательность { X _n } случайных величин сходится по вероятности к случайной величине X, если для всех ε > 0

${\displaystyle \lim _{n\to \infty }\mathbb {P} {\big (}|X_{n}-X|>\varepsilon {\big )}=0.}$

Более конкретно, пусть P _n ( ε ) будет вероятностью того, что X _n находится вне шара радиуса ε с центром в точке  X . Тогда говорят, что X _n сходится по вероятности к X , если для любого ε > 0 и любого δ  > 0 существует число N (которое может зависеть от ε и δ ) такое, что для всех n  ≥  N , P _n ( ε ) <  δ (определение предела).

Обратите внимание, что для выполнения условия невозможно, чтобы для каждого n случайные величины X и X _n были независимыми (и, таким образом, сходимость по вероятности является условием для совместных cdf, в отличие от сходимости по распределению, которая является условием для индивидуальных cdf), если только X не является детерминированным, как для слабого закона больших чисел. В то же время случай детерминированного X не может, когда детерминированное значение является точкой разрыва (не изолированной), обрабатываться сходимостью по распределению, где точки разрыва должны быть явно исключены.

Сходимость по вероятности обозначается добавлением буквы p над стрелкой, указывающей на сходимость, или использованием оператора предела вероятности «plim»:

${\displaystyle X_{n}\ \xrightarrow {p} \ X,\ \ X_{n}\ \xrightarrow {P} \ X,\ \ {\underset {n\to \infty }{\operatorname {plim} }}\,X_{n}=X.}$

2

Для случайных элементов { X _n } на сепарабельном метрическом пространстве ( S , d ) сходимость по вероятности определяется аналогично ^[6]

${\displaystyle \forall \varepsilon >0,\mathbb {P} {\big (}d(X_{n},X)\geq \varepsilon {\big )}\to 0.}$

• Сходимость по вероятности подразумевает сходимость по распределению. ^{[доказательство]}
• В противоположном направлении, сходимость по распределению подразумевает сходимость по вероятности, когда предельная случайная величина X является константой. ^{[доказательство]}
• Сходимость по вероятности не подразумевает почти наверняка сходимость. ^{[доказательство]}
• Теорема о непрерывном отображении утверждает, что для каждой непрерывной функции , если , то также  .${\displaystyle g}$${\textstyle X_{n}\xrightarrow {p} X}$${\textstyle g(X_{n})\xrightarrow {p} g(X)}$
• Сходимость по вероятности определяет топологию на пространстве случайных величин над фиксированным вероятностным пространством. Эта топология метризуема метрикой Ки Фана : ^[7] или альтернативно этой метрикой$${\displaystyle d(X,Y)=\inf \!{\big \{}\varepsilon >0:\ \mathbb {P} {\big (}|X-Y|>\varepsilon {\big )}\leq \varepsilon {\big \}}}$$$${\displaystyle d(X,Y)=\mathbb {E} \left[\min(|X-Y|,1)\right].}$$

Не каждая последовательность случайных величин, которая сходится к другой случайной величине по распределению, также сходится по вероятности к этой случайной величине. В качестве примера рассмотрим последовательность стандартных нормальных случайных величин и вторую последовательность . Обратите внимание, что распределение равно распределению для всех , но:${\displaystyle X_{n}}$${\displaystyle Y_{n}=(-1)^{n}X_{n}}$${\displaystyle Y_{n}}$${\displaystyle X_{n}}$${\displaystyle n}$$${\displaystyle P(|X_{n}-Y_{n}|\geq \epsilon )=P(|X_{n}|\cdot |(1-(-1)^{n})|\geq \epsilon )}$$

который не сходится к . Таким образом, у нас нет сходимости по вероятности.${\displaystyle 0}$

Это тип стохастической сходимости, который наиболее похож на поточечную сходимость, известную из элементарного действительного анализа .

Сказать, что последовательность X _n сходится почти наверняка или почти всюду , или с вероятностью 1 , или строго к X, означает, что$${\displaystyle \mathbb {P} \!\left(\lim _{n\to \infty }\!X_{n}=X\right)=1.}$$

Это означает, что значения X _n приближаются к значению X , в том смысле, что события, для которых X _n не сходится к X , имеют вероятность 0 (см. Почти наверняка ). Используя вероятностное пространство и концепцию случайной величины как функции от Ω до R , это эквивалентно утверждению${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$$${\displaystyle \mathbb {P} {\Bigl (}\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega ){\Bigr )}=1.}$$

Используя понятие предельного значения последовательности множеств , почти наверняка сходимость можно также определить следующим образом:$${\displaystyle \mathbb {P} {\Bigl (}\limsup _{n\to \infty }{\bigl \{}\omega \in \Omega :|X_{n}(\omega )-X(\omega )|>\varepsilon {\bigr \}}{\Bigr )}=0\quad {\text{for all}}\quad \varepsilon >0.}$$

Почти наверняка сходимость часто обозначается добавлением букв над стрелкой, указывающей на сходимость:

${\displaystyle {\overset {}{X_{n}\,{\xrightarrow {\mathrm {a.s.} }}\,X.}}}$

3

Для общих случайных элементов { X _n } на метрическом пространстве сходимость почти наверняка определяется аналогично:${\displaystyle (S,d)}$$${\displaystyle \mathbb {P} {\Bigl (}\omega \in \Omega \colon \,d{\big (}X_{n}(\omega ),X(\omega ){\big )}\,{\underset {n\to \infty }{\longrightarrow }}\,0{\Bigr )}=1}$$

• Почти наверняка сходимость подразумевает сходимость по вероятности (по лемме Фату ), и, следовательно, подразумевает сходимость по распределению. Это понятие сходимости используется в усиленном законе больших чисел .
• Понятие почти наверняка сходимости не исходит из топологии пространства случайных величин. Это означает, что не существует топологии пространства случайных величин, такой, что почти наверняка сходящиеся последовательности являются в точности сходящимися последовательностями относительно этой топологии. В частности, не существует метрики почти наверняка сходимости.

Рассмотрим последовательность независимых случайных величин, такую, что и . Для имеем что сходится к , следовательно, по вероятности.${\displaystyle \{X_{n}\}}$${\displaystyle P(X_{n}=1)={\frac {1}{n}}}$${\displaystyle P(X_{n}=0)=1-{\frac {1}{n}}}$${\displaystyle 0<\varepsilon <1/2}$${\displaystyle P(|X_{n}|\geq \varepsilon )={\frac {1}{n}}}$${\displaystyle 0}$${\displaystyle X_{n}\to 0}$

Поскольку и события независимы, вторая лемма Бореля-Кантелли гарантирует, что, следовательно, последовательность не сходится к почти всюду (фактически множество, на котором эта последовательность не сходится к , имеет вероятность ).${\displaystyle \sum _{n\geq 1}P(X_{n}=1)\to \infty }$${\displaystyle \{X_{n}=1\}}$${\displaystyle P(\limsup _{n}\{X_{n}=1\})=1}$${\displaystyle \{X_{n}\}}$${\displaystyle 0}$${\displaystyle 0}$${\displaystyle 1}$

Сказать, что последовательность случайных величин ( X _n ), определенная в одном и том же вероятностном пространстве (т. е. случайный процесс ), сходится наверняка или всюду , или поточечно к X , означает

$${\displaystyle \forall \omega \in \Omega \colon \ \lim _{n\to \infty }X_{n}(\omega )=X(\omega ),}$$

где Ω — выборочное пространство базового вероятностного пространства , в котором определены случайные величины.

Это понятие поточечной сходимости последовательности функций, расширенной до последовательности случайных величин . (Обратите внимание, что случайные величины сами по себе являются функциями).

$${\displaystyle \left\{\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega )\right\}=\Omega .}$$

Уверенная сходимость случайной величины подразумевает все другие виды сходимости, указанные выше, но в теории вероятностей нет выигрыша от использования уверенной сходимости по сравнению с использованием почти уверенной сходимости. Разница между ними существует только на множествах с нулевой вероятностью. Вот почему концепция уверенной сходимости случайных величин используется очень редко.

При заданном действительном числе r ≥ 1 мы говорим, что последовательность X _n сходится в r -м среднем значении (или в L ^r -норме ) к случайной величине X , если r -е абсолютные моменты (| X _n | ^r ) и (| X | ^r ) величин X _n и X существуют, и${\displaystyle \mathbb {E} }$${\displaystyle \mathbb {E} }$

${\displaystyle \lim _{n\to \infty }\mathbb {E} \left(|X_{n}-X|^{r}\right)=0,}$

где оператор E обозначает ожидаемое значение . Сходимость по r -му среднему говорит нам, что ожидание r -й степени разности между и сходится к нулю.${\displaystyle X_{n}}$${\displaystyle X}$

Этот тип конвергенции часто обозначается добавлением буквы L ^r над стрелкой, указывающей на конвергенцию:

${\displaystyle {\overset {}{X_{n}\,{\xrightarrow {L^{r}}}\,X.}}}$

4

Наиболее важными случаями сходимости в r -ом среднем являются:

• Когда X _n сходится в r -ом среднем к X при r = 1, мы говорим, что X _n сходится в среднем к X .
• Когда X _n сходится в r -ом среднем к X при r = 2, мы говорим, что X _n сходится в среднем квадратичном (или в среднем квадратичном ) к X .

Сходимость в r -ом среднем, для r ≥ 1, подразумевает сходимость по вероятности (по неравенству Маркова ). Более того, если r > s ≥ 1, сходимость в r -ом среднем подразумевает сходимость в s -ом среднем. Следовательно, сходимость в среднем квадратичном подразумевает сходимость в среднем.

Кроме того,

${\displaystyle {\overset {}{X_{n}\xrightarrow {L^{r}} X}}\quad \Rightarrow \quad \lim _{n\to \infty }\mathbb {E} [|X_{n}|^{r}]=\mathbb {E} [|X|^{r}].}$

Обратное утверждение не обязательно верно, однако оно верно, если (по более общей версии леммы Шеффе ).${\displaystyle {\overset {}{X_{n}\,\xrightarrow {p} \,X}}}$

При условии, что вероятностное пространство является полным :

• Если и , то почти наверняка .${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ Y}$${\displaystyle X=Y}$
• Если и , то почти наверняка.${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X}$${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y}$${\displaystyle X=Y}$
• Если и , то почти наверняка.${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y}$${\displaystyle X=Y}$
• Если и , то (для любых действительных чисел a и b ) и .${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y}$${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{p}}}\ aX+bY}$${\displaystyle X_{n}Y_{n}{\xrightarrow {\overset {}{p}}}\ XY}$
• Если и , то (для любых действительных чисел a и b ) и .${\displaystyle X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X}$${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y}$${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ aX+bY}$${\displaystyle X_{n}Y_{n}{\xrightarrow {\overset {}{\text{a.s.}}}}\ XY}$
• Если и , то (для любых действительных чисел a и b ).${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y}$${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ aX+bY}$
• Ни одно из вышеприведенных утверждений не является верным для конвергенции в распределении.

Цепочка импликаций между различными понятиями конвергенции отмечена в соответствующих разделах. Они, используя стрелочные обозначения:

${\displaystyle {\begin{matrix}{\xrightarrow {\overset {}{L^{s}}}}&{\underset {s>r\geq 1}{\Rightarrow }}&{\xrightarrow {\overset {}{L^{r}}}}&&\\&&\Downarrow &&\\{\xrightarrow {\text{a.s.}}}&\Rightarrow &{\xrightarrow {p}}&\Rightarrow &{\xrightarrow {d}}\end{matrix}}}$

Эти свойства, а также ряд других особых случаев, обобщены в следующем списке:

• Почти наверняка сходимость подразумевает сходимость по вероятности: ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\text{a.s.}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$

• Сходимость по вероятности подразумевает, что существует подпоследовательность , которая почти наверняка сходится: ^[9]${\displaystyle (n_{k})}$

  ${\displaystyle X_{n}\ \xrightarrow {\overset {}{p}} \ X\quad \Rightarrow \quad X_{n_{k}}\ \xrightarrow {\text{a.s.}} \ X}$

• Сходимость по вероятности подразумевает сходимость по распределению: ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{d}}}\ X}$

• Сходимость по среднему r -го порядка подразумевает сходимость по вероятности:

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$

• Сходимость в среднем r -го порядка подразумевает сходимость в среднем низшего порядка, предполагая, что оба порядка больше или равны единице:

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{L^{s}}}}\ X,}$ при условии, что r ≥ s ≥ 1.

• Если X _n сходится по распределению к константе c , то X _n сходится по вероятности к c : ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ c\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ c,}$ при условии, что c является константой.

• Если X _n сходится по распределению к X и разность между X _n и Y _n сходится по вероятности к нулю, то Y _n также сходится по распределению к X : ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ |X_{n}-Y_{n}|\ {\xrightarrow {\overset {}{p}}}\ 0\ \quad \Rightarrow \quad Y_{n}\ {\xrightarrow {\overset {}{d}}}\ X}$

• Если X _n сходится по распределению к X , а Y _n сходится по распределению к константе c , то совместный вектор ( X _n ,  Y _n ) сходится по распределению к ⁠ ⁠${\displaystyle (X,c)}$ : ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{d}}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{d}}}\ (X,c)}$ при условии, что c является константой.

  Обратите внимание, что условие сходимости Y _n к константе важно; если бы оно сходилось к случайной величине Y , то мы не смогли бы сделать вывод, что ( X _n ,  Y _n ) сходится к ⁠ ⁠${\displaystyle (X,Y)}$ .

• Если X _n сходится по вероятности к X , а Y _n сходится по вероятности к Y , то совместный вектор ( X _n ,  Y _n ) сходится по вероятности к ( X ,  Y ) : ^{[8] [доказательство]}

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{p}}}\ (X,Y)}$

• Если X _n сходится по вероятности к X , и если P (| X _n | ≤ b ) = 1 для всех n и некоторых b , то X _n сходится в r -м среднем к X для всех r ≥ 1 . Другими словами, если X _n сходится по вероятности к X и все случайные величины X _n почти наверняка ограничены сверху и снизу, то X _n сходится к X также в любом r -м среднем. ^[10]
• Почти наверняка представление . Обычно сходимость по распределению не подразумевает сходимость почти наверняка. Однако для заданной последовательности { X _n }, которая сходится по распределению к X _{0 ,} всегда можно найти новое вероятностное пространство (Ω, F , P) и случайные величины { Y _n , n = 0, 1, ...}, определенные на нем, такие, что Y _n равно по распределению X _n для каждого n ≥ 0 , а Y _n сходится к Y ₀ почти наверняка. ^{[11] [12]}
• Если для всех ε > 0,

  ${\displaystyle \sum _{n}\mathbb {P} \left(|X_{n}-X|>\varepsilon \right)<\infty ,}$

  то мы говорим, что X _n сходится почти полностью или почти по вероятности к X . Когда X _n сходится почти полностью к X , то он также сходится почти наверняка к X . Другими словами, если X _n сходится по вероятности к X достаточно быстро (т. е. указанная выше последовательность хвостовых вероятностей суммируема для всех ε > 0 ), то X _n также сходится почти наверняка к X . Это прямое следствие из леммы Бореля–Кантелли .

• Если S _n представляет собой сумму n действительных независимых случайных величин:

  ${\displaystyle S_{n}=X_{1}+\cdots +X_{n}\,}$

  тогда S _n сходится почти наверняка тогда и только тогда, когда S _n сходится по вероятности. Доказательство можно найти на странице 126 (теорема 5.3.4) книги Кай Лай Чуна . ^[13]

  Однако для последовательности взаимно независимых случайных величин сходимость по вероятности не подразумевает почти надежную сходимость. ^[14]

• Теорема о доминируемой сходимости дает достаточные условия для почти наверняка сходимости, чтобы подразумевать L ¹ -сходимость:

${\displaystyle \left.{\begin{matrix}X_{n}\xrightarrow {\overset {}{\text{a.s.}}} X\\|X_{n}|<Y\\\mathbb {E} [Y]<\infty \end{matrix}}\right\}\quad \Rightarrow \quad X_{n}\xrightarrow {L^{1}} X}$

5

• Необходимым и достаточным условием сходимости L ¹ является то, что последовательность ( X _n ) равномерно интегрируема .${\displaystyle X_{n}{\xrightarrow {\overset {}{P}}}X}$
• Если , то следующие условия эквивалентны ^[15]${\displaystyle X_{n}\ \xrightarrow {\overset {}{p}} \ X}$
  • ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$,
  • ${\displaystyle \mathbb {E} [|X_{n}|^{r}]\rightarrow \mathbb {E} [|X|^{r}]<\infty }$,
  • ${\displaystyle \{|X_{n}|^{r}\}}$равномерно интегрируема .

В Wikibook Econometric Theory есть страница на тему: Сходимость случайных величин.

• Доказательства сходимости случайных величин
• Конвергенция мер
• Сходимость в мере
• Непрерывный стохастический процесс : вопрос непрерывности стохастического процесса по сути является вопросом конвергенции, и многие из тех же понятий и соотношений, которые использовались выше, применимы к вопросу непрерывности.
• Асимптотическое распределение
• Большое О в обозначении вероятности
• Теорема о представлении Скорохода
• Теорема сходимости Твиди
• Теорема Слуцкого
• Теорема о непрерывном отображении

В данной статье использованы материалы статьи Citizendium «Стохастическая конвергенция», которая распространяется по лицензии Creative Commons Attribution-ShareAlike 3.0 Unported License , но не по лицензии GFDL .