Доказательства сходимости случайных величин

This article includes a list of references, related reading, or external links, but its sources remain unclear because it lacks inline citations. Please help improve this article by introducing more precise citations. (November 2010) (Learn how and when to remove this message)

Данная статья является дополнением к статье « Сходимость случайных величин » и содержит доказательства некоторых результатов.

Несколько результатов будут получены с использованием леммы о портманто : последовательность { X _n } сходится по распределению к X тогда и только тогда, когда выполняется любое из следующих условий:

1. ${\displaystyle \mathbb {E} [f(X_{n})]\to \mathbb {E} [f(X)]}$для всех ограниченных непрерывных функций ; ${\displaystyle f}$
2. ${\displaystyle \mathbb {E} [f(X_{n})]\to \mathbb {E} [f(X)]}$для всех ограниченных липшицевых функций ; ${\displaystyle f}$
3. ${\displaystyle \limsup \operatorname {Pr} (X_{n}\in C)\leq \operatorname {Pr} (X\in C)}$для всех замкнутых множеств ;${\displaystyle C}$

${\displaystyle X_{n}\ {\overset {\mathrm {as} }{\rightarrow }}\ X\quad \Rightarrow \quad X_{n}\ {\overset {p}{\rightarrow }}\ X}$

Доказательство: Если сходится к почти наверняка, то это означает, что множество точек имеет меру ноль. Теперь зафиксируем и рассмотрим последовательность множеств${\displaystyle \{X_{n}\}}$${\displaystyle X}$${\displaystyle O=\{\omega \mid \lim X_{n}(\omega )\neq X(\omega )\}}$${\displaystyle \varepsilon >0}$

${\displaystyle A_{n}=\bigcup _{m\geq n}\left\{\left|X_{m}-X\right|>\varepsilon \right\}}$

Эта последовательность множеств убывает ( ) по направлению к множеству${\displaystyle A_{n}\supseteq A_{n+1}\supseteq \ldots }$

${\displaystyle A_{\infty }=\bigcap _{n\geq 1}A_{n}.}$

Вероятности этой последовательности также убывают, поэтому ; покажем теперь, что это число равно нулю. Теперь для любой точки вне имеем , что подразумевает, что для всех для некоторых . В частности, для таких точка не будет лежать в , и, следовательно, не будет лежать в . Следовательно, и поэтому .${\displaystyle \lim \operatorname {Pr} (A_{n})=\operatorname {Pr} (A_{\infty })}$${\displaystyle \omega }$${\displaystyle O}$${\displaystyle \lim X_{n}(\omega )=X(\omega )}$${\displaystyle \left|X_{n}(\omega )-X(\omega )\right|<\varepsilon }$${\displaystyle n\geq N}$${\displaystyle N}$${\displaystyle n}$${\displaystyle \omega }$${\displaystyle A_{n}}$${\displaystyle A_{\infty }}$${\displaystyle A_{\infty }\subseteq O}$${\displaystyle \operatorname {Pr} (A_{\infty })=0}$

Наконец, по преемственности сверху,

${\displaystyle \operatorname {Pr} \left(|X_{n}-X|>\varepsilon \right)\leq \operatorname {Pr} (A_{n})\ {\underset {n\to \infty }{\rightarrow }}0,}$

что по определению означает, что сходится по вероятности к .${\displaystyle X_{n}}$${\displaystyle X}$

Если X _n — независимые случайные величины, принимающие значение единица с вероятностью 1/ n и ноль в противном случае, то X _n сходится к нулю по вероятности, но не почти наверняка. Это можно проверить с помощью лемм Бореля–Кантелли .

${\displaystyle X_{n}\ {\xrightarrow {p}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {d}}\ X,}$

Лемма. Пусть X , Y — случайные величины, a — действительное число и ε > 0. Тогда

${\displaystyle \operatorname {Pr} (Y\leq a)\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|Y-X|>\varepsilon ).}$

Доказательство леммы:

${\displaystyle {\begin{aligned}\operatorname {Pr} (Y\leq a)&=\operatorname {Pr} (Y\leq a,\ X\leq a+\varepsilon )+\operatorname {Pr} (Y\leq a,\ X>a+\varepsilon )\\&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (Y-X\leq a-X,\ a-X<-\varepsilon )\\&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (Y-X<-\varepsilon )\\&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (Y-X<-\varepsilon )+\operatorname {Pr} (Y-X>\varepsilon )\\&=\operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|Y-X|>\varepsilon )\end{aligned}}}$

Более короткое доказательство леммы:

У нас есть

${\displaystyle {\begin{aligned}\{Y\leq a\}\subset \{X\leq a+\varepsilon \}\cup \{|Y-X|>\varepsilon \}\end{aligned}}}$

ибо если и , то . Следовательно, по союзу связано,${\displaystyle Y\leq a}$${\displaystyle |Y-X|\leq \varepsilon }$${\displaystyle X\leq a+\varepsilon }$

${\displaystyle {\begin{aligned}\operatorname {Pr} (Y\leq a)\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|Y-X|>\varepsilon ).\end{aligned}}}$

Доказательство теоремы: Напомним, что для доказательства сходимости по распределению нужно показать, что последовательность кумулятивных функций распределения сходится к F _X в каждой точке, где F _X непрерывна. Пусть a — такая точка. Для любого ε > 0, в силу предыдущей леммы, имеем:

${\displaystyle {\begin{aligned}\operatorname {Pr} (X_{n}\leq a)&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|X_{n}-X|>\varepsilon )\\\operatorname {Pr} (X\leq a-\varepsilon )&\leq \operatorname {Pr} (X_{n}\leq a)+\operatorname {Pr} (|X_{n}-X|>\varepsilon )\end{aligned}}}$

Итак, у нас есть

${\displaystyle \operatorname {Pr} (X\leq a-\varepsilon )-\operatorname {Pr} \left(\left|X_{n}-X\right|>\varepsilon \right)\leq \operatorname {Pr} (X_{n}\leq a)\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} \left(\left|X_{n}-X\right|>\varepsilon \right).}$

Принимая предел при n → ∞, получаем:

${\displaystyle F_{X}(a-\varepsilon )\leq \lim _{n\to \infty }\operatorname {Pr} (X_{n}\leq a)\leq F_{X}(a+\varepsilon ),}$

где F _X ( a ) = Pr( X ≤ a ) — кумулятивная функция распределения X . Эта функция непрерывна в точке a по предположению, и поэтому как F _X ( a −ε), так и F X ₍ a + ε) сходятся к F _X ( a ) при ε → 0 ⁺ . Принимая этот предел, получаем

${\displaystyle \lim _{n\to \infty }\operatorname {Pr} (X_{n}\leq a)=\operatorname {Pr} (X\leq a),}$

что означает, что { X _n } сходится к X по распределению.

Следствием этого _{является} случайный вектор , если использовать это свойство, доказанное далее на этой странице, и взять X _n = X в формулировке этого свойства.

${\displaystyle X_{n}\ {\xrightarrow {d}}\ c\quad \Rightarrow \quad X_{n}\ {\xrightarrow {p}}\ c,}$ при условии, что c является константой.

Доказательство: Зафиксируем ε > 0. Пусть B _ε ( c ) — открытый шар радиуса ε вокруг точки c , а B _ε ( c ) ^c — его дополнение. Тогда

${\displaystyle \operatorname {Pr} \left(|X_{n}-c|\geq \varepsilon \right)=\operatorname {Pr} \left(X_{n}\in B_{\varepsilon }(c)^{c}\right).}$

По лемме о портманто (часть C), если X _n сходится по распределению к c , то предел последней вероятности должен быть меньше или равен Pr( c ∈ B _ε ( c ) ^c ), что, очевидно, равно нулю. Следовательно,

${\displaystyle {\begin{aligned}\lim _{n\to \infty }\operatorname {Pr} \left(\left|X_{n}-c\right|\geq \varepsilon \right)&\leq \limsup _{n\to \infty }\operatorname {Pr} \left(\left|X_{n}-c\right|\geq \varepsilon \right)\\&=\limsup _{n\to \infty }\operatorname {Pr} \left(X_{n}\in B_{\varepsilon }(c)^{c}\right)\\&\leq \operatorname {Pr} \left(c\in B_{\varepsilon }(c)^{c}\right)=0\end{aligned}}}$

что по определению означает, что X _n сходится к c по вероятности.

${\displaystyle |Y_{n}-X_{n}|\ {\xrightarrow {p}}\ 0,\ \ X_{n}\ {\xrightarrow {d}}\ X\ \quad \Rightarrow \quad Y_{n}\ {\xrightarrow {d}}\ X}$

Доказательство: Мы докажем эту теорему, используя лемму-портманто, часть B. Как требуется в этой лемме, рассмотрим любую ограниченную функцию f (т.е. | f ( x )| ≤ M ), которая также является липшицевой:

${\displaystyle \exists K>0,\forall x,y:\quad |f(x)-f(y)|\leq K|x-y|.}$

Возьмем некоторое ε > 0 и мажорируем выражение |E[ f ( Y _n )] − E[ f ( X _n )]| как

${\displaystyle {\begin{aligned}\left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X_{n})\right]\right|&\leq \operatorname {E} \left[\left|f(Y_{n})-f(X_{n})\right|\right]\\&=\operatorname {E} \left[\left|f(Y_{n})-f(X_{n})\right|\mathbf {1} _{\left\{|Y_{n}-X_{n}|<\varepsilon \right\}}\right]+\operatorname {E} \left[\left|f(Y_{n})-f(X_{n})\right|\mathbf {1} _{\left\{|Y_{n}-X_{n}|\geq \varepsilon \right\}}\right]\\&\leq \operatorname {E} \left[K\left|Y_{n}-X_{n}\right|\mathbf {1} _{\left\{|Y_{n}-X_{n}|<\varepsilon \right\}}\right]+\operatorname {E} \left[2M\mathbf {1} _{\left\{|Y_{n}-X_{n}|\geq \varepsilon \right\}}\right]\\&\leq K\varepsilon \operatorname {Pr} \left(\left|Y_{n}-X_{n}\right|<\varepsilon \right)+2M\operatorname {Pr} \left(\left|Y_{n}-X_{n}\right|\geq \varepsilon \right)\\&\leq K\varepsilon +2M\operatorname {Pr} \left(\left|Y_{n}-X_{n}\right|\geq \varepsilon \right)\end{aligned}}}$

(здесь 1 _{...} обозначает индикаторную функцию ; математическое ожидание индикаторной функции равно вероятности соответствующего события). Следовательно,

${\displaystyle {\begin{aligned}\left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X)\right]\right|&\leq \left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X_{n})\right]\right|+\left|\operatorname {E} \left[f(X_{n})\right]-\operatorname {E} \left[f(X)\right]\right|\\&\leq K\varepsilon +2M\operatorname {Pr} \left(|Y_{n}-X_{n}|\geq \varepsilon \right)+\left|\operatorname {E} \left[f(X_{n})\right]-\operatorname {E} \left[f(X)\right]\right|.\end{aligned}}}$

Если мы возьмем предел в этом выражении при n  → ∞, то второй член будет стремиться к нулю, поскольку { Y _n −X _n } сходится к нулю по вероятности; и третий член также будет сходиться к нулю, по лемме о портманто и тому факту, что X _n сходится к X по распределению. Таким образом

${\displaystyle \lim _{n\to \infty }\left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X)\right]\right|\leq K\varepsilon .}$

Поскольку ε было произвольным, мы приходим к выводу, что предел должен быть фактически равен нулю, и, следовательно, E[ f ( Y _n )] → E[ f ( X )], что снова по лемме о портманто означает, что { Y _n } сходится к X по распределению. ЧТЭК.

${\displaystyle X_{n}\ {\xrightarrow {d}}\ X,\ \ Y_{n}\ {\xrightarrow {p}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {d}}\ (X,c)}$ при условии, что c является константой.

Доказательство: Мы докажем это утверждение, используя лемму о портманто, часть А.

Сначала мы хотим показать, что ( X _n , c ) сходится по распределению к ( X , c ). По лемме о портманто это будет верно, если мы сможем показать, что E[ f ( X _n , c )] → E[ f ( X , c )] для любой ограниченной непрерывной функции f ( x , y ). Итак, пусть f будет такой произвольной ограниченной непрерывной функцией. Теперь рассмотрим функцию одной переменной g ( x ) := f ( x , c ). Она, очевидно, также будет ограниченной и непрерывной, и поэтому по лемме о портманто для последовательности { X _n }, сходящейся по распределению к X , мы будем иметь, что E[ g ( X _n )] → E[ g ( X )]. Однако последнее выражение эквивалентно «E[ f ( X _n , c )] → E[ f ( X , c )]», и поэтому теперь мы знаем, что ( X _n , c ) сходится по распределению к ( X , c ).

Во-вторых, рассмотрим |( X _n , Y _n ) − ( X _n , c )| = | Y _n − c |. Это выражение сходится по вероятности к нулю, поскольку Y _n сходится по вероятности к c . Таким образом, мы продемонстрировали два факта:

${\displaystyle {\begin{cases}\left|(X_{n},Y_{n})-(X_{n},c)\right|\ {\xrightarrow {p}}\ 0,\\(X_{n},c)\ {\xrightarrow {d}}\ (X,c).\end{cases}}}$

По доказанному ранее свойству эти два факта подразумевают, что ( X _n , Y _n ) сходятся по распределению к ( X , c ).

${\displaystyle X_{n}\ {\xrightarrow {p}}\ X,\ \ Y_{n}\ {\xrightarrow {p}}\ Y\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {p}}\ (X,Y)}$

Доказательство:

${\displaystyle {\begin{aligned}\operatorname {Pr} \left(\left|(X_{n},Y_{n})-(X,Y)\right|\geq \varepsilon \right)&\leq \operatorname {Pr} \left(|X_{n}-X|+|Y_{n}-Y|\geq \varepsilon \right)\\&\leq \operatorname {Pr} \left(|X_{n}-X|\geq \varepsilon /2\right)+\operatorname {Pr} \left(|Y_{n}-Y|\geq \varepsilon /2\right)\end{aligned}}}$

где последний шаг следует принципу ящика и субаддитивности вероятностной меры. Каждая из вероятностей в правой части сходится к нулю при n → ∞ по определению сходимости { X _n } и { Y _n } по вероятности к X и Y соответственно. Принимая предел, мы заключаем, что левая часть также сходится к нулю, и, следовательно, последовательность {( X _n , Y _n )} сходится по вероятности к {( X , Y )}.

• Сходимость случайных величин