Условное ожидание

Ожидаемое значение случайной величины при условии, что известны определенные условия

В теории вероятностей условное ожидание , условное ожидаемое значение или условное среднее случайной величины — это ее ожидаемое значение, оцененное относительно условного распределения вероятностей . Если случайная величина может принимать только конечное число значений, «условия» заключаются в том, что переменная может принимать только подмножество этих значений. Более формально, в случае, когда случайная величина определена над дискретным вероятностным пространством , «условия» являются разбиением этого вероятностного пространства.

В зависимости от контекста, условное ожидание может быть как случайной величиной, так и функцией. Случайная величина обозначается аналогично условной вероятности . Форма функции обозначается либо , либо вводится отдельный символ функции, такой как со значением . Э ( Х И ) {\displaystyle E(X\середина Y)} Э ( Х И = у ) {\displaystyle E(X\mid Y=y)} ф ( у ) {\displaystyle f(y)} Э ( Х И ) = ф ( И ) {\displaystyle E(X\mid Y)=f(Y)}

Примеры

Пример 1: Бросание игральных костей

Рассмотрим бросок честной кости и пусть A = 1, если число четное (т. е. 2, 4 или 6), и A = 0 в противном случае. Кроме того, пусть B = 1, если число простое (т. е. 2, 3 или 5), и B = 0 в противном случае.

123456
А010101
Б011010

Безусловное ожидание A равно , но ожидание A, обусловленное B = 1 (т. е. обусловленное выпадением кубика 2, 3 или 5), равно , а ожидание A, обусловленное B = 0 (т. е. обусловленное выпадением кубика 1, 4 или 6), равно . Аналогично, ожидание B, обусловленное A = 1, равно , а ожидание B, обусловленное A = 0, равно . Э [ А ] = ( 0 + 1 + 0 + 1 + 0 + 1 ) / 6 = 1 / 2 {\displaystyle E[A]=(0+1+0+1+0+1)/6=1/2} E [ A B = 1 ] = ( 1 + 0 + 0 ) / 3 = 1 / 3 {\displaystyle E[A\mid B=1]=(1+0+0)/3=1/3} E [ A B = 0 ] = ( 0 + 1 + 1 ) / 3 = 2 / 3 {\displaystyle E[A\mid B=0]=(0+1+1)/3=2/3} E [ B A = 1 ] = ( 1 + 0 + 0 ) / 3 = 1 / 3 {\displaystyle E[B\mid A=1]=(1+0+0)/3=1/3} E [ B A = 0 ] = ( 0 + 1 + 1 ) / 3 = 2 / 3 {\displaystyle E[B\mid A=0]=(0+1+1)/3=2/3}

Пример 2: Данные об осадках

Предположим, у нас есть данные о ежедневных осадках (мм осадков в день), собранные метеостанцией за каждый день десятилетнего (3652-дневного) периода с 1 января 1990 года по 31 декабря 1999 года. Безусловное ожидание осадков для неуказанного дня — это среднее значение количества осадков за эти 3652 дня. Условное ожидание осадков для неуказанного дня, который, как известно, находится (при условии, что находится) в месяце марте, — это среднее значение суточного количества осадков за все 310 дней десятилетнего периода, которые приходятся на март. А условное ожидание осадков, обусловленное днями, датированными 2 марта, — это среднее значение количества осадков, выпавших за десять дней с этой конкретной датой.

История

Связанная с этим концепция условной вероятности восходит как минимум к Лапласу , который вычислял условные распределения. Именно Андрей Колмогоров в 1933 году формализовал ее с помощью теоремы Радона–Никодима . [1] В работах Пола Халмоша [2] и Джозефа Л. Дуба [3] с 1953 года условное ожидание было обобщено до его современного определения с использованием под-σ-алгебр . [4]

Определения

Обусловливание события

Если A — событие с ненулевой вероятностью, а Xдискретная случайная величина , то условное ожидание X при условии A равно F {\displaystyle {\mathcal {F}}}

E ( X A ) = x x P ( X = x A ) = x x P ( { X = x } A ) P ( A ) {\displaystyle {\begin{aligned}\operatorname {E} (X\mid A)&=\sum _{x}xP(X=x\mid A)\\&=\sum _{x}x{\frac {P(\{X=x\}\cap A)}{P(A)}}\end{aligned}}}

где сумма берется по всем возможным результатам X.

Если , то условное математическое ожидание не определено из-за деления на ноль. P ( A ) = 0 {\displaystyle P(A)=0}

Дискретные случайные величины

Если X и Yдискретные случайные величины , то условное ожидание X при условии Y равно

E ( X Y = y ) = x x P ( X = x Y = y ) = x x P ( X = x , Y = y ) P ( Y = y ) {\displaystyle {\begin{aligned}\operatorname {E} (X\mid Y=y)&=\sum _{x}xP(X=x\mid Y=y)\\&=\sum _{x}x{\frac {P(X=x,Y=y)}{P(Y=y)}}\end{aligned}}}

где — совместная функция вероятностной массы X и Y. Сумма берется по всем возможным исходам X. P ( X = x , Y = y ) {\displaystyle P(X=x,Y=y)}

Заметим, что, как и выше, выражение не определено, если . P ( Y = y ) = 0 {\displaystyle P(Y=y)=0}

Обусловливание дискретной случайной величины такое же, как и обусловливание соответствующего события:

E ( X Y = y ) = E ( X A ) {\displaystyle \operatorname {E} (X\mid Y=y)=\operatorname {E} (X\mid A)}

где A — множество . { Y = y } {\displaystyle \{Y=y\}}

Непрерывные случайные величины

Пусть и — непрерывные случайные величины с совместной плотностью и условной плотностью для данного события. Условное ожидание для данного события равно X {\displaystyle X} Y {\displaystyle Y} f X , Y ( x , y ) , {\displaystyle f_{X,Y}(x,y),} Y {\displaystyle Y} f Y ( y ) , {\displaystyle f_{Y}(y),} f X | Y ( x | y ) = f X , Y ( x , y ) f Y ( y ) {\displaystyle \textstyle f_{X|Y}(x|y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}} X {\displaystyle X} Y = y . {\displaystyle Y=y.} X {\displaystyle X} Y = y {\displaystyle Y=y}

E ( X Y = y ) = x f X | Y ( x y ) d x = 1 f Y ( y ) x f X , Y ( x , y ) d x . {\displaystyle {\begin{aligned}\operatorname {E} (X\mid Y=y)&=\int _{-\infty }^{\infty }xf_{X|Y}(x\mid y)\,\mathrm {d} x\\&={\frac {1}{f_{Y}(y)}}\int _{-\infty }^{\infty }xf_{X,Y}(x,y)\,\mathrm {d} x.\end{aligned}}}

Если знаменатель равен нулю, выражение не определено.

Обусловливание непрерывной случайной величины — это не то же самое, что обусловливание события , как это было в дискретном случае. Для обсуждения см. Обусловливание события с нулевой вероятностью . Несоблюдение этого различия может привести к противоречивым выводам, как показано парадоксом Бореля-Колмогорова . { Y = y } {\displaystyle \{Y=y\}}

Л2случайные величины

Все случайные величины в этом разделе предполагаются , то есть квадратично интегрируемыми . В своей полной общности условное ожидание разрабатывается без этого предположения, см. ниже в разделе Условное ожидание относительно под-σ-алгебры. Однако теория считается более интуитивной [5] и допускает важные обобщения. В контексте случайных величин условное ожидание также называется регрессией . L 2 {\displaystyle L^{2}} L 2 {\displaystyle L^{2}} L 2 {\displaystyle L^{2}}

В дальнейшем пусть будет вероятностным пространством, а в со средним и дисперсией . Ожидание минимизирует среднеквадратичную ошибку : ( Ω , F , P ) {\displaystyle (\Omega ,{\mathcal {F}},P)} X : Ω R {\displaystyle X:\Omega \to \mathbb {R} } L 2 {\displaystyle L^{2}} μ X {\displaystyle \mu _{X}} σ X 2 {\displaystyle \sigma _{X}^{2}} μ X {\displaystyle \mu _{X}}

min x R E ( ( X x ) 2 ) = E ( ( X μ X ) 2 ) = σ X 2 {\displaystyle \min _{x\in \mathbb {R} }\operatorname {E} \left((X-x)^{2}\right)=\operatorname {E} \left((X-\mu _{X})^{2}\right)=\sigma _{X}^{2}} .

Условное ожидание X определяется аналогично, за исключением того , что вместо одного числа результатом будет функция . Пусть будет случайным вектором . Условное ожидание — это измеримая функция, такая что μ X {\displaystyle \mu _{X}} e X ( y ) {\displaystyle e_{X}(y)} Y : Ω R n {\displaystyle Y:\Omega \to \mathbb {R} ^{n}} e X : R n R {\displaystyle e_{X}:\mathbb {R} ^{n}\to \mathbb {R} }

min g  measurable  E ( ( X g ( Y ) ) 2 ) = E ( ( X e X ( Y ) ) 2 ) {\displaystyle \min _{g{\text{ measurable }}}\operatorname {E} \left((X-g(Y))^{2}\right)=\operatorname {E} \left((X-e_{X}(Y))^{2}\right)} .

Обратите внимание, что в отличие от , условное ожидание , как правило, не является уникальным: может быть несколько минимизаторов среднеквадратической ошибки. μ X {\displaystyle \mu _{X}} e X {\displaystyle e_{X}}

Уникальность

Пример 1 : Рассмотрим случай, когда Y — постоянная случайная величина, которая всегда равна 1. Тогда среднеквадратическая ошибка минимизируется любой функцией вида

e X ( y ) = { μ X  if  y = 1 any number  otherwise {\displaystyle e_{X}(y)={\begin{cases}\mu _{X}&{\text{ if }}y=1\\{\text{any number}}&{\text{ otherwise}}\end{cases}}}

Пример 2 : Рассмотрим случай, когда Y — двумерный случайный вектор . Тогда ясно, что ( X , 2 X ) {\displaystyle (X,2X)}

E ( X Y ) = X {\displaystyle \operatorname {E} (X\mid Y)=X}

но в терминах функций это может быть выражено как или или бесконечно многими другими способами. В контексте линейной регрессии это отсутствие уникальности называется мультиколлинеарностью . e X ( y 1 , y 2 ) = 3 y 1 y 2 {\displaystyle e_{X}(y_{1},y_{2})=3y_{1}-y_{2}} e X ( y 1 , y 2 ) = y 2 y 1 {\displaystyle e'_{X}(y_{1},y_{2})=y_{2}-y_{1}}

Условное ожидание уникально вплоть до набора меры ноль в . Используемая мера — это проталкиваемая мера, индуцированная Y . R n {\displaystyle \mathbb {R} ^{n}}

В первом примере мера прямого продвижения представляет собой распределение Дирака с шагом 1. Во втором примере она сосредоточена на «диагонали» , так что любое множество, не пересекающее ее, имеет меру 0. { y : y 2 = 2 y 1 } {\displaystyle \{y:y_{2}=2y_{1}\}}

Существование

Существование минимизатора для нетривиально. Можно показать, что min g E ( ( X g ( Y ) ) 2 ) {\displaystyle \min _{g}\operatorname {E} \left((X-g(Y))^{2}\right)}

M := { g ( Y ) : g  is measurable and  E ( g ( Y ) 2 ) < } = L 2 ( Ω , σ ( Y ) ) {\displaystyle M:=\{g(Y):g{\text{ is measurable and }}\operatorname {E} (g(Y)^{2})<\infty \}=L^{2}(\Omega ,\sigma (Y))}

является замкнутым подпространством гильбертова пространства . [6] По теореме о проекции Гильберта , необходимым и достаточным условием для того, чтобы быть минимизатором, является то, что для всех в M мы имеем L 2 ( Ω ) {\displaystyle L^{2}(\Omega )} e X {\displaystyle e_{X}} f ( Y ) {\displaystyle f(Y)}

X e X ( Y ) , f ( Y ) = 0 {\displaystyle \langle X-e_{X}(Y),f(Y)\rangle =0} .

На словах это уравнение говорит, что остаток ортогонален пространству M всех функций Y. Это условие ортогональности, примененное к индикаторным функциям , используется ниже для расширения условного ожидания на случай, когда X и Y не обязательно находятся в . X e X ( Y ) {\displaystyle X-e_{X}(Y)} f ( Y ) = 1 Y H {\displaystyle f(Y)=1_{Y\in H}} L 2 {\displaystyle L^{2}}

Связь с регрессией

Условное ожидание часто аппроксимируется в прикладной математике и статистике из-за трудностей его аналитического расчета, а также для интерполяции. [7]

Подпространство Гильберта

M = { g ( Y ) : E ( g ( Y ) 2 ) < } {\displaystyle M=\{g(Y):\operatorname {E} (g(Y)^{2})<\infty \}}

Определенный выше, заменяется его подмножествами, ограничивая функциональную форму g , вместо того, чтобы допускать любую измеримую функцию. Примерами этого являются регрессия дерева решений , когда g должна быть простой функцией , линейная регрессия , когда g должна быть аффинной и т. д.

Эти обобщения условного ожидания достигаются ценой того, что многие его свойства больше не выполняются. Например, пусть M будет пространством всех линейных функций Y и пусть обозначает это обобщенное условное ожидание/ проекцию. Если не содержит константных функций , свойство башни не будет выполняться. E M {\displaystyle {\mathcal {E}}_{M}} L 2 {\displaystyle L^{2}} M {\displaystyle M} E ( E M ( X ) ) = E ( X ) {\displaystyle \operatorname {E} ({\mathcal {E}}_{M}(X))=\operatorname {E} (X)}

Важный частный случай — когда X и Y распределены совместно нормально. В этом случае можно показать, что условное ожидание эквивалентно линейной регрессии:

e X ( Y ) = α 0 + i α i Y i {\displaystyle e_{X}(Y)=\alpha _{0}+\sum _{i}\alpha _{i}Y_{i}}

для коэффициентов, описанных в разделе Многомерное нормальное распределение#Условные распределения . { α i } i = 0.. n {\displaystyle \{\alpha _{i}\}_{i=0..n}}

Условное ожидание относительно под-σ-алгебры

Условное ожидание относительно σ-алгебры: в этом примере вероятностное пространство — это интервал [0,1] с мерой Лебега . Определим следующие σ-алгебры: ; — σ-алгебра, порожденная интервалами с конечными точками 0, 14 , 12 , 34 , 1; и — σ-алгебра, порожденная интервалами с конечными точками 0, 12 , 1. Здесь условное ожидание фактически является средним по минимальным множествам σ-алгебры. ( Ω , F , P ) {\displaystyle (\Omega ,{\mathcal {F}},P)} A = F {\displaystyle {\mathcal {A}}={\mathcal {F}}} B {\displaystyle {\mathcal {B}}} C {\displaystyle {\mathcal {C}}}

Примите во внимание следующее:

  • ( Ω , F , P ) {\displaystyle (\Omega ,{\mathcal {F}},P)} является вероятностным пространством .
  • X : Ω R n {\displaystyle X\colon \Omega \to \mathbb {R} ^{n}} является случайной величиной в этом вероятностном пространстве с конечным математическим ожиданием.
  • H F {\displaystyle {\mathcal {H}}\subseteq {\mathcal {F}}} является под -σ- алгеброй . F {\displaystyle {\mathcal {F}}}

Так как является подалгеброй , то функция обычно не является измеримой, поэтому существование интегралов вида , где и является ограничением на , не может быть установлено в общем случае. Однако локальные средние могут быть восстановлены в с помощью условного ожидания. H {\displaystyle {\mathcal {H}}} σ {\displaystyle \sigma } F {\displaystyle {\mathcal {F}}} X : Ω R n {\displaystyle X\colon \Omega \to \mathbb {R} ^{n}} H {\displaystyle {\mathcal {H}}} H X d P | H {\textstyle \int _{H}X\,dP|_{\mathcal {H}}} H H {\displaystyle H\in {\mathcal {H}}} P | H {\displaystyle P|_{\mathcal {H}}} P {\displaystyle P} H {\displaystyle {\mathcal {H}}} H X d P {\textstyle \int _{H}X\,dP} ( Ω , H , P | H ) {\displaystyle (\Omega ,{\mathcal {H}},P|_{\mathcal {H}})}

Условное ожидание X при заданном значении , обозначаемое как , представляет собой любую измеримую функцию , которая удовлетворяет: H {\displaystyle {\mathcal {H}}} E ( X H ) {\displaystyle \operatorname {E} (X\mid {\mathcal {H}})} H {\displaystyle {\mathcal {H}}} Ω R n {\displaystyle \Omega \to \mathbb {R} ^{n}}

H E ( X H ) d P = H X d P {\displaystyle \int _{H}\operatorname {E} (X\mid {\mathcal {H}})\,\mathrm {d} P=\int _{H}X\,\mathrm {d} P}

для каждого . [8] H H {\displaystyle H\in {\mathcal {H}}}

Как отмечено в обсуждении, это условие эквивалентно утверждению, что остаток ортогонален индикаторным функциям : L 2 {\displaystyle L^{2}} X E ( X H ) {\displaystyle X-\operatorname {E} (X\mid {\mathcal {H}})} 1 H {\displaystyle 1_{H}}

X E ( X H ) , 1 H = 0 {\displaystyle \langle X-\operatorname {E} (X\mid {\mathcal {H}}),1_{H}\rangle =0}

Существование

Существование можно установить, заметив, что для — конечная мера на , которая абсолютно непрерывна относительно . Если — естественная инъекция из в , то — ограничение на и — ограничение на . Кроме того, — абсолютно непрерывна относительно , ​​поскольку условие E ( X H ) {\displaystyle \operatorname {E} (X\mid {\mathcal {H}})} μ X : F F X d P {\textstyle \mu ^{X}\colon F\mapsto \int _{F}X\,\mathrm {d} P} F F {\displaystyle F\in {\mathcal {F}}} ( Ω , F ) {\displaystyle (\Omega ,{\mathcal {F}})} P {\displaystyle P} h {\displaystyle h} H {\displaystyle {\mathcal {H}}} F {\displaystyle {\mathcal {F}}} μ X h = μ X | H {\displaystyle \mu ^{X}\circ h=\mu ^{X}|_{\mathcal {H}}} μ X {\displaystyle \mu ^{X}} H {\displaystyle {\mathcal {H}}} P h = P | H {\displaystyle P\circ h=P|_{\mathcal {H}}} P {\displaystyle P} H {\displaystyle {\mathcal {H}}} μ X h {\displaystyle \mu ^{X}\circ h} P h {\displaystyle P\circ h}

P h ( H ) = 0 P ( h ( H ) ) = 0 {\displaystyle P\circ h(H)=0\iff P(h(H))=0}

подразумевает

μ X ( h ( H ) ) = 0 μ X h ( H ) = 0. {\displaystyle \mu ^{X}(h(H))=0\iff \mu ^{X}\circ h(H)=0.}

Таким образом, мы имеем

E ( X H ) = d μ X | H d P | H = d ( μ X h ) d ( P h ) , {\displaystyle \operatorname {E} (X\mid {\mathcal {H}})={\frac {\mathrm {d} \mu ^{X}|_{\mathcal {H}}}{\mathrm {d} P|_{\mathcal {H}}}}={\frac {\mathrm {d} (\mu ^{X}\circ h)}{\mathrm {d} (P\circ h)}},}

где производные являются производными мер Радона–Никодима .

Условное математическое ожидание относительно случайной величины

Рассмотрим, в дополнение к вышесказанному,

Условное ожидание X при условии Y определяется путем применения приведенной выше конструкции к σ-алгебре, порожденной Y :

E [ X Y ] := E [ X σ ( Y ) ] {\displaystyle \operatorname {E} [X\mid Y]:=\operatorname {E} [X\mid \sigma (Y)]} .

По лемме Дуба-Дынкина существует функция такая, что e X : U R n {\displaystyle e_{X}\colon U\to \mathbb {R} ^{n}}

E [ X Y ] = e X ( Y ) {\displaystyle \operatorname {E} [X\mid Y]=e_{X}(Y)} .

Обсуждение

  • Это не конструктивное определение; нам просто дано требуемое свойство, которому должно удовлетворять условное ожидание.
    • Определение может напоминать определение для события, но это очень разные объекты. Первое — это измеримая функция , а второе — элемент и для . E ( X H ) {\displaystyle \operatorname {E} (X\mid {\mathcal {H}})} E ( X H ) {\displaystyle \operatorname {E} (X\mid H)} H {\displaystyle H} H {\displaystyle {\mathcal {H}}} Ω R n {\displaystyle \Omega \to \mathbb {R} ^{n}} R n {\displaystyle \mathbb {R} ^{n}} E ( X H )   P ( H ) = H X d P = H E ( X H ) d P {\displaystyle \operatorname {E} (X\mid H)\ P(H)=\int _{H}X\,\mathrm {d} P=\int _{H}\operatorname {E} (X\mid {\mathcal {H}})\,\mathrm {d} P} H H {\displaystyle H\in {\mathcal {H}}}
    • Можно показать, что уникальность почти наверняка : то есть версии одного и того же условного ожидания будут отличаться только на наборе с нулевой вероятностью .
  • σ-алгебра контролирует «зернистость» кондиционирования. Условное ожидание по более тонкой (большей) σ-алгебре сохраняет информацию о вероятностях большего класса событий. Условное ожидание по более грубой (меньшей) σ-алгебре усредняет по большему количеству событий. H {\displaystyle {\mathcal {H}}} E ( X H ) {\displaystyle E(X\mid {\mathcal {H}})} H {\displaystyle {\mathcal {H}}}

Условная вероятность

Для борелевского подмножества B в можно рассмотреть совокупность случайных величин B ( R n ) {\displaystyle {\mathcal {B}}(\mathbb {R} ^{n})}

κ H ( ω , B ) := E ( 1 X B | H ) ( ω ) {\displaystyle \kappa _{\mathcal {H}}(\omega ,B):=\operatorname {E} (1_{X\in B}|{\mathcal {H}})(\omega )} .

Можно показать, что они образуют марковское ядро , то есть, для почти всех , является вероятностной мерой. [9] ω {\displaystyle \omega } κ H ( ω , ) {\displaystyle \kappa _{\mathcal {H}}(\omega ,-)}

Закон бессознательного статистика тогда таков:

E [ f ( X ) | H ] = f ( x ) κ H ( , d x ) {\displaystyle \operatorname {E} [f(X)|{\mathcal {H}}]=\int f(x)\kappa _{\mathcal {H}}(-,\mathrm {d} x)} .

Это показывает, что условные ожидания, как и их безусловные аналоги, являются интеграциями по отношению к условной мере.

Общее определение

В общем, рассмотрим:

  • Вероятностное пространство . ( Ω , A , P ) {\displaystyle (\Omega ,{\mathcal {A}},P)}
  • Банахово пространство . ( E , E ) {\displaystyle (E,\|\cdot \|_{E})}
  • Случайная величина, интегрируемая по Бохнеру . X : Ω E {\displaystyle X:\Omega \to E}
  • Под-σ-алгебра . H A {\displaystyle {\mathcal {H}}\subseteq {\mathcal {A}}}

Условное ожидание заданного является уникальной и интегрируемой измеримой случайной величиной с точностью до -nullset , удовлетворяющей условию X {\displaystyle X} H {\displaystyle {\mathcal {H}}} P {\displaystyle P} E {\displaystyle E} H {\displaystyle {\mathcal {H}}} E ( X H ) {\displaystyle \operatorname {E} (X\mid {\mathcal {H}})}

H E ( X H ) d P = H X d P {\displaystyle \int _{H}\operatorname {E} (X\mid {\mathcal {H}})\,\mathrm {d} P=\int _{H}X\,\mathrm {d} P}

для всех . [10] [11] H H {\displaystyle H\in {\mathcal {H}}}

В этом случае условное ожидание иногда также обозначается в операторной нотации как . E H X {\displaystyle \operatorname {E} ^{\mathcal {H}}X}

Основные свойства

Все следующие формулы следует понимать в почти верном смысле. σ-алгебру можно заменить случайной величиной , т.е. . H {\displaystyle {\mathcal {H}}} Z {\displaystyle Z} H = σ ( Z ) {\displaystyle {\mathcal {H}}=\sigma (Z)}

  • Выделим независимые факторы:
    • Если не зависит от , то . X {\displaystyle X} H {\displaystyle {\mathcal {H}}} E ( X H ) = E ( X ) {\displaystyle E(X\mid {\mathcal {H}})=E(X)}
Доказательство

Пусть . Тогда не зависит от , поэтому получаем, что B H {\displaystyle B\in {\mathcal {H}}} X {\displaystyle X} 1 B {\displaystyle 1_{B}}

B X d P = E ( X 1 B ) = E ( X ) E ( 1 B ) = E ( X ) P ( B ) = B E ( X ) d P . {\displaystyle \int _{B}X\,dP=E(X1_{B})=E(X)E(1_{B})=E(X)P(B)=\int _{B}E(X)\,dP.}

Таким образом, определение условного ожидания удовлетворяется постоянной случайной величиной , как и требовалось. E ( X ) {\displaystyle E(X)} {\displaystyle \square }

    • Если не зависит от , то . Обратите внимание, что это не обязательно так, если не зависит только от и от . X {\displaystyle X} σ ( Y , H ) {\displaystyle \sigma (Y,{\mathcal {H}})} E ( X Y H ) = E ( X ) E ( Y H ) {\displaystyle E(XY\mid {\mathcal {H}})=E(X)\,E(Y\mid {\mathcal {H}})} X {\displaystyle X} H {\displaystyle {\mathcal {H}}} Y {\displaystyle Y}
    • Если независимы, независимы, независимы от и независимы от , то . X , Y {\displaystyle X,Y} G , H {\displaystyle {\mathcal {G}},{\mathcal {H}}} X {\displaystyle X} H {\displaystyle {\mathcal {H}}} Y {\displaystyle Y} G {\displaystyle {\mathcal {G}}} E ( E ( X Y G ) H ) = E ( X ) E ( Y ) = E ( E ( X Y H ) G ) {\displaystyle E(E(XY\mid {\mathcal {G}})\mid {\mathcal {H}})=E(X)E(Y)=E(E(XY\mid {\mathcal {H}})\mid {\mathcal {G}})}
  • Стабильность:
    • Если -измеримо , то . X {\displaystyle X} H {\displaystyle {\mathcal {H}}} E ( X H ) = X {\displaystyle E(X\mid {\mathcal {H}})=X}
Доказательство

Для каждого имеем , или эквивалентно H H {\displaystyle H\in {\mathcal {H}}} H E ( X | H ) d P = H X d P {\displaystyle \int _{H}E(X|{\mathcal {H}})dP=\int _{H}XdP}

H ( E ( X | H ) X ) d P = 0 {\displaystyle \int _{H}{\big (}E(X|{\mathcal {H}})-X{\big )}dP=0}

Поскольку это верно для каждого , а оба и являются -измеримыми (первое свойство выполняется по определению; последнее свойство здесь является ключевым), отсюда можно показать H H {\displaystyle H\in {\mathcal {H}}} E ( X | H ) {\displaystyle E(X|{\mathcal {H}})} X {\displaystyle X} H {\displaystyle {\mathcal {H}}}

H | E ( X | H ) X | d P = 0 {\displaystyle \int _{H}{\big |}E(X|{\mathcal {H}})-X{\big |}dP=0}

И это касается почти всего. E ( X | H ) = X {\displaystyle E(X|{\mathcal {H}})=X} {\displaystyle \square }

    • В частности, для под-σ-алгебр мы имеем . (Обратите внимание, что это отличается от свойства башни ниже.) H 1 H 2 F {\displaystyle {\mathcal {H}}_{1}\subset {\mathcal {H}}_{2}\subset {\mathcal {F}}} E ( E ( X H 1 ) H 2 ) = E ( X H 1 ) {\displaystyle E(E(X\mid {\mathcal {H}}_{1})\mid {\mathcal {H}}_{2})=E(X\mid {\mathcal {H}}_{1})}
    • Если Z — случайная величина, то . В простейшей форме это звучит так : . E ( f ( Z ) Z ) = f ( Z ) {\displaystyle \operatorname {E} (f(Z)\mid Z)=f(Z)} E ( Z Z ) = Z {\displaystyle \operatorname {E} (Z\mid Z)=Z}
  • Выделим известные факторы:
    • Если -измеримо , то . X {\displaystyle X} H {\displaystyle {\mathcal {H}}} E ( X Y H ) = X E ( Y H ) {\displaystyle E(XY\mid {\mathcal {H}})=X\,E(Y\mid {\mathcal {H}})}
Доказательство

Все случайные величины здесь предполагаются без потери общности неотрицательными. Общий случай можно рассматривать с помощью . X = X + X {\displaystyle X=X^{+}-X^{-}}

Исправьте и пусть . Тогда для любого A H {\displaystyle A\in {\mathcal {H}}} X = 1 A {\displaystyle X=1_{A}} H H {\displaystyle H\in {\mathcal {H}}}

H E ( 1 A Y | H ) d P = H 1 A Y d P = A H Y d P = A H E ( Y | H ) d P = H 1 A E ( Y | H ) d P {\displaystyle \int _{H}E(1_{A}Y|{\mathcal {H}})dP=\int _{H}1_{A}YdP=\int _{A\cap H}YdP=\int _{A\cap H}E(Y|{\mathcal {H}})dP=\int _{H}1_{A}E(Y|{\mathcal {H}})dP}

И так почти везде. E ( 1 A Y | H ) = 1 A E ( Y | H ) {\displaystyle E(1_{A}Y|{\mathcal {H}})=1_{A}E(Y|{\mathcal {H}})}

Любая простая функция является конечной линейной комбинацией индикаторных функций. В силу линейности указанное выше свойство справедливо для простых функций: если является простой функцией, то . X n {\displaystyle X_{n}} E ( X n Y | H ) = X n E ( Y | H ) {\displaystyle E(X_{n}Y|{\mathcal {H}})=X_{n}\,E(Y|{\mathcal {H}})}

Теперь пусть будет -измеримой. Тогда существует последовательность простых функций, сходящаяся монотонно (здесь имеется в виду ) и поточечно к . Следовательно, для последовательность монотонно и поточечно сходится к . X {\displaystyle X} H {\displaystyle {\mathcal {H}}} { X n } n 1 {\displaystyle \{X_{n}\}_{n\geq 1}} X n X n + 1 {\displaystyle X_{n}\leq X_{n+1}} X {\displaystyle X} Y 0 {\displaystyle Y\geq 0} { X n Y } n 1 {\displaystyle \{X_{n}Y\}_{n\geq 1}} X Y {\displaystyle XY}

Кроме того, поскольку , последовательность сходится монотонно и поточечно к E ( Y | H ) 0 {\displaystyle E(Y|{\mathcal {H}})\geq 0} { X n E ( Y | H ) } n 1 {\displaystyle \{X_{n}E(Y|{\mathcal {H}})\}_{n\geq 1}} X E ( Y | H ) {\displaystyle X\,E(Y|{\mathcal {H}})}

Объединяя частный случай, доказанный для простых функций, определение условного ожидания и применяя теорему о монотонной сходимости:

H X E ( Y | H ) d P = H lim n X n E ( Y | H ) d P = lim n H X n E ( Y | H ) d P = lim n H E ( X n Y | H ) d P = lim n H X n Y d P = H lim n X n Y d P = H X Y d P = H E ( X Y | H ) d P {\displaystyle \int _{H}X\,E(Y|{\mathcal {H}})dP=\int _{H}\lim _{n\to \infty }X_{n}\,E(Y|{\mathcal {H}})dP=\lim _{n\to \infty }\int _{H}X_{n}E(Y|{\mathcal {H}})dP=\lim _{n\to \infty }\int _{H}E(X_{n}Y|{\mathcal {H}})dP=\lim _{n\to \infty }\int _{H}X_{n}YdP=\int _{H}\lim _{n\to \infty }X_{n}YdP=\int _{H}XYdP=\int _{H}E(XY|{\mathcal {H}})dP}

Это справедливо для всех , откуда почти всюду. H H {\displaystyle H\in {\mathcal {H}}} X E ( Y | H ) = E ( X Y | H ) {\displaystyle X\,E(Y|{\mathcal {H}})=E(XY|{\mathcal {H}})} {\displaystyle \square }

    • Если Z — случайная величина, то . E ( f ( Z ) Y Z ) = f ( Z ) E ( Y Z ) {\displaystyle \operatorname {E} (f(Z)Y\mid Z)=f(Z)\operatorname {E} (Y\mid Z)}
  • Закон полного ожидания : . [12] E ( E ( X H ) ) = E ( X ) {\displaystyle E(E(X\mid {\mathcal {H}}))=E(X)}
  • Собственность башни:
    • Для под-σ-алгебр имеем . H 1 H 2 F {\displaystyle {\mathcal {H}}_{1}\subset {\mathcal {H}}_{2}\subset {\mathcal {F}}} E ( E ( X H 2 ) H 1 ) = E ( X H 1 ) {\displaystyle E(E(X\mid {\mathcal {H}}_{2})\mid {\mathcal {H}}_{1})=E(X\mid {\mathcal {H}}_{1})}
      • Частный случай восстанавливает закон полного ожидания: . H 1 = { , Ω } {\displaystyle {\mathcal {H}}_{1}=\{\emptyset ,\Omega \}} E ( E ( X H 2 ) ) = E ( X ) {\displaystyle E(E(X\mid {\mathcal {H}}_{2}))=E(X)}
      • Особый случай — когда Z — измеримая случайная величина. Тогда и, таким образом , . H {\displaystyle {\mathcal {H}}} σ ( Z ) H {\displaystyle \sigma (Z)\subset {\mathcal {H}}} E ( E ( X H ) Z ) = E ( X Z ) {\displaystyle E(E(X\mid {\mathcal {H}})\mid Z)=E(X\mid Z)}
      • Свойство мартингала Дуба : вышеприведенное с (которое является -измеримым), а также с использованием , дает . Z = E ( X H ) {\displaystyle Z=E(X\mid {\mathcal {H}})} H {\displaystyle {\mathcal {H}}} E ( Z Z ) = Z {\displaystyle \operatorname {E} (Z\mid Z)=Z} E ( X E ( X H ) ) = E ( X H ) {\displaystyle E(X\mid E(X\mid {\mathcal {H}}))=E(X\mid {\mathcal {H}})}
    • Для случайных величин имеем . X , Y {\displaystyle X,Y} E ( E ( X Y ) f ( Y ) ) = E ( X f ( Y ) ) {\displaystyle E(E(X\mid Y)\mid f(Y))=E(X\mid f(Y))}
    • Для случайных величин имеем . X , Y , Z {\displaystyle X,Y,Z} E ( E ( X Y , Z ) Y ) = E ( X Y ) {\displaystyle E(E(X\mid Y,Z)\mid Y)=E(X\mid Y)}
  • Линейность: имеем и для . E ( X 1 + X 2 H ) = E ( X 1 H ) + E ( X 2 H ) {\displaystyle E(X_{1}+X_{2}\mid {\mathcal {H}})=E(X_{1}\mid {\mathcal {H}})+E(X_{2}\mid {\mathcal {H}})} E ( a X H ) = a E ( X H ) {\displaystyle E(aX\mid {\mathcal {H}})=a\,E(X\mid {\mathcal {H}})} a R {\displaystyle a\in \mathbb {R} }
  • Положительность: Если, то . X 0 {\displaystyle X\geq 0} E ( X H ) 0 {\displaystyle E(X\mid {\mathcal {H}})\geq 0}
  • Монотонность: Если то . X 1 X 2 {\displaystyle X_{1}\leq X_{2}} E ( X 1 H ) E ( X 2 H ) {\displaystyle E(X_{1}\mid {\mathcal {H}})\leq E(X_{2}\mid {\mathcal {H}})}
  • Монотонная сходимость : Если , то . 0 X n X {\displaystyle 0\leq X_{n}\uparrow X} E ( X n H ) E ( X H ) {\displaystyle E(X_{n}\mid {\mathcal {H}})\uparrow E(X\mid {\mathcal {H}})}
  • Доминируемая сходимость : Если и при , то . X n X {\displaystyle X_{n}\to X} | X n | Y {\displaystyle |X_{n}|\leq Y} Y L 1 {\displaystyle Y\in L^{1}} E ( X n H ) E ( X H ) {\displaystyle E(X_{n}\mid {\mathcal {H}})\to E(X\mid {\mathcal {H}})}
  • Лемма Фату : Если то . E ( inf n X n H ) > {\displaystyle \textstyle E(\inf _{n}X_{n}\mid {\mathcal {H}})>-\infty } E ( lim inf n X n H ) lim inf n E ( X n H ) {\displaystyle \textstyle E(\liminf _{n\to \infty }X_{n}\mid {\mathcal {H}})\leq \liminf _{n\to \infty }E(X_{n}\mid {\mathcal {H}})}
  • Неравенство Йенсена : Если — выпуклая функция , то . f : R R {\displaystyle f\colon \mathbb {R} \rightarrow \mathbb {R} } f ( E ( X H ) ) E ( f ( X ) H ) {\displaystyle f(E(X\mid {\mathcal {H}}))\leq E(f(X)\mid {\mathcal {H}})}
  • Условная дисперсия : Используя условное математическое ожидание, мы можем определить, по аналогии с определением дисперсии как среднего квадратичного отклонения от среднего, условную дисперсию
    • Определение: Var ( X H ) = E ( ( X E ( X H ) ) 2 H ) {\displaystyle \operatorname {Var} (X\mid {\mathcal {H}})=\operatorname {E} {\bigl (}(X-\operatorname {E} (X\mid {\mathcal {H}}))^{2}\mid {\mathcal {H}}{\bigr )}}
    • Алгебраическая формула для дисперсии: Var ( X H ) = E ( X 2 H ) ( E ( X H ) ) 2 {\displaystyle \operatorname {Var} (X\mid {\mathcal {H}})=\operatorname {E} (X^{2}\mid {\mathcal {H}})-{\bigl (}\operatorname {E} (X\mid {\mathcal {H}}){\bigr )}^{2}}
    • Закон полной дисперсии : . Var ( X ) = E ( Var ( X H ) ) + Var ( E ( X H ) ) {\displaystyle \operatorname {Var} (X)=\operatorname {E} (\operatorname {Var} (X\mid {\mathcal {H}}))+\operatorname {Var} (\operatorname {E} (X\mid {\mathcal {H}}))}
  • Сходимость по мартингалу : Для случайной величины , имеющей конечное математическое ожидание, имеем , если либо является возрастающим рядом под-σ-алгебр и , либо является убывающим рядом под-σ-алгебр и . X {\displaystyle X} E ( X H n ) E ( X H ) {\displaystyle E(X\mid {\mathcal {H}}_{n})\to E(X\mid {\mathcal {H}})} H 1 H 2 {\displaystyle {\mathcal {H}}_{1}\subset {\mathcal {H}}_{2}\subset \dotsb } H = σ ( n = 1 H n ) {\displaystyle \textstyle {\mathcal {H}}=\sigma (\bigcup _{n=1}^{\infty }{\mathcal {H}}_{n})} H 1 H 2 {\displaystyle {\mathcal {H}}_{1}\supset {\mathcal {H}}_{2}\supset \dotsb } H = n = 1 H n {\displaystyle \textstyle {\mathcal {H}}=\bigcap _{n=1}^{\infty }{\mathcal {H}}_{n}}
  • Условное ожидание как -проекция: Если находятся в гильбертовом пространстве квадратично интегрируемых действительных случайных величин (действительных случайных величин с конечным вторым моментом), то L 2 {\displaystyle L^{2}} X , Y {\displaystyle X,Y}
    • для -измеримых имеем , т.е. условное математическое ожидание есть в смысле скалярного произведения L 2 ( P ) ортогональная проекция из на линейное подпространство -измеримых функций. (Это позволяет определить и доказать существование условного математического ожидания на основе проекционной теоремы Гильберта .) H {\displaystyle {\mathcal {H}}} Y {\displaystyle Y} E ( Y ( X E ( X H ) ) ) = 0 {\displaystyle E(Y(X-E(X\mid {\mathcal {H}})))=0} E ( X H ) {\displaystyle E(X\mid {\mathcal {H}})} X {\displaystyle X} H {\displaystyle {\mathcal {H}}}
    • отображение является самосопряженным : X E ( X H ) {\displaystyle X\mapsto \operatorname {E} (X\mid {\mathcal {H}})} E ( X E ( Y H ) ) = E ( E ( X H ) E ( Y H ) ) = E ( E ( X H ) Y ) {\displaystyle \operatorname {E} (X\operatorname {E} (Y\mid {\mathcal {H}}))=\operatorname {E} \left(\operatorname {E} (X\mid {\mathcal {H}})\operatorname {E} (Y\mid {\mathcal {H}})\right)=\operatorname {E} (\operatorname {E} (X\mid {\mathcal {H}})Y)}
  • Обусловливание — это сжимающая проекция пространств L p . То есть, для любого p  ≥ 1. L p ( Ω , F , P ) L p ( Ω , H , P ) {\displaystyle L^{p}(\Omega ,{\mathcal {F}},P)\rightarrow L^{p}(\Omega ,{\mathcal {H}},P)} E ( | E ( X H ) | p ) E ( | X | p ) {\displaystyle \operatorname {E} {\big (}|\operatorname {E} (X\mid {\mathcal {H}})|^{p}{\big )}\leq \operatorname {E} {\big (}|X|^{p}{\big )}}
  • Свойство условной независимости Дуба: [13] Если условно независимы данные , то (эквивалентно, ). X , Y {\displaystyle X,Y} Z {\displaystyle Z} P ( X B Y , Z ) = P ( X B Z ) {\displaystyle P(X\in B\mid Y,Z)=P(X\in B\mid Z)} E ( 1 { X B } Y , Z ) = E ( 1 { X B } Z ) {\displaystyle E(1_{\{X\in B\}}\mid Y,Z)=E(1_{\{X\in B\}}\mid Z)}

Смотрите также

Законы вероятности

Примечания

  1. ^ Колмогоров, Андрей (1933). Grundbegriffe der Wahrscheinlichkeitsrechnung (на немецком языке). Берлин: Юлиус Шпрингер. п. 46.
    • Перевод: Колмогоров, Андрей (1956). Основы теории вероятностей (2-е изд.). Нью-Йорк: Челси. С. 53. ISBN 0-8284-0023-7. Архивировано из оригинала 2018-09-14 . Получено 2009-03-14 .
  2. ^ Окстоби, Дж. К. (1953). «Обзор: теория меры, П. Р. Халмос» (PDF) . Bull. Amer. Math. Soc . 59 (1): 89–91. doi : 10.1090/s0002-9904-1953-09662-8 .
  3. ^ JL Doob (1953). Стохастические процессы . John Wiley & Sons . ISBN 0-471-52369-0.
  4. ^ Олав Калленберг: Основы современной теории вероятностей. 2-е издание. Springer, Нью-Йорк 2002, ISBN 0-387-95313-2 , стр. 573. 
  5. ^ "вероятность - интуиция за условным ожиданием". Mathematics Stack Exchange .
  6. ^ Броквелл, Питер Дж. (1991). Временные ряды: теория и методы (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN 978-1-4419-0320-4.
  7. ^ Хасти, Тревор. Элементы статистического обучения: добыча данных, вывод и прогнозирование (PDF) (Второе, исправленное 7-е печатное изд.). Нью-Йорк. ISBN 978-0-387-84858-7.
  8. ^ Биллингсли, Патрик (1995). "Раздел 34. Условное ожидание". Вероятность и мера (3-е изд.). John Wiley & Sons. стр. 445. ISBN 0-471-00710-2.
  9. ^ Кленке, Ахим. Теория вероятностей: всеобъемлющий курс (Второе изд.). Лондон. ISBN 978-1-4471-5361-0.
  10. ^ Da Prato, Giuseppe; Zabczyk, Jerzy (2014). Стохастические уравнения в бесконечных измерениях . Cambridge University Press. стр. 26. doi :10.1017/CBO9781107295513.(Определение в сепарабельных банаховых пространствах)
  11. ^ Хитонен, Туомас; ван Неервен, Ян; Вераар, Марк; Вайс, Лутц (2016). Анализ в банаховых пространствах, Том I: Мартингалы и теория Литтлвуда-Пэли . Спрингер Чам. дои : 10.1007/978-3-319-48520-1.(Определение в общих банаховых пространствах)
  12. ^ "Условное ожидание". www.statlect.com . Получено 2020-09-11 .
  13. ^ Калленберг, Олав (2001). Основы современной вероятности (2-е изд.). Йорк, Пенсильвания, США: Спрингер. п. 110. ИСБН 0-387-95313-2.

Ссылки

  • Уильям Феллер , Введение в теорию вероятностей и ее приложения , том 1, 1950, стр. 223
  • Пол А. Мейер, Вероятность и потенциалы , Blaisdell Publishing Co., 1966, стр. 28
  • Гримметт, Джеффри ; Стирзакер, Дэвид (2001). Вероятность и случайные процессы (3-е изд.). Oxford University Press. ISBN 0-19-857222-0., страницы 67–69
Retrieved from "https://en.wikipedia.org/w/index.php?title=Conditional_expectation&oldid=1250064876"