Независимые и одинаково распределенные случайные величины

В теории вероятностей и статистике совокупность случайных величин независима и одинаково распределена ( iid , iid или IID ), если каждая случайная величина имеет такое же распределение вероятностей, как и другие, и все они взаимно независимы . ^[1] IID впервые был определен в статистике и находит применение во многих областях, таких как интеллектуальный анализ данных и обработка сигналов .

Статистика обычно имеет дело со случайными выборками. Случайную выборку можно рассматривать как набор объектов, выбранных случайным образом. Более формально, это «последовательность независимых, одинаково распределенных (IID) случайных точек данных».

Другими словами, термины случайная выборка и IID являются синонимами. В статистике « случайная выборка » — типичная терминология, но в теории вероятности чаще говорят « IID ».

• Одинаковое распределение означает, что общих тенденций нет — распределение не колеблется, и все элементы в выборке берутся из одного и того же распределения вероятностей .
• Независимые означает, что все элементы выборки являются независимыми событиями. Другими словами, они никак не связаны друг с другом; ^[2] знание значения одной переменной не дает никакой информации о значении другой и наоборот.

Независимые и одинаково распределенные случайные величины часто используются в качестве предположения, что имеет тенденцию упрощать лежащую в основе математику. Однако в практических приложениях статистического моделирования это предположение может быть или не быть реалистичным. ^[3]

Предположение iid также используется в центральной предельной теореме , которая утверждает, что распределение вероятностей суммы (или среднего) iid-переменных с конечной дисперсией приближается к нормальному распределению . ^[4]

Предположение iid часто возникает в контексте последовательностей случайных величин. Тогда «независимый и одинаково распределенный» подразумевает, что элемент в последовательности независим от случайных величин, которые были до него. Таким образом, последовательность iid отличается от последовательности Маркова , где распределение вероятностей для n- й случайной величины является функцией предыдущей случайной величины в последовательности (для последовательности Маркова первого порядка). Последовательность iid не подразумевает, что вероятности для всех элементов пространства выборки или пространства событий должны быть одинаковыми. ^[5] Например, повторные броски загруженных игральных костей дадут последовательность, которая является iid, несмотря на смещение результатов.

В обработке сигналов и изображений понятие преобразования в iid подразумевает две спецификации: часть «id» и часть «i.»:

id . – Уровень сигнала должен быть сбалансирован по оси времени.

i . – Спектр сигнала должен быть выровнен, т.е. преобразован путем фильтрации (например, деконволюции ) в сигнал белого шума (т.е. сигнал, в котором все частоты присутствуют в равной степени).

Предположим, что случайные величины и определены так, чтобы принимать значения в . Пусть и будут кумулятивными функциями распределения и , соответственно, и обозначим их совместную кумулятивную функцию распределения как .${\displaystyle X}$${\displaystyle Y}$${\displaystyle I\subseteq \mathbb {R} }$${\displaystyle F_{X}(x)=\operatorname {P} (X\leq x)}$${\displaystyle F_{Y}(y)=\operatorname {P} (Y\leq y)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle F_{X,Y}(x,y)=\operatorname {P} (X\leq x\land Y\leq y)}$

Две случайные величины и независимы тогда и только тогда, когда для всех . (Для более простого случая событий, два события и независимы тогда и только тогда, когда , см. также Независимость (теория вероятностей) § Две случайные величины .)${\displaystyle X}$${\displaystyle Y}$${\displaystyle F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)}$${\displaystyle x,y\in I}$${\displaystyle А}$${\displaystyle Б}$${\displaystyle P(A\land B)=P(A)\cdot P(B)}$

Две случайные величины и распределены одинаково тогда и только тогда, когда для всех . ^[6]${\displaystyle X}$${\displaystyle Y}$${\displaystyle F_{X}(x)=F_{Y}(x)}$${\displaystyle x\in I}$

Две случайные величины и являются независимыми , если они независимы и одинаково распределены, т.е. тогда и только тогда, когда${\displaystyle X}$${\displaystyle Y}$

Определение естественным образом распространяется на более чем две случайные величины. Мы говорим, что случайные величины являются iid , если они независимы (см. далее Независимость (теория вероятностей) § Более двух случайных величин ) и одинаково распределены, т.е. тогда и только тогда, когда${\displaystyle n}$${\displaystyle X_{1},\ldots ,X_{n}}$

где обозначает совместную кумулятивную функцию распределения .${\displaystyle F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\operatorname {P} (X_{1}\leq x_{1}\land \ldots \land X_{n}\leq x_{n})}$${\displaystyle X_{1},\ldots ,X_{n}}$

Последовательность результатов вращений честной или нечестной рулетки — iid . Одним из следствий этого является то, что если шарик рулетки приземляется на «красное», например, 20 раз подряд, то вероятность того, что следующее вращение выпадет на «черное», не больше и не меньше, чем при любом другом вращении (см. ошибку игрока ).

Подбросьте монету 10 раз и запишите результаты в переменные .${\displaystyle A_{1},\ldots ,A_{10}}$

1. Независимый : каждый результат не повлияет на другой результат ( от 1 до 10), что означает, что переменные независимы друг от друга.${\displaystyle A_{i}}$${\displaystyle A_{j}}$${\displaystyle i\neq j}$${\displaystyle A_{1},\ldots ,A_{10}}$
2. Одинаково распределено : независимо от того, является ли монета честной (с вероятностью выпадения орла 1/2) или предвзятой, до тех пор, пока для каждого подбрасывания используется одна и та же монета, вероятность выпадения орла остается одинаковой для всех подбрасываний.

Такая последовательность независимых переменных также называется процессом Бернулли .

Бросьте игральную кость 10 раз и сохраните результаты в переменных .${\displaystyle A_{1},\ldots ,A_{10}}$

1. Независимы : каждый результат броска кубика не повлияет на следующий, что означает, что 10 переменных независимы друг от друга.
2. Одинаково распределено : независимо от того, является ли кость честной или взвешенной, каждый бросок будет иметь ту же вероятность увидеть каждый результат, что и любой другой бросок. Напротив, бросок 10 разных костей, некоторые из которых взвешены, а некоторые нет, не даст переменных iid.

Выберите карту из стандартной колоды карт, содержащей 52 карты, затем положите карту обратно в колоду. Повторите это 52 раза. Наблюдайте, когда появится король.

1. Независимые : каждое наблюдение не повлияет на следующее, что означает, что 52 результата независимы друг от друга. Напротив, если каждая вытащенная карта не попадает в колоду, последующие вытащенные карты будут затронуты ею (вытащенный король сделает вытащенный второй король менее вероятным), и наблюдения не будут независимыми.
2. Одинаково распределено : после вытягивания из колоды одной карты (и последующего возвращения карты в колоду) вероятность появления короля каждый раз составляет 4/52, что означает, что вероятность каждый раз одинакова.

Многие результаты, которые были впервые доказаны при предположении, что случайные величины являются независимыми , оказались верными даже при более слабом предположении о распределении.

Наиболее общим понятием, которое разделяет основные свойства независимых тождественных переменных, являются взаимозаменяемые случайные величины , введенные Бруно де Финетти . ^{[ требуется ссылка ]} Взаимозаменяемость означает, что, хотя переменные могут быть независимы, будущие переменные ведут себя так же, как и прошлые — формально любое значение конечной последовательности так же вероятно, как и любая перестановка этих значений — совместное распределение вероятностей инвариантно относительно симметричной группы .

Это дает полезное обобщение — например, выборка без замены не является независимой, но может быть заменена.

В стохастическом исчислении переменные iid рассматриваются как дискретный временной процесс Леви : каждая переменная показывает, насколько она изменяется от одного момента времени к другому. Например, последовательность испытаний Бернулли интерпретируется как процесс Бернулли .

Это можно обобщить, включив в него непрерывные во времени процессы Леви , и многие процессы Леви можно рассматривать как пределы независимых тождественных переменных — например, процесс Винера является пределом процесса Бернулли.

Машинное обучение (ML) подразумевает изучение статистических взаимосвязей в данных. Для эффективного обучения моделей ML крайне важно использовать данные, которые можно широко обобщить. Если данные обучения недостаточно репрезентативны для задачи, производительность модели на новых, невиданных данных может быть низкой.

Гипотеза iid позволяет значительно сократить количество индивидуальных случаев, требуемых в обучающей выборке, упрощая оптимизационные расчеты. В задачах оптимизации предположение о независимом и идентичном распределении упрощает расчет функции правдоподобия. Благодаря этому предположению функция правдоподобия может быть выражена как:

${\displaystyle l(\theta )=P(x_{1},x_{2},x_{3},...,x_{n}|\theta )=P(x_{1}|\theta )P(x_{2}|\theta )P(x_{3}|\theta )...P(x_{n}|\theta )}$

Для максимизации вероятности наблюдаемого события применяется логарифмическая функция для максимизации параметра . В частности, она вычисляет:${\textstyle \theta }$

${\displaystyle \mathop {\rm {argmax}} \limits _{\theta }\log(l(\theta ))}$

где

${\displaystyle \log(l(\theta ))=\log(P(x_{1}|\theta ))+\log(P(x_{2}|\theta ))+\log(P(x_{3}|\theta ))+...+\log(P(x_{n}|\theta ))}$

Компьютеры очень эффективны при выполнении множественных сложений, но не так эффективны при выполнении умножений. Это упрощение повышает вычислительную эффективность. Логарифмическое преобразование в процессе максимизации преобразует многие экспоненциальные функции в линейные функции.

Есть две основные причины, по которым эта гипотеза практически полезна в сочетании с центральной предельной теоремой (ЦПТ):

1. Даже если выборка происходит из сложного негауссовского распределения , ее можно хорошо аппроксимировать, поскольку ЦПТ позволяет упростить ее до гауссовского распределения («для большого числа наблюдаемых выборок сумма многих случайных величин будет иметь приблизительно нормальное распределение»).
2. Вторая причина заключается в том, что точность модели зависит от простоты и репрезентативной мощности блока модели, а также от качества данных. Простота блока упрощает его интерпретацию и масштабирование, в то время как репрезентативная мощность и масштабируемость повышают точность модели. Например, в глубокой нейронной сети каждый нейрон прост, но при этом мощен в представлении, слой за слоем, захватывая более сложные признаки для повышения точности модели.

• Теорема Де Финетти
• Попарно независимые переменные
• Центральная предельная теорема