Приблизительная энтропия

В статистике приближенная энтропия ( ApEn ) — это метод, используемый для количественной оценки степени регулярности и непредсказуемости колебаний в данных временного ряда . ^[1] Например, рассмотрим два ряда данных:

Серия A: (0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, ...), в которой попеременно 0 и 1.

Серия B: (0, 1, 0, 0, 1, 0, 1, 0, 0, 1, 1, 1, 1, 0, 0, 1, ...), которая имеет либо значение 0, либо 1, выбранное случайным образом, каждое с вероятностью 1/2.

Статистика моментов , такая как среднее значение и дисперсия , не различает эти два ряда. Статистика рангов также не различает эти ряды. Тем не менее, ряд A совершенно регулярен: знание того, что член имеет значение 1, позволяет с уверенностью предсказать, что следующий член будет иметь значение 0. Напротив, ряд B имеет случайные значения: знание того, что член имеет значение 1, не дает никакого представления о том, какое значение будет иметь следующий член.

Регулярность изначально измерялась точной статистикой регулярности, которая в основном была сосредоточена на различных мерах энтропии. ^[1] Однако точный расчет энтропии требует огромных объемов данных, и на результаты будет сильно влиять системный шум, ^[2] поэтому нецелесообразно применять эти методы к экспериментальным данным. ApEn был впервые предложен (под другим названием) А. Коэном и И. Прокаччиа, ^[3] как приближенный алгоритм для вычисления точной статистики регулярности, энтропии Колмогорова–Синая , и позже популяризирован Стивом М. Пинкусом. ApEn изначально использовался для анализа хаотической динамики и медицинских данных, таких как частота сердечных сокращений, ^[1] а затем распространил свои приложения в финансах , ^[4] физиологии , ^[5] инженерии человеческого фактора , ^[6] и климатических науках. ^[7]

Доступно подробное пошаговое руководство с объяснением теоретических основ приближенной энтропии. ^[8] Алгоритм таков:

Шаг 1

Предположим, что есть временной ряд данных . Это необработанные значения данных из измерений, равномерно распределенных во времени.${\displaystyle u(1),u(2),\ldots ,u(N)}$${\displaystyle N}$

Шаг 2

Пусть будет положительным целым числом , с , которое представляет длину серии данных (по сути, окно ). Пусть будет положительным действительным числом , которое определяет уровень фильтрации. Пусть .${\displaystyle m\in \mathbb {Z} ^{+}}$${\displaystyle m\leq N}$
${\displaystyle r\in \mathbb {R} ^{+}}$
${\displaystyle n=N-m+1}$

Шаг 3

Определим для каждого, где . Другими словами, -мерный вектор , содержащий ряд данных, начиная с . Определим расстояние между двумя векторами и как максимальное из расстояний между их соответствующими компонентами, заданное формулой${\displaystyle \mathbf {x} (i)={\big [}u(i),u(i+1),\ldots ,u(i+m-1){\big ]}}$${\displaystyle я}$${\displaystyle 1\leq i\leq n}$${\displaystyle \mathbf {x} (я)}$${\displaystyle м}$${\displaystyle u(я)}$
${\displaystyle \mathbf {x} (я)}$${\displaystyle \mathbf {x} (j)}$

${\displaystyle {\begin{align}d[\mathbf {x} (i),\mathbf {x} (j)]&=\max _{k}{\big (}|\mathbf {x} (i)_{k}-\mathbf {x} (j)_{k}|{\big )}\\&=\max _{k}{\big (}|u(i+k-1)-u(j+k-1)|{\big )}\\\end{align}}}$

для .${\displaystyle 1\leq k\leq m}$

Шаг 4

Определить количество как${\displaystyle C_{i}^{m}}$

${\displaystyle C_{i}^{m}(r)={({\text{количество }}j{\text{ таких, что }}d[\mathbf {x} (i),\mathbf {x} (j)]\leq r) \over n}}$

для каждого, где . Обратите внимание, что поскольку принимает все значения от 1 до , совпадение будет засчитано, когда (т. е. когда тестовая подпоследовательность, , сопоставляется сама с собой, ).${\displaystyle я}$${\displaystyle 1\leq i,j\leq n}$${\displaystyle j}$${\displaystyle n}$${\displaystyle j=i}$${\displaystyle \mathbf {x} (j)}$${\displaystyle \mathbf {x} (я)}$

Шаг 5

Определять

${\displaystyle \phi ^{m}(r)={1 \over n}\sum _{i=1}^{n}\log(C_{i}^{m}(r))}$

где — натуральный логарифм , а для фиксированного , и как установлено в Шаге 2.${\displaystyle \log }$${\displaystyle m}$${\displaystyle r}$${\displaystyle n}$

Шаг 6

Определим приблизительную энтропию ( ) как${\displaystyle \mathrm {ApEn} }$

${\displaystyle \mathrm {ApEn} (m,r,N)(u)=\phi ^{m}(r)-\phi ^{m+1}(r)}$

Выбор параметров

Обычно выбирают или , тогда как во многом это зависит от области применения.${\displaystyle m=2}$${\displaystyle m=3}$${\displaystyle r}$

Реализация на Physionet ^[9] , основанная на Pincus ^[2] , использует вместо на шаге 4. Хотя это и вызывает беспокойство в случае искусственно созданных примеров, на практике это обычно не вызывает беспокойства.${\displaystyle d[\mathbf {x} (i),\mathbf {x} (j)]<r}$${\displaystyle d[\mathbf {x} (i),\mathbf {x} (j)]\leq r}$

Рассмотрим последовательность выборок частоты сердечных сокращений, равномерно распределенных во времени:${\displaystyle N=51}$

${\displaystyle \ S_{N}=\{85,80,89,85,80,89,\ldots \}}$

Обратите внимание, что последовательность является периодической с периодом 3. Давайте выберем и (значения и можно изменять, не влияя на результат).${\displaystyle m=2}$${\displaystyle r=3}$${\displaystyle m}$${\displaystyle r}$

Сформируем последовательность векторов:

${\displaystyle {\begin{aligned}\mathbf {x} (1)&=[u(1)\ u(2)]=[85\ 80]\\\mathbf {x} (2)&=[u(2)\ u(3)]=[80\ 89]\\\mathbf {x} (3)&=[u(3)\ u(4)]=[89\ 85]\\\mathbf {x} (4)&=[u(4)\ u(5)]=[85\ 80]\\&\ \ \vdots \end{aligned}}}$

Расстояние вычисляется повторно следующим образом. В первом расчете,

${\displaystyle \ d[\mathbf {x} (1),\mathbf {x} (1)]=\max _{k}|\mathbf {x} (1)_{k}-\mathbf {x} (1)_{k}|=0}$что меньше, чем .${\displaystyle r}$

Во втором расчете обратите внимание, что , поэтому${\displaystyle |u(2)-u(3)|>|u(1)-u(2)|}$

${\displaystyle \ d[\mathbf {x} (1),\mathbf {x} (2)]=\max _{k}|\mathbf {x} (1)_{k}-\mathbf {x} (2)_{k}|=|u(2)-u(3)|=9}$что больше, чем .${\displaystyle r}$

Сходным образом,

${\displaystyle {\begin{aligned}d[\mathbf {x} (1)&,\mathbf {x} (3)]=|u(2)-u(4)|=5>r\\d[\mathbf {x} (1)&,\mathbf {x} (4)]=|u(1)-u(4)|=|u(2)-u(5)|=0<r\\&\vdots \\d[\mathbf {x} (1)&,\mathbf {x} (j)]=\cdots \\&\vdots \\\end{aligned}}}$

Результатом является всего 17 терминов , таких что . К ним относятся . В этих случаях это${\displaystyle \mathbf {x} (j)}$${\displaystyle d[\mathbf {x} (1),\mathbf {x} (j)]\leq r}$${\displaystyle \mathbf {x} (1),\mathbf {x} (4),\mathbf {x} (7),\ldots ,\mathbf {x} (49)}$${\displaystyle C_{i}^{m}(r)}$

${\displaystyle \ C_{1}^{2}(3)={\frac {17}{50}}}$

${\displaystyle \ C_{2}^{2}(3)={\frac {17}{50}}}$

${\displaystyle \ C_{3}^{2}(3)={\frac {16}{50}}}$

${\displaystyle \ C_{4}^{2}(3)={\frac {17}{50}}\ \cdots }$

Обратите внимание на шаг 4, для . Таким образом, члены, такие что включают , и общее число равно 16.${\displaystyle 1\leq i\leq n}$${\displaystyle \mathbf {x} (i)}$${\displaystyle \mathbf {x} (j)}$${\displaystyle d[\mathbf {x} (3),\mathbf {x} (j)]\leq r}$${\displaystyle \mathbf {x} (3),\mathbf {x} (6),\mathbf {x} (9),\ldots ,\mathbf {x} (48)}$

В конце этих расчетов мы имеем

${\displaystyle \phi ^{2}(3)={1 \over 50}\sum _{i=1}^{50}\log(C_{i}^{2}(3))\approx -1.0982}$

Затем повторяем вышеописанные шаги для . Сначала формируем последовательность векторов: ${\displaystyle m=3}$

${\displaystyle {\begin{aligned}\mathbf {x} (1)&=[u(1)\ u(2)\ u(3)]=[85\ 80\ 89]\\\mathbf {x} (2)&=[u(2)\ u(3)\ u(4)]=[80\ 89\ 85]\\\mathbf {x} (3)&=[u(3)\ u(4)\ u(5)]=[89\ 85\ 80]\\\mathbf {x} (4)&=[u(4)\ u(5)\ u(6)]=[85\ 80\ 89]\\&\ \ \vdots \end{aligned}}}$

Вычисляя расстояния между векторами , мы находим, что векторы, удовлетворяющие уровню фильтрации, имеют следующую характеристику:${\displaystyle \mathbf {x} (i),\mathbf {x} (j),1\leq i\leq 49}$

${\displaystyle d[\mathbf {x} (i),\mathbf {x} (i+3)]=0<r}$

Поэтому,

${\displaystyle \ C_{1}^{3}(3)={\frac {17}{49}}}$

${\displaystyle \ C_{2}^{3}(3)={\frac {16}{49}}}$

${\displaystyle \ C_{3}^{3}(3)={\frac {16}{49}}}$

${\displaystyle \ C_{4}^{3}(3)={\frac {17}{49}}\ \cdots }$

В конце этих расчетов мы имеем

${\displaystyle \phi ^{3}(3)={1 \over 49}\sum _{i=1}^{49}\log(C_{i}^{3}(3))\approx -1.0982}$

Окончательно,

${\displaystyle \mathrm {ApEn} =\phi ^{2}(3)-\phi ^{3}(3)\approx 0.000010997}$

Значение очень мало, поэтому оно подразумевает, что последовательность регулярна и предсказуема, что согласуется с наблюдением.

импорт  математикиdef  approx_entropy ( time_series ,  run_length ,  filter_level )  ->  float : """  Приблизительная энтропия  >>> импорт случайных  >>> регулярно = [85, 80, 89] * 17  >>> print(f"{approx_entropy(regularly, 2, 3):e}")  1.099654e-05  >>> случайно = [random.choice([85, 80, 89]) for _ in range(17*3)]  >>> 0.8 < approx_entropy(randomly, 2, 3) < 1  True  """ def  _maxdist ( x_i ,  x_j ):  возвращает  max ( abs ( ua  -  va )  для  ua ,  va  в  zip ( x_i ,  x_j )) def  _phi ( m ):  n  =  time_series_length  -  m  +  1  x  =  [  [ time_series [ j ]  для  j  в  диапазоне ( i ,  i  +  m  -  1  +  1 )]  для  i  в  диапазоне ( time_series_length  -  m  +  1 )  ]  counts  =  [  sum ( 1  для  x_j  в  x  if  _maxdist ( x_i ,  x_j )  <=  filter_level )  /  n  для  x_i  в  x  ]  return  sum ( math . log ( c )  для  c  в  counts )  /  n длина_временной_серии  =  len ( временная_серия ) вернуть  abs ( _phi ( длина_запуска  +  1 )  -  _phi ( длина_запуска ))если  __name__  ==  "__main__" :  импортировать  doctest doctest . testmod ()

• Быстрая аппроксимационная энтропия от MatLab Central
• приблизительнаяЭнтропия

Наличие повторяющихся моделей колебаний во временном ряду делает его более предсказуемым, чем временной ряд, в котором такие модели отсутствуют. ApEn отражает вероятность того, что за аналогичными моделями наблюдений не последуют дополнительные аналогичные наблюдения. ^[10] Временной ряд, содержащий много повторяющихся моделей, имеет относительно небольшое значение ApEn; менее предсказуемый процесс имеет более высокое значение ApEn.

Преимущества ApEn включают в себя: ^[2]

• Снижение вычислительных требований. ApEn может быть разработан для работы с небольшими выборками данных ( точками) и может применяться в режиме реального времени.${\displaystyle N<50}$
• Меньше влияния шума. Если данные зашумлены, показатель ApEn можно сравнить с уровнем шума в данных, чтобы определить, какое качество истинной информации может присутствовать в данных.

Алгоритм ApEn считает каждую последовательность соответствующей самой себе, чтобы избежать появления в расчетах. Этот шаг может внести смещение в ApEn, что приводит к тому, что ApEn на практике имеет два плохих свойства: ^[11]${\displaystyle \log(0)}$

1. ApEn сильно зависит от длины записи и для коротких записей всегда ниже ожидаемого.
2. Ему не хватает относительной согласованности. То есть, если ApEn одного набора данных выше, чем у другого, он должен оставаться выше, но не остается, для всех протестированных условий.

ApEn применялся для классификации электроэнцефалографии (ЭЭГ) при психиатрических заболеваниях, таких как шизофрения, ^[12] эпилепсия, ^[13] и наркомания. ^[14]

• Анализ количественной рекуррентности
• Образец энтропии