Кластерно-взвешенное моделирование

В интеллектуальном анализе данных кластерно-взвешенное моделирование (CWM) представляет собой алгоритмический подход к нелинейному прогнозированию выходов ( зависимых переменных ) из входов ( независимых переменных ) на основе оценки плотности с использованием набора моделей (кластеров), каждая из которых концептуально подходит для подрегиона входного пространства. Общий подход работает в совместном пространстве вход-выход, и начальная версия была предложена Нилом Гершенфельдом . ^{[1] [2]}

Процедуру кластерно-взвешенного моделирования проблемы ввода-вывода можно описать следующим образом. ^[2] Для того чтобы построить прогнозируемые значения для выходной переменной y из входной переменной x , процедура моделирования и калибровки приходит к совместной функции плотности вероятности , p ( y , x ). Здесь «переменные» могут быть одномерными, многомерными или временными рядами. Для удобства любые параметры модели не указаны в обозначениях здесь, и возможны несколько различных обработок для них, включая установку их на фиксированные значения в качестве шага калибровки или обработку их с использованием байесовского анализа . Требуемые прогнозируемые значения получаются путем построения условной плотности вероятности p ( y | x ), из которой может быть получен прогноз с использованием условного ожидаемого значения , при этом условная дисперсия обеспечивает указание на неопределенность.

Важным шагом моделирования является то, что предполагается, что p ( y | x ) принимает следующую форму в качестве смешанной модели :

${\displaystyle p(y,x)=\sum _{j=1}^{n}w_{j}p_{j}(y,x),}$

где n — число кластеров, а { w _j } — веса, которые в сумме дают единицу. Функции p _j ( y , x ) — это совместные функции плотности вероятности, которые относятся к каждому из n кластеров. Эти функции моделируются с использованием разложения на условную и предельную плотность :

${\ displaystyle p_ {j} (y, x) = p_ {j} (y | x) p_ {j} (x),}$

где:

• p _j ( y | x ) — это модель для прогнозирования y при заданном x , и при условии, что пара вход-выход должна быть связана с кластером j на основе значения x . Эта модель может быть регрессионной моделью в простейших случаях.

• p _j ( x ) формально является плотностью для значений x , учитывая, что пара вход-выход должна быть связана с кластером j . Относительные размеры этих функций между кластерами определяют, связано ли конкретное значение x с любым заданным кластерным центром. Эта плотность может быть гауссовой функцией, центрированной на параметре, представляющем кластерный центр.

Так же, как и в случае регрессионного анализа , важно учитывать предварительные преобразования данных как часть общей стратегии моделирования, если основными компонентами модели должны быть простые регрессионные модели для плотностей условий по кластерам и нормальные распределения для плотностей весов кластеров p _j ( x ).

Базовый алгоритм CWM дает один выходной кластер для каждого входного кластера. Однако CWM можно расширить до нескольких кластеров, которые по-прежнему связаны с одним и тем же входным кластером. ^[3] Каждый кластер в CWM локализован в гауссовой входной области, и это содержит собственную обучаемую локальную модель. ^[4] Он признан универсальным алгоритмом вывода, который обеспечивает простоту, общность и гибкость; даже когда предпочтительнее использовать сеть с прямым распространением, иногда ее используют как «второе мнение» о характере проблемы обучения. ^[5]

Первоначальная форма, предложенная Гершенфельдом, описывает два нововведения:

• Предоставление CWM возможности работать с непрерывными потоками данных
• Решение проблемы локальных минимумов, возникающих в процессе настройки параметров CWM ^[5]

CWM можно использовать для классификации носителей в приложениях принтера, используя по крайней мере два параметра для генерации выходных данных, которые имеют совместную зависимость от входных параметров. ^[6]