Индуктивное смещение

Предположения для вывода в машинном обучении

Индуктивное смещение (также известное как смещение обучения ) обучающего алгоритма — это набор предположений, которые обучающийся использует для прогнозирования выходных данных заданных входных данных, с которыми он не сталкивался. ^[1] Индуктивное смещение — это все, что заставляет алгоритм изучать один шаблон вместо другого (например, ступенчатые функции в деревьях решений вместо непрерывных функций в моделях линейной регрессии ). Обучение включает в себя поиск в пространстве решений того, которое, как ожидается, даст лучшее объяснение данных. Однако во многих случаях может быть несколько одинаково подходящих решений. ^[2] Индуктивное смещение позволяет обучающему алгоритму отдавать приоритет одному решению (или интерпретации) над другим, независимо от наблюдаемых данных. ^[3]

В машинном обучении целью является построение алгоритмов, которые способны научиться предсказывать определенный целевой выход. Для достижения этого обучающему алгоритму представляются некоторые обучающие примеры, которые демонстрируют предполагаемое соотношение входных и выходных значений. Затем обучающийся должен приблизить правильный выход, даже для примеров, которые не были показаны во время обучения. Без каких-либо дополнительных предположений эта проблема не может быть решена, поскольку невидимые ситуации могут иметь произвольное выходное значение. Вид необходимых предположений о природе целевой функции включен в фразу индуктивное смещение . ^[1]^[4]

Классический пример индуктивного смещения — бритва Оккама , предполагающая, что простейшая непротиворечивая гипотеза о целевой функции на самом деле является лучшей. Здесь непротиворечивость означает, что гипотеза обучающегося дает правильные результаты для всех примеров, которые были даны алгоритму.

Подходы к более формальному определению индуктивного смещения основаны на математической логике . Здесь индуктивное смещение — это логическая формула, которая вместе с данными обучения логически влечет за собой гипотезу, сгенерированную обучающимся. Однако этот строгий формализм терпит неудачу во многих практических случаях, когда индуктивное смещение может быть дано только в виде грубого описания (например, в случае искусственных нейронных сетей ) или вообще не дано.

Типы

Ниже приведен список распространенных индуктивных искажений в алгоритмах машинного обучения.

Максимальная условная независимость : если гипотеза может быть представлена в байесовском формате, попытайтесь максимизировать условную независимость. Это смещение, используемое в наивном байесовском классификаторе .
Минимальная ошибка перекрестной проверки : при выборе среди гипотез выбирайте гипотезу с наименьшей ошибкой перекрестной проверки. Хотя перекрестная проверка может показаться свободной от предвзятости, теоремы об отсутствии бесплатных обедов показывают, что перекрестная проверка должна быть предвзятой, например, если предположить, что в порядке данных не закодирована никакая информация.
Максимальный запас : при рисовании границы между двумя классами попытайтесь максимизировать ширину границы. Это смещение, используемое в машинах опорных векторов . Предполагается, что различные классы, как правило, разделены широкими границами.
Минимальная длина описания : при формировании гипотезы постарайтесь минимизировать длину описания гипотезы.
Минимальные характеристики : если нет веских доказательств того, что характеристика полезна, ее следует удалить. Это предположение лежит в основе алгоритмов выбора характеристик .
Ближайшие соседи : предположим, что большинство случаев в небольшом соседстве в пространстве признаков принадлежат к одному и тому же классу. Учитывая случай, класс которого неизвестен, предположим, что он принадлежит к тому же классу, что и большинство в его непосредственном соседстве. Это смещение, используемое в алгоритме k-ближайших соседей . Предполагается, что случаи, которые находятся рядом друг с другом, как правило, принадлежат к одному и тому же классу.

Изменение предвзятости

Хотя большинство алгоритмов обучения имеют статическое смещение, некоторые алгоритмы разработаны так, чтобы изменять свое смещение по мере получения большего количества данных. ^[5] Это не позволяет избежать смещения, поскольку сам процесс изменения смещения должен иметь смещение.

Смотрите также

Ссылки

^ ab Mitchell, TM (1980), Необходимость предубеждений в обобщениях обучения , CBM-TR 5-110, Нью-Брансуик, Нью-Джерси, США: Университет Ратгерса, CiteSeerX 10.1.1.19.5466
^ Гудман, Нельсон (1955). «Новая загадка индукции». Факт, вымысел и прогноз . Издательство Гарвардского университета. С. 59–83. ISBN 978-0-674-29071-6.{{cite book}}: CS1 maint: дата и год ( ссылка )
^ Митчелл, Том М. (1980). «Необходимость предубеждений в обобщениях обучения» (PDF) . Технический отчет Ратгерского университета CBM-TR-117 : 184–191.
^ Дежарденс, М.; Гордон, Д.Ф. (1995), «Оценка и выбор смещений в машинном обучении», Машинное обучение , 20 (1–2): 5–22, doi :10.1007/BF00993472
^ Утгофф, П.Е. (1984), Сдвиг смещения для индуктивного обучения концепциям, Нью-Брансуик, Нью-Джерси, США: Докторская диссертация, Кафедра компьютерных наук, Ратгерский университет, ISBN 9780934613002

[Mitchell1980-1] Mitchell, TM (1980), Необходимость предубеждений в обобщениях обучения , CBM-TR 5-110, Нью-Брансуик, Нью-Джерси, США: Университет Ратгерса, CiteSeerX 10.1.1.19.5466

[2] Гудман, Нельсон (1955). «Новая загадка индукции». Факт, вымысел и прогноз . Издательство Гарвардского университета. С. 59–83. ISBN 978-0-674-29071-6.{{cite book}}: CS1 maint: дата и год ( ссылка )

[3] Митчелл, Том М. (1980). «Необходимость предубеждений в обобщениях обучения» (PDF) . Технический отчет Ратгерского университета CBM-TR-117 : 184–191.

[DesJardinsandGordon1995-4] Дежарденс, М.; Гордон, Д.Ф. (1995), «Оценка и выбор смещений в машинном обучении», Машинное обучение , 20 (1–2): 5–22, doi :10.1007/BF00993472

[Utgoff1984-5] Утгофф, П.Е. (1984), Сдвиг смещения для индуктивного обучения концепциям, Нью-Брансуик, Нью-Джерси, США: Докторская диссертация, Кафедра компьютерных наук, Ратгерский университет, ISBN 9780934613002