Детерминированный шум

В (контролируемом) машинном обучении , особенно при обучении на основе данных, существуют ситуации, когда значения данных не могут быть смоделированы. Это может возникнуть, если в данных есть случайные колебания или ошибки измерения, которые не моделируются и могут быть соответственно названы стохастическим шумом ; или когда моделируемое (или изучаемое) явление слишком сложное, и поэтому данные содержат эту дополнительную сложность, которая не моделируется. Эта дополнительная сложность в данных была названа детерминированным шумом . [1] Хотя эти два типа шума возникают по разным причинам, их неблагоприятное воздействие на обучение схоже. Переобучение происходит из-за того, что модель пытается подогнать (стохастический или детерминированный) шум (ту часть данных, которую она не может смоделировать) за счет подгонки той части данных, которую она может смоделировать. Когда присутствует любой из типов шума, обычно рекомендуется регуляризировать алгоритм обучения, чтобы предотвратить переобучение модели под данные и получение худшей производительности. Регуляризация обычно приводит к модели с более низкой дисперсией за счет смещения .

Можно также попытаться смягчить влияние шума, обнаружив и удалив шумные обучающие примеры до обучения контролируемого алгоритма обучения. Существует несколько алгоритмов, которые идентифицируют шумные обучающие примеры, и удаление предполагаемых шумных обучающих примеров до обучения обычно улучшает производительность. [2] [3]

Ссылки

  1. ^ Ясер С. Абу-Мостафа; Малик Магдон-Исмаил; Сюань-Тьен Линь (март 2012 г.). Learning From Data. amlbook.
  2. ^ CE Brodely и MA Friedl (1999). Определение и устранение неправильно маркированных учебных примеров, Журнал исследований искусственного интеллекта 11, 131-167. (http://jair.org/media/606/live-606-1803-jair.pdf Архивировано 12 мая 2016 г. на Wayback Machine )
  3. ^ MR Smith; T. Martinez (2011). «Улучшение точности классификации путем выявления и удаления случаев, которые следует классифицировать неправильно». Труды Международной совместной конференции по нейронным сетям (IJCNN 2011) . стр.  2690–2697 . CiteSeerX 10.1.1.221.1371 . doi :10.1109/IJCNN.2011.6033571. 


Взято с "https://en.wikipedia.org/w/index.php?title=Детерминированный_шум&oldid=1194883687"