Факторизованная языковая модель

Факторизованная языковая модель ( FLM ) является расширением традиционной языковой модели, представленной Джеффом Билмесом и Катрин Кирхгоф в 2003 году. В FLM каждое слово рассматривается как вектор из k факторов: FLM предоставляет вероятностную модель , в которой предсказание фактора основано на родителях . Например, если представляет токен слова и представляет тег части речи для английского языка, выражение дает модель для предсказания текущего токена слова на основе традиционной модели Ngram , а также тега части речи предыдущего слова.${\displaystyle w_{i}=\{f_{i}^{1},...,f_{i}^{k}\}.}$${\displaystyle P(f|f_{1},...,f_{N})}$${\displaystyle f}$${\displaystyle N}$${\displaystyle \{f_{1},...,f_{N}\}}$${\displaystyle w}$${\displaystyle т}$${\displaystyle P(w_{i}|w_{i-2},w_{i-1},t_{i-1})}$

Основным преимуществом факторизованных языковых моделей является то, что они позволяют пользователям указывать лингвистические знания, такие как связь между словосочетаниями и частями речи в английском языке или морфологическую информацию (основы, корни и т. д.) в арабском языке.

Как и модели N-грамм , методы сглаживания необходимы при оценке параметров. В частности, обобщенный откат используется при обучении FLM.

• J Bilmes и K Kirchhoff (2003). "Factored Language Models and Generalized Parallel Backoff" (PDF) . Конференция по технологиям человеческого языка . Архивировано из оригинала (PDF) 17 июля 2012 г.

Эта статья, связанная с искусственным интеллектом , является заглушкой . Вы можете помочь Википедии, расширив ее.

• в
• т
• е