Перчатка

GloVe , придуманная от Global Vectors, является моделью для распределенного представления слов. Модель представляет собой алгоритм неконтролируемого обучения для получения векторных представлений слов. Это достигается путем отображения слов в осмысленное пространство, где расстояние между словами связано с семантическим сходством. ^{[1] Обучение выполняется на агрегированной глобальной} статистике совместного появления слов из корпуса, и полученные представления демонстрируют интересные линейные подструктуры векторного пространства слов . Как модель логарифмически-билинейной регрессии для неконтролируемого обучения представлений слов, она объединяет особенности двух семейств моделей, а именно методы глобальной матричной факторизации и локального контекстного окна.

Он разработан как проект с открытым исходным кодом в Стэнфорде ^[2] и был запущен в 2014 году. Он был разработан как конкурент word2vec , и в оригинальной статье отмечались множественные улучшения GloVe по сравнению с word2vec. По состоянию на 2022 год ^{[обновлять]}оба подхода устарели, и модели на основе Transformer , такие как BERT , которые добавляют несколько слоев внимания нейронной сети поверх модели встраивания слов, похожей на Word2vec, стали считаться последним словом в области обработки естественного языка. ^[3]

Вы узнаете слово по его окружению (Ферт, Дж. Р. 1957:11) ^[4]

Идея GloVe заключается в построении для каждого слова двух векторов , так что относительные положения векторов захватывают часть статистических закономерностей слова . Статистическая закономерность определяется как вероятности совместного появления. Слова, которые похожи друг на друга по значению, должны также быть похожи друг на друга по вероятностям совместного появления.${\displaystyle я}$${\displaystyle w_{i},{\tilde {w}}_{i}}$${\displaystyle i}$

Пусть словарь будет , набор всех возможных слов (т.е. «токенов»). Пунктуация либо игнорируется, либо рассматривается как словарь, и аналогично для заглавных букв и других типографских деталей. ^[1]${\displaystyle V}$

Если два слова встречаются близко друг к другу, то мы говорим, что они встречаются в контексте друг друга. Например, если длина контекста равна 3, то мы говорим, что в следующем предложении

GloVe _{1 ,} созданный ₂ из ₃ Global ₄ Vectors ₅ , является ₆ моделью ₇ для ₉ распределенного ₁₀ слова 11 _{представления 12}

слово «модель ₈ » находится в контексте «слова ₁₁ », но не в контексте «представления ₁₂ ».

Слово не находится в контексте самого себя, поэтому «модель ₈ » не находится в контексте слова «модель ₈ », хотя, если слово появляется снова в том же контексте, то оно учитывается.

Пусть будет числом раз, которое слово появляется в контексте слова во всем корпусе. Например, если корпус состоит только из «Я не думаю, что это проблема». мы имеем с тех пор, как первое «это» появляется в контексте второго, и наоборот.${\displaystyle X_{ij}}$${\displaystyle j}$${\displaystyle i}$${\displaystyle X_{{\text{that}},{\text{that}}}=2}$

Пусть будет числом слов в контексте всех случаев слова . Подсчитав, мы имеем (за исключением слов, встречающихся в самом начале и конце корпуса)${\displaystyle X_{i}=\sum _{j\in V}X_{ij}}$${\displaystyle i}$$${\displaystyle X_{i}=2\times ({\text{context size}})\times \#({\text{occurrences of word }}i)}$$

Пусть будет вероятностью совместного появления . То есть, если выбрать случайное появление слова во всем документе и случайное слово в его контексте, то это слово с вероятностью . Обратите внимание, что в общем случае. Например, в типичном корпусе современного английского языка близко к единице, но близко к нулю. Это потому, что слово "ado" почти всегда используется только в контексте архаичной фразы " much ado about ", но слово "much" встречается во всех видах контекстов.$${\displaystyle P_{ik}:=P(k|i):={\frac {X_{ik}}{X_{i}}}}$$${\displaystyle i}$${\displaystyle k}$${\displaystyle P_{ik}}$${\displaystyle P_{ik}\neq P_{ki}}$${\displaystyle P_{{\text{ado}},{\text{much}}}}$${\displaystyle P_{{\text{much}},{\text{ado}}}}$

Например, в корпусе из 6 миллиардов токенов мы имеем

Таблица 1 из ^[1]

Вероятность и соотношение	${\displaystyle k={\text{ solid }}}$	${\displaystyle k={\text{ gas }}}$	${\displaystyle k={\text{ water }}}$	${\displaystyle k={\text{ fashion }}}$
${\displaystyle P(k\mid {\text{ ice }})}$	${\displaystyle 1.9\times 10^{-4}}$	${\displaystyle 6.6\times 10^{-5}}$	${\displaystyle 3.0\times 10^{-3}}$	${\displaystyle 1.7\times 10^{-5}}$
${\displaystyle P(k\mid {\text{ steam }})}$	${\displaystyle 2.2\times 10^{-5}}$	${\displaystyle 7.8\times 10^{-4}}$	${\displaystyle 2.2\times 10^{-3}}$	${\displaystyle 1.8\times 10^{-5}}$
${\displaystyle P(k\mid {\text{ ice }})/P(k\mid {\text{ steam }})}$	${\displaystyle 8.9}$	${\displaystyle 8.5\times 10^{-2}}$	${\displaystyle 1.36}$	${\displaystyle 0.96}$

Рассматривая таблицу, мы видим, что слова «лёд» и «пар» неразличимы по сравнению со словами «вода» (часто встречается вместе с обоими) и «мода» (редко встречается вместе с тем или другим), но различимы по сравнению со словами «твёрдое тело» (чаще встречается вместе со льдом) и «газ» (чаще встречается вместе со «паром»).

Идея состоит в том, чтобы узнать два вектора для каждого слова , так чтобы у нас была полиномиальная логистическая регрессия : а термины являются неважными параметрами.${\displaystyle w_{i},{\tilde {w}}_{i}}$${\displaystyle i}$$${\displaystyle w_{i}^{T}{\tilde {w}}_{j}+b_{i}+{\tilde {b}}_{j}\approx \ln P_{ij}}$$${\displaystyle b_{i},{\tilde {b}}_{j}}$

Это означает, что если слова имеют схожие вероятности совместной встречаемости , то их векторы также должны быть схожими: .${\displaystyle i,j}$${\displaystyle (P_{ik})_{k\in V}\approx (P_{jk})_{k\in V}}$${\displaystyle w_{i}\approx w_{j}}$

Наивно, логистическая регрессия может быть запущена путем минимизации квадратичных потерь: Однако, это было бы шумно для редких совместных событий. Чтобы исправить проблему, квадратичные потери взвешиваются так, чтобы потери медленно увеличивались по мере увеличения абсолютного числа совместных событий: где и являются гиперпараметрами . В оригинальной статье авторы обнаружили, что, похоже, хорошо работает на практике.$${\displaystyle L=\sum _{i,j\in V}(w_{i}^{T}{\tilde {w}}_{j}+b_{i}+{\tilde {b}}_{j}-\ln P_{ij})^{2}}$$${\displaystyle X_{ij}}$$${\displaystyle L=\sum _{i,j\in V}f(X_{ij})(w_{i}^{T}{\tilde {w}}_{j}+b_{i}+{\tilde {b}}_{j}-\ln P_{ij})^{2}}$$$${\displaystyle f(x)=\left\{{\begin{array}{cc}\left(x/x_{\max }\right)^{\alpha }&{\text{ if }}x<x_{\max }\\1&{\text{ otherwise }}\end{array}}\right.}$$${\displaystyle x_{\max },\alpha }$${\displaystyle x_{\max }=100,\alpha =3/4}$

После обучения модели у нас есть 4 обученных параметра для каждого слова: . Параметры нерелевантны, а релевантны только они.${\displaystyle w_{i},{\tilde {w}}_{i},b_{i},{\tilde {b}}_{i}}$${\displaystyle b_{i},{\tilde {b}}_{i}}$${\displaystyle w_{i},{\tilde {w}}_{i}}$

Авторы рекомендовали использовать в качестве окончательного вектора представления для слова , поскольку эмпирически он работал лучше, чем или по отдельности.${\displaystyle w_{i}+{\tilde {w}}_{i}}$${\displaystyle i}$${\displaystyle w_{i}}$${\displaystyle {\tilde {w}}_{i}}$

GloVe можно использовать для поиска связей между словами, такими как синонимы, связи между компанией и продуктом, почтовые индексы и города и т. д. Однако алгоритм неконтролируемого обучения неэффективен при идентификации омографов, т. е. слов с одинаковым написанием и разными значениями. Это связано с тем, что алгоритм неконтролируемого обучения вычисляет один набор векторов для слов с одинаковой морфологической структурой. ^[5] Алгоритм также используется библиотекой SpaCy для построения семантических признаков встраивания слов, при этом вычисляя список слов, которые соответствуют мерам расстояния, таким как косинусное сходство и подход евклидова расстояния . ^[6] GloVe также использовался в качестве структуры представления слов для онлайн- и офлайн-систем, разработанных для обнаружения психологического стресса в интервью с пациентами. ^[7]

• ELMo
• БЕРТ
• Word2vec
• быстрыйТекст
• Обработка естественного языка

• GloVe Архивировано 2016-12-19 в Wayback Machine
• Deeplearning4j GloVe Архивировано 2019-02-02 на Wayback Machine