Ссылка грамматики

Грамматика связей (LG) — это теория синтаксиса Дэви Темперли и Дэниела Слейтора , которая строит отношения между парами слов, а не конструирует составляющие в иерархии фразовой структуры . Грамматика связей похожа на грамматику зависимостей , но грамматика зависимостей включает отношение зависимости от головы, тогда как грамматика связей делает отношение зависимости от головы необязательным (связи не обязательно указывают направление). ^[1] Цветная многоплоскостная грамматика связей (CMLG) — это расширение LG, позволяющее устанавливать перекрестные отношения между парами слов. ^[2] Отношения между словами обозначаются типами связей , что делает грамматику связей тесно связанной с определенными категориальными грамматиками .

Например, в языке с субъектом-глаголом-объектом, таком как английский, глагол будет смотреть влево, чтобы сформировать связь субъекта, и вправо, чтобы сформировать связь объекта. Существительные будут смотреть вправо, чтобы завершить связь субъекта, или влево, чтобы завершить связь объекта.

В языке с субъектом-объектом-глаголом, таком как персидский , глагол будет смотреть влево, чтобы сформировать связь объекта, и более далеко влево, чтобы сформировать связь субъекта. Существительные будут смотреть вправо, чтобы сформировать связь субъекта и объекта.

Грамматика связей соединяет слова в предложении связями, похожими по форме на катену . В отличие от катены или традиционной грамматики зависимостей , маркировка отношения «голова-зависимость» является необязательной для большинства языков, становясь обязательной только в языках со свободным порядком слов (таких как турецкий , ^{[3] [ нужен лучший источник ]} финский , венгерский ). То есть в английском языке отношение «подлежащее-глагол» «очевидно», в том смысле, что подлежащее почти всегда находится слева от глагола, и, таким образом, не требуется делать никаких конкретных указаний на зависимость. В случае инверсии «подлежащее-глагол» используется отдельный тип связи. Для языков со свободным порядком слов это больше не может иметь места, и связь между подлежащим и глаголом должна содержать явную направленную стрелку, чтобы указать, какое из двух слов является каким.

Грамматика связей также отличается от традиционных грамматик зависимостей тем, что допускает циклические отношения между словами. Так, например, могут быть связи, указывающие как на главный глагол предложения, так и на главный субъект предложения, а также на связь между субъектом и глаголом. Эти три связи, таким образом, образуют цикл (в данном случае треугольник). Циклы полезны для ограничения того, что в противном случае могло бы быть неоднозначными разборами; циклы помогают «сузить» набор допустимых разборов предложения.

Например, в синтаксическом анализе

 +---->Западная Вирджиния--->+  +--Wd--+-Ss-+--Pa--+ | | | |ЛЕВАЯ СТЕНА он быстро бегает

LEFT-WALL указывает на начало предложения или корневой узел. Направляющая связь WV (со стрелками) указывает на главный глагол предложения; это связь Wall-Verb. ^[4] Связь Wd (нарисованная здесь без стрелок) указывает на главное существительное (субъект) предложения. Тип связи Wd указывает и на то, что он соединяется со стеной (W), и на то, что предложение является повествовательным предложением (подтип со строчной буквой "d"). ^[5] Связь Ss указывает на связь субъекта и глагола; строчная буква "s" указывает на то, что субъект находится в единственном числе. ^[6] Обратите внимание, что связи WV, Wd и Ss образуют цикл. Связь Pa соединяет глагол с дополнением; строчная буква "a" указывает на то, что в данном случае это предикативное прилагательное . ^[7]

Синтаксический анализ выполняется по аналогии со сборкой пазла (представляющего разобранное предложение) из частей пазла (представляющих отдельные слова). ^{[8] [9]} Язык представлен посредством словаря или лексики , который состоит из слов и набора разрешенных «форм пазла», которые может иметь каждое слово. Форма обозначается «соединителем», который является связующим типом, и указателем направления + или -, указывающим вправо или влево. Так, например, переходный глагол может иметь соединители S- и O+, указывающие на то, что глагол может образовывать связь с субъектом (« S ») слева (« - ») и связь с объектом (« O ») справа (« + »). Аналогично, нарицательное существительное может иметь соединители D- и S+, указывающие на то, что оно может соединяться с детерминатором слева (« D- ») и выступать в качестве субъекта при соединении с глаголом справа (« S+ »). Затем процесс разбора заключается в определении того, что соединитель S+ может быть присоединен к соединителю S- , образуя связь " S " между двумя словами. Разбор завершается, когда все соединители будут подключены.

У данного слова могут быть десятки или даже сотни допустимых форм головоломок (называемых «дизъюнктами»): например, многие глаголы могут быть необязательно транзитивными, что делает соединитель O+ необязательным; такие глаголы могут также принимать адвербиальные модификаторы ( соединители E ), которые по своей сути являются необязательными. Более сложные глаголы могут иметь дополнительные соединители для косвенных объектов или для частиц или предлогов . Таким образом, часть синтаксического анализа также включает выбор одного единственного уникального дизъюнкта для слова; окончательный синтаксический анализ должен удовлетворять (соединять) все соединители для этого дизъюнкта. ^[10]

Соединители также могут включать индикаторы, зависящие от головки h и d . В этом случае, соединитель, содержащий индикатор головки, может подключаться только к соединителю, содержащему зависимый индикатор (или к соединителю без каких-либо индикаторов hd на нем). Когда используются эти индикаторы, ссылка украшается стрелками, указывающими направление ссылки. ^[9]

Недавнее расширение упрощает спецификацию соединителей для языков, которые имеют небольшие или не имеют ограничений на порядок слов, таких как литовский . Существуют также расширения, упрощающие поддержку языков с конкатенативной морфологией .

Алгоритм анализа также требует, чтобы конечный граф был планарным , т. е. чтобы никакие связи не пересекались. ^[9] Это ограничение основано на эмпирических психолингвистических данных, что, действительно, для большинства языков, почти во всех ситуациях, связи зависимости действительно не пересекаются. ^{[11] [12]} Существуют редкие исключения, например, в финском языке и даже в английском; их можно проанализировать с помощью грамматики связей, только введя более сложные и избирательные типы соединителей для охвата этих ситуаций.

Коннекторы могут иметь необязательную плавающую разметку стоимости, так что некоторые из них «дешевле» в использовании, чем другие, таким образом отдавая предпочтение определенным разборам перед другими. ^[9] То есть, общая стоимость разбора представляет собой сумму индивидуальных затрат используемых соединителей; самый дешевый разбор указывает на наиболее вероятный разбор. Это используется для ранжирования разбора нескольких неоднозначных разборов. Тот факт, что затраты являются локальными для соединителей и не являются глобальным свойством алгоритма, делает их по сути марковскими по своей природе. ^{[13] [14] [15] [16] [17] [18]}

Назначение логарифмического правдоподобия связям позволяет грамматике связей реализовать семантический выбор отношений предикат-аргумент. То есть, некоторые конструкции, хотя и синтаксически допустимы, крайне маловероятны. Таким образом, грамматика связей воплощает некоторые идеи, представленные в грамматике операторов .

Поскольку затраты являются аддитивными, они ведут себя как логарифм вероятности (поскольку логарифмические правдоподобия аддитивны), или, что эквивалентно, как энтропия ( поскольку энтропии аддитивны). Это делает грамматику связей совместимой с методами машинного обучения, такими как скрытые марковские модели и алгоритм Витерби , поскольку затраты связей соответствуют весам связей в марковских сетях или байесовских сетях .

Типы связей грамматики связей можно понимать как типы в смысле теории типов . ^{[9] [19]} По сути, грамматика связей может использоваться для моделирования внутреннего языка некоторых (несимметричных) компактных замкнутых категорий , таких как предгрупповые грамматики . В этом смысле грамматика связей представляется изоморфной или гомоморфной некоторым категориальным грамматикам . Так, например, в категориальной грамматике существительное « плохой мальчик » может быть записано как

${\displaystyle {{\text{the}} \atop {\text{NP/N,}}}{{\text{bad}} \atop {\text{N/N,}}}{{\text{boy}} \atop {\text{N}}}}$

тогда как соответствующие дизъюнкты в связной грамматике будут

: D+;плохо: A+;мальчик: D- и A-;

Правила сокращения (правила вывода) исчисления Ламбека можно сопоставить с соединением коннекторов в грамматике связей. Индикаторы направления + и - соответствуют прямым и обратным косым чертам категориальной грамматики. Наконец, однобуквенные имена A и D можно понимать как метки или "легко читаемые" мнемонические имена для довольно многословных типов NP/N и т. д.

Основное отличие здесь заключается в том, что категориальные грамматики имеют два конструктора типов , прямой и обратный слеш, которые могут использоваться для создания новых типов (таких как NP/N ) из базовых типов (таких как NP и N ). Связная грамматика не использует конструкторы типов, предпочитая вместо этого определять гораздо больший набор базовых типов, имеющих компактную, легко запоминающуюся мнемонику.

Базовый файл правил для языка SVO может выглядеть так:

<определитель> D+;<существительное-субъект> {D−} & S+;<существительное-объект> {D−} & O−;<глагол> S− & {O+};

Таким образом, английское предложение «Мальчик нарисовал картину» будет выглядеть так:

 +-----О-----+ +-Д-+--С--+ +--Д--+ | | | | |Мальчик нарисовал картину

Аналогичные разборы применимы и к китайскому языку. ^[20]

И наоборот, файл правил для языка SOV с нулевым субъектом может состоять из следующих ссылок:

<существительное-субъект> S+;<существительное-объект> O+;<глагол> {O−} & {S−};

А простое персидское предложение man nAn xordam (من نان خوردم) «Я ел хлеб» будет выглядеть так: ^{[21] [22] [23]}

+-----С-----+ | +--О--+ | | |человек nAn xordam

Аналогичным образом можно использовать порядок VSO, например, для арабского языка. ^[24]

Во многих языках с конкатенативной морфологией основа не играет грамматической роли; грамматика определяется суффиксами. Так, в русском языке предложение 'вверху плыли редкие облачка' может иметь следующий разбор: ^{[25] [26]}

 +------------Wd-----------+---------------SIp----------------+ | +-------EI------+ +--------Api-------+ | | +--LLCZD-+ +-LLAQZ+ +--LLCAO-+ | | | | | | | |ЛЕВАЯ СТЕНА вверху.е плы.= =ли.vnndpp ре.= =дкие.api облачк.= =а.ndnpi

Подстрочные индексы, такие как '.vnndpp', используются для указания грамматической категории. Первичные связи: Wd, EI, SIp и Api соединяют вместе суффиксы, поскольку, в принципе, здесь могут появляться и другие основы, не изменяя структуру предложения. Связь Api указывает на прилагательное; SIp обозначает инверсию подлежащего и глагола; EI является модификатором. Связь Wd используется для указания главного существительного; главный глагол в этом предложении не указан. Связи LLXXX служат только для присоединения основ к суффиксам.

Связующая грамматика может также указывать на фонологическое согласование между соседними словами. Например:

 +---------Ост--------+ +------>ЗВ------>+ +------Дс**х-----+ +----Wd---+-Ss*b-+ +--PHv-+----A----+ | | | | | |ЛЕВАЯ СТЕНА, которая.jp.является.абстрактной.концепцией.n

Здесь соединитель «PH» используется для ограничения определителей, которые могут появляться перед словом «abstract». Он эффективно блокирует (делает затратным) использование определителя «a» в этом предложении, в то время как ссылка на «an» становится дешевой. Другие ссылки примерно такие же, как в предыдущих примерах: S обозначает подлежащее, O обозначает объект, D обозначает определитель. Ссылка «WV» указывает на главный глагол, а ссылка «W» указывает на главное существительное. Строчные буквы, следующие за типами ссылок с заглавными буквами, служат для уточнения типа; так, например, Ds может соединяться только с существительным в единственном числе; Ss только с подлежащим в единственном числе, Os с объектом в единственном числе. Строчная v в PHv обозначает «гласный»; строчная d в Wd обозначает повествовательное предложение.

Предложение на вьетнамском языке «Bữa tiệc hôm qua là một thành công lớn» — «Вчерашняя вечеринка имела большой успех» можно разобрать следующим образом: ^[27]

Синтаксический анализатор грамматики ссылок — это библиотека для обработки естественного языка , написанная на языке C. Она доступна по лицензии LGPL . Анализатор ^[29] — это текущий проект. Последние версии включают улучшенное покрытие предложений, поддержку русского, персидского и арабского языков, прототипы для немецкого, иврита, литовского, вьетнамского и турецкого языков, а также программные API для Python , Java , Common LISP , AutoIt и OCaml , со сторонними привязками для Perl , ^[30] Ruby ^[31] и JavaScript node.js. ^[32 ]

Текущим крупным начинанием является проект по изучению грамматики и морфологии новых языков с использованием алгоритмов неконтролируемого обучения. ^{[33] [34]}

Программа -анализатор ссылок вместе с правилами и списками слов для английского языка может быть найдена в стандартных дистрибутивах Linux , например, в пакете Debian , хотя многие из них устарели на несколько лет. ^[35]

AbiWord , ^[29] бесплатный текстовый процессор , использует грамматику ссылок для проверки грамматики на лету. Слова, которые не могут быть связаны нигде, подчеркнуты зеленым .

Семантический экстрактор отношений RelEx ^[36] , наложенный поверх библиотеки грамматики связей, генерирует вывод грамматики зависимости , делая явными семантические отношения между словами в предложении. Его вывод можно классифицировать как находящийся на уровне между SSyntR и DSyntR теории смысла-текста . Он также обеспечивает кадрирование/обоснование, разрешение анафоры , идентификацию заглавных слов, лексическую фрагментацию , идентификацию частей речи и тегирование, включая теги сущности, даты, денег, пола и т. д. Он включает режим совместимости для генерации вывода зависимости, совместимого с парсером Стэнфорда ^[37] и совместимым с Penn Treebank ^[38] тегированием POS .

Грамматика связей также использовалась для извлечения информации из биомедицинских текстов ^{[39] [40]} и событий, описанных в новостных статьях, ^[41] а также в экспериментальных системах машинного перевода с английского на немецкий, турецкий, индонезийский ^[42] и персидский языки . ^{[43] [44]}

Словарь ссылок грамматики используется для генерации и проверки синтаксической правильности трех различных систем генерации естественного языка : NLGen, ^[45] NLGen2 ^[46] и microplanner/surreal. ^[47] Он также используется как часть конвейера обработки естественного языка в проекте OpenCog AI.

Для проверки этой статьи нужны более полные цитаты . Помогите добавить недостающую информацию о цитатах , чтобы источники были четко идентифицированы. ( Август 2023 ) ( Узнайте, как и когда удалить это сообщение )

В Scholia есть тематический профиль для грамматики ссылок .

• Первоначальная домашняя страница Link Grammar (которая была заменена текущим проектом).
  • Онлайн-демонстрация на английском языке (для старой, устаревшей версии; с момента появления этой версии было исправлено множество ошибок).
• BioLG — модификация анализатора грамматики ссылок, адаптированная для биомедицинской области (многие, но не все, усовершенствования BioLG были возвращены в основной дистрибутив грамматики ссылок).
• Разбор предложений с помощью Link Grammar и Python Джеффа Элмора на PyCon 2012

• Расширение арабской грамматики Link (исходный пакет)
• Расширение грамматики персидского языка
• Онлайн-демонстрация персидского языка
• Демонстрация грамматики Russian Link