Вопрос ответ
Дисциплина информатики

Вопросы и ответы ( QA ) — это дисциплина компьютерной науки в области поиска информации и обработки естественного языка (NLP), которая занимается созданием систем, которые автоматически отвечают на вопросы , задаваемые людьми на естественном языке . [1]

Обзор

Реализация вопросов и ответов, обычно компьютерная программа, может строить свои ответы, запрашивая структурированную базу данных знаний или информации, обычно базу знаний . Чаще всего системы вопросов и ответов могут извлекать ответы из неструктурированной коллекции документов на естественном языке.

Вот некоторые примеры коллекций документов на естественном языке, используемых для систем вопросов и ответов:

Типы вопросов и ответов

Исследования с использованием метода ответов на вопросы направлены на разработку способов ответа на широкий спектр типов вопросов, включая вопросы о фактах, списках, определениях , как, почему, гипотетические, семантически ограниченные и кросс-языковые вопросы.

  • Ответы на вопросы, связанные со статьей, для оценки понимания прочитанного — одна из самых простых форм ответов на вопросы, поскольку данная статья относительно коротка по сравнению с областями других типов задач с ответами на вопросы. Примером такого вопроса является «За что Альберт Эйнштейн получил Нобелевскую премию?» после того, как в систему была передана статья на эту тему.
  • Ответы на вопросы с закрытыми книгами — это когда система запомнила некоторые факты во время обучения и может отвечать на вопросы без явного указания контекста. Это похоже на то, как люди сдают экзамены с закрытыми книгами.
  • Закрытый доменный ответ на вопрос имеет дело с вопросами в определенной области (например, медицина или техническое обслуживание автомобилей) и может использовать доменно-специфические знания, часто формализованные в онтологиях . В качестве альтернативы, «закрытый домен» может относиться к ситуации, когда принимается только ограниченный тип вопросов, например, вопросы, запрашивающие описательную, а не процедурную информацию. Системы ответов на вопросы в контексте [ неопределенных ] приложений машинного чтения также были построены в медицинской области, например, связанные с [ неопределенной ] болезнью Альцгеймера. [3]
  • Ответы на вопросы в открытой области имеют дело с вопросами почти обо всем и могут полагаться только на общие онтологии и мировые знания. Системы, разработанные для ответов на вопросы в открытой области, обычно имеют гораздо больше данных, из которых можно извлечь ответ. Примером вопроса в открытой области является «За что Альберт Эйнштейн получил Нобелевскую премию?», при этом система не получает никакой статьи по этой теме.

Другой способ категоризации вопросно-ответных систем — по используемому техническому подходу. Существует ряд различных типов систем QA, включая

Системы, основанные на правилах, используют набор правил для определения правильного ответа на вопрос. Статистические системы используют статистические методы для поиска наиболее вероятного ответа на вопрос. Гибридные системы используют комбинацию методов, основанных на правилах, и статистических методов.

История

Две ранние системы вопросов и ответов были BASEBALL [4] и LUNAR. [5] BASEBALL отвечала на вопросы о Главной лиге бейсбола в течение одного года [ неоднозначно ] . LUNAR отвечала на вопросы о геологическом анализе горных пород, возвращенных миссиями Apollo Moon. Обе системы вопросов и ответов были очень эффективны в своих выбранных областях. LUNAR была продемонстрирована на конференции по лунной науке в 1971 году и смогла ответить на 90% вопросов в своей области, которые были заданы людьми, не обученными работе с системой. В последующие годы были разработаны дополнительные системы вопросов и ответов с ограниченной областью. Общей чертой всех этих систем является то, что у них была основная база данных или система знаний, которая была написана вручную экспертами в выбранной области. Языковые способности BASEBALL и LUNAR использовали методы, похожие на ELIZA и DOCTOR , первые программы -чатботы .

SHRDLU была успешной вопросно-ответной программой, разработанной Терри Виноградом в конце 1960-х и начале 1970-х годов. Она имитировала работу робота в игрушечном мире («мире кубиков») и предлагала возможность задавать роботу вопросы о состоянии мира. Сила этой системы заключалась в выборе очень специфической области и очень простого мира с правилами физики, которые было легко закодировать в компьютерной программе.

В 1970-х годах были разработаны базы знаний , ориентированные на более узкие области знаний. Вопросно-ответные системы, разработанные для взаимодействия с этими экспертными системами, давали более повторяемые [ требуется разъяснение ] и обоснованные ответы на вопросы в области знаний. Эти экспертные системы очень напоминали современные вопросно-ответные системы, за исключением их внутренней архитектуры. Экспертные системы в значительной степени опираются на созданные и организованные экспертами базы знаний , тогда как многие современные вопросно-ответные системы опираются на статистическую обработку большого, неструктурированного корпуса текстов на естественном языке.

В 1970-х и 1980-х годах развивались всеобъемлющие теории в области компьютерной лингвистики , что привело к разработке амбициозных проектов в области понимания текста и ответов на вопросы. Одним из примеров был Unix Consultant (UC), разработанный Робертом Виленски в Калифорнийском университете в Беркли в конце 1980-х годов. Система отвечала на вопросы, относящиеся к операционной системе Unix . Она имела всеобъемлющую, созданную вручную базу знаний своей области и была нацелена на формулирование ответа для удовлетворения различных типов пользователей. Другим проектом была LILOG, система понимания текста , которая работала в области туристической информации в немецком городе. Системы, разработанные в проектах UC и LILOG, так и не вышли за рамки простых демонстраций, но они помогли разработать теории по компьютерной лингвистике и рассуждениям.

Разработаны специализированные системы вопросов и ответов на естественном языке, такие как EAGLi для ученых, занимающихся вопросами здоровья и жизни. [6]

Приложения

Системы контроля качества используются в различных приложениях, включая

  • Проверка фактов на предмет подтверждения факта путем постановки вопроса типа: является ли факт X правдой или ложью?
  • обслуживание клиентов,
  • техническая поддержка,
  • исследование рынка,
  • составление отчетов или проведение исследований.

Архитектура

По состоянию на 2001 год [обновлять]вопросно-ответные системы обычно включали модуль классификатора вопросов , который определял тип вопроса и тип ответа. [7]

Различные типы вопросно-ответных систем используют разные архитектуры. Например, современные открытые вопросно-ответные системы могут использовать архитектуру извлекателя-считывателя. Извлекатель нацелен на извлечение соответствующих документов, связанных с заданным вопросом, в то время как считыватель используется для выведения ответа из извлеченных документов. Такие системы, как GPT-3 , T5, [8] и BART [9], используют сквозную [ жаргон ] архитектуру, в которой архитектура на основе трансформатора [ жаргон ] хранит крупномасштабные текстовые данные в базовых параметрах. Такие модели могут отвечать на вопросы без доступа к каким-либо внешним источникам знаний.

Методы ответов на вопросы

Ответы на вопросы зависят от хорошего корпуса поиска ; без документов, содержащих ответ, мало что может сделать любая система ответов на вопросы. Большие коллекции, как правило, означают лучшую производительность ответов на вопросы, если только домен вопроса не ортогонален коллекции. Избыточность данных в больших коллекциях, таких как веб, означает, что крупицы информации, вероятно, будут сформулированы многими разными способами в разных контекстах и ​​документах, [10] что приводит к двум преимуществам:

  1. Если правильная информация представлена ​​во многих формах, то вопросно-ответной системе нужно будет применять меньше сложных методов НЛП для понимания текста.
  2. Правильные ответы можно отфильтровать от ложных срабатываний , поскольку система может полагаться на версии правильного ответа, которые встречаются в корпусе чаще, чем неправильные.

Некоторые системы ответов на вопросы в значительной степени полагаются на автоматизированное рассуждение . [11] [12]

Открытый домен ответ на вопрос

В информационном поиске система вопросов и ответов с открытым доменом пытается вернуть ответ в ответ на вопрос пользователя. Возвращаемый ответ имеет форму коротких текстов, а не списка соответствующих документов. [13] Система находит ответы, используя комбинацию методов из компьютерной лингвистики , информационного поиска и представления знаний .

Система принимает в качестве входных данных вопрос на естественном языке , а не набор ключевых слов, например: «Когда национальный день Китая?» Затем она преобразует это предложение ввода в запрос в его логической форме . Принятие вопросов на естественном языке делает систему более удобной для пользователя, но более сложной в реализации, поскольку существует множество типов вопросов, и системе придется определить правильный, чтобы дать разумный ответ. Назначение типа вопроса вопросу является важнейшей задачей; весь процесс извлечения ответа основан на поиске правильного типа вопроса и, следовательно, правильного типа ответа.

Извлечение ключевых слов является первым шагом в определении типа входного вопроса. [14] В некоторых случаях слова четко указывают на тип вопроса, например, «Кто», «Где», «Когда» или «Сколько» — эти слова могут подсказать системе, что ответы должны быть типа «Человек», «Местоположение», «Дата» или «Число» соответственно. Методы POS-тегирования (части речи) и синтаксического разбора также могут определять тип ответа. В приведенном выше примере подлежащее — «День китайского народа», сказуемое — «есть», а обстоятельство — «когда», поэтому тип ответа — «Дата». К сожалению, некоторые вопросительные слова, такие как «Кто», «Что» или «Как», не соответствуют однозначным типам ответов: каждое может представлять более одного типа. В таких ситуациях необходимо учитывать другие слова в вопросе. Для понимания контекста можно использовать лексический словарь, такой как WordNet .

После того, как система определяет тип вопроса, она использует систему поиска информации для поиска набора документов, содержащих правильные ключевые слова. Тегер и блокировщик групп NP/Verb могут проверить, упоминаются ли правильные сущности и отношения в найденных документах. Для таких вопросов, как «Кто» или «Где», распознаватель именованных сущностей находит соответствующие имена «Лицо» и «Местоположение» из извлеченных документов. Для ранжирования выбираются только соответствующие абзацы. [ необходимо уточнение ]

Модель векторного пространства может классифицировать возможные ответы. Проверьте [ who? ] , имеет ли ответ правильный тип, определенный на этапе анализа типа вопроса. Метод вывода может проверить возможные ответы. Затем каждому из этих кандидатов присваивается оценка в соответствии с количеством содержащихся в нем вопросительных слов и тем, насколько близки эти слова к кандидату — чем больше и чем ближе, тем лучше. Затем ответ переводится путем синтаксического анализа в компактное и осмысленное представление. В предыдущем примере ожидаемый выходной ответ — «1st Oct».

Ответ на математический вопрос

Система ответов на вопросы с открытым исходным кодом, поддерживающая математику, под названием MathQA , основанная на Ask Platypus и Wikidata , была опубликована в 2018 году. [15] MathQA принимает в качестве входных данных вопрос на естественном языке на английском или хинди и возвращает математическую формулу, извлеченную из Wikidata, в виде краткого ответа, переведенного в вычислимую форму, которая позволяет пользователю вставлять значения для переменных. Система извлекает имена и значения переменных и общих констант из Wikidata, если они доступны. Утверждается, что система превосходит коммерческую вычислительную математическую систему знаний на тестовом наборе. [15] MathQA размещена в Wikimedia по адресу https://mathqa.wmflabs.org/. В 2022 году она была расширена для ответа на 15 типов математических вопросов. [16]

Методы MathQA должны объединять естественный и формульный язык. Одним из возможных подходов является выполнение контролируемой аннотации с помощью Entity Linking . «Задача ARQMath» на CLEF 2020 [17] была запущена для решения проблемы связывания недавно опубликованных вопросов с платформы Math Stack Exchange с существующими, на которые уже ответило сообщество. Предоставление гиперссылок на уже отвеченные, семантически связанные вопросы помогает пользователям получать ответы раньше, но является сложной проблемой, поскольку семантическая связанность не является тривиальной. [18] Лаборатория была мотивирована тем фактом, что 20% математических запросов в поисковых системах общего назначения выражаются в виде правильно сформированных вопросов. [19] Задача состояла из двух отдельных подзадач. Задача 1: «Поиск ответа» сопоставление старых ответов на посты с новыми поставленными вопросами, и Задача 2: «Поиск формулы» сопоставление старых формул постов с новыми вопросами. Начиная с области математики, которая включает в себя язык формул, цель состоит в том, чтобы впоследствии распространить задачу на другие области (например, дисциплины STEM, такие как химия, биология и т. д.), которые используют другие типы специальных обозначений (например, химические формулы). [17] [18]

Также исследовался обратный процесс ответа на математические вопросы — генерация математических вопросов. Механизм генерации и тестирования вопросов по физике PhysWikiQuiz извлекает математические формулы из Wikidata вместе с семантической информацией об их составляющих идентификаторах (именах и значениях переменных). [20] Затем формулы перестраиваются для генерации набора вариантов формул. Впоследствии переменные заменяются случайными значениями для генерации большого количества различных вопросов, подходящих для индивидуальных тестов студентов. PhysWikiquiz размещен на Wikimedia по адресу https://physwikiquiz.wmflabs.org/.

Прогресс

В последние годы [ могут быть устаревшими по состоянию на апрель 2023 года ] системы ответов на вопросы были расширены , чтобы охватить дополнительные области знаний [21]. Например, были разработаны системы для автоматического ответа на временные и геопространственные вопросы, вопросы по определениям и терминологии, биографические вопросы, многоязычные вопросы и вопросы о содержании аудио, изображений [22] и видео. [23] Текущие темы исследований ответов на вопросы включают:

В 2011 году Watson , компьютерная система ответов на вопросы, разработанная IBM , участвовала в двух показательных матчах Jeopardy! против Брэда Раттера и Кена Дженнингса , одержав победу со значительным отрывом. [32] Facebook Research сделала свою систему DrQA [33] доступной по лицензии с открытым исходным кодом . Эта система использует Википедию в качестве источника знаний. [2] Фреймворк с открытым исходным кодом Haystack от deepset объединяет вопросы с открытым доменом и генеративные вопросы и поддерживает адаптацию домена [ требуется разъяснение ] базовых языковых моделей [ требуется разъяснение ] для вариантов использования в отрасли [ неопределенно ] . [34] [35]

Ссылки

  1. ^ Филипп Чимиано; Кристина Унгер; Джон МакКрей (1 марта 2014 г.). Интерпретация естественного языка на основе онтологии. Morgan & Claypool Publishers. ISBN 978-1-60845-990-2.
  2. ^ ab Чен, Даньци; Фиш, Адам; Уэстон, Джейсон; Бордес, Антуан (2017). «Чтение Википедии для ответа на вопросы открытого домена». arXiv : 1704.00051 [cs.CL].
  3. ^ Розер Моранте, Мартин Краллингер, Альфонсо Валенсия и Уолтер Дейлеманс. Машинное чтение биомедицинских текстов о болезни Альцгеймера. Лаборатории и семинар по оценке CLEF 2012. 17 сентября 2012 г.
  4. ^ ГРИН Дж. Р., Берт Ф. и др. (1961). «Бейсбол: автоматический вопрос-ответчик» (PDF) . Западная совместная компьютерная конференция IRE-AIEE-ACM : 219–224.
  5. ^ Вудс, Уильям А.; Каплан, Р. (1977). «Лунные породы в естественном английском: Исследования в области вопросов и ответов на естественном языке». Обработка языковых структур 5 . 5 : 521–569.
  6. ^ "Платформа EAGLi - Ответы на вопросы в MEDLINE". candy.hesge.ch . Получено 2021-12-02 .
  7. ^ Хиршман, Л. и Гаизаускас, Р. (2001) Ответы на вопросы на естественном языке. Взгляд отсюда. Natural Language Engineering (2001), 7:4:275-300 Cambridge University Press.
  8. ^ Раффель, Колин; Шазир, Ноам; Робертс, Адам; Ли, Кэтрин; Наранг, Шаран; Матена, Майкл; Чжоу, Яньци; Ли, Вэй; Лю, Питер Дж. (2019). «Изучение пределов трансферного обучения с помощью унифицированного преобразователя текста в текст». arXiv : 1910.10683 [cs.LG].
  9. ^ Льюис, Майк; Лю, Иньхан; Гойал, Наман; Газвининеджад, Марджан; Мохамед, Абдельрахман; Леви, Омер; Стоянов, Вес; Цеттлемойер, Люк (2019). «BART: шумоподавление при предварительном обучении от последовательности к последовательности для генерации, перевода и понимания естественного языка». arXiv : 1910.13461 [cs.CL].
  10. ^ Лин, Дж. (2002). Интернет как ресурс для ответов на вопросы: перспективы и проблемы. В трудах Третьей международной конференции по языковым ресурсам и оценке (LREC 2002).
  11. ^ Молдован, Дэн и др. «Cogex: Логическое средство доказательства для ответов на вопросы». Труды конференции 2003 г. Североамериканского отделения Ассоциации компьютерной лингвистики по технологиям человеческого языка — Том 1. Ассоциация компьютерной лингвистики, 2003.
  12. ^ Фурбах, Ульрих, Инго Глёкнер и Бьёрн Пельцер. «Применение автоматизированного рассуждения в ответах на вопросы на естественном языке». Ai Communications 23.2-3 (2010): 241–265.
  13. ^ Сан, Гаитян; Дхингра, Бхуван; Захир, Манзил; Мазайтис, Кэтрин; Салахутдинов, Руслан; Коэн, Уильям (2018). «Ответы на вопросы в открытой области с использованием раннего слияния баз знаний и текста». Труды конференции 2018 года по эмпирическим методам обработки естественного языка . Брюссель, Бельгия. стр. 4231–4242. arXiv : 1809.00782 . doi :10.18653/v1/D18-1455. S2CID  52154304.{{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка )
  14. ^ Харабагиу, Санда; Хикл, Эндрю (2006). «Методы использования текстового вывода в ответах на вопросы в открытой области». Труды 21-й Международной конференции по компьютерной лингвистике и 44-го ежегодного заседания ACL - ACL '06 . С. 905–912. doi : 10.3115/1220175.1220289 .
  15. ^ ab Moritz Schubotz; Philipp Scharpf; et al. (12 сентября 2018 г.). «Введение в MathQA: система вопросов и ответов с учетом математики». Information Discovery and Delivery . 46 (4). Emerald Publishing Limited: 214–224. arXiv : 1907.01642 . doi : 10.1108/IDD-06-2018-0022 .
  16. ^ Шарпф, П. Шуботц, М. Гипп, Б. Извлечение математических документов для ответов на вопросы с помощью неконтролируемой маркировки формул. Совместная конференция ACM/IEEE по цифровым библиотекам, 2022 г.
  17. ^ ab Zanibbi, Richard; Oard, Douglas W.; Agarwal, Anurag; Mansouri, Behrooz (2020), «Обзор ARQMath 2020: Лаборатория CLEF по поиску ответов для вопросов по математике», Experimental IR Meets Multilinguality, Multimodality, and Interaction, Lecture Notes in Computer Science, т. 12260, Cham: Springer International Publishing, стр. 169–193, doi : 10.1007/978-3-030-58219-7_15, ISBN 978-3-030-58218-0, S2CID  221351064 , получено 2021-06-09
  18. ^ ab Scharpf; et al. (2020-12-04). ARQMath Lab: инкубатор для поиска семантических формул в zbMATH Open?. OCLC  1228449497.
  19. ^ Мансури, Бехруз; Занибби, Ричард; Оард, Дуглас В. (июнь 2019 г.). «Характеристика поиска математических концепций». Совместная конференция ACM/IEEE по цифровым библиотекам (JCDL) 2019 г. IEEE. стр. 57–66. doi :10.1109/jcdl.2019.00019. ISBN 978-1-7281-1547-4. S2CID  198972305.
  20. ^ Шарпф, Филипп; Шуботц, Мориц; Шпиц, Андреас; Грейнер-Петтер, Андре; Гипп, Бела (2022). «Совместная генерация экзаменационных вопросов с использованием Викиданных в образовании с помощью искусственного интеллекта». arXiv : 2211.08361 . doi :10.13140/RG.2.2.30988.18568. S2CID  253270181. {{cite journal}}: Цитировать журнал требует |journal=( помощь )
  21. ^ Paşca, Marius (2005). «Обзор книги Новые направления в ответах на вопросы Марк Т. Мейбери (редактор) (MITRE Corporation) Менло-Парк, Калифорния: AAAI Press и Кембридж, Массачусетс: The MIT Press, 2004, xi+336 стр.; бумажный переплет, ISBN 0-262-63304-3, $40.00, £25.95». Computational Linguistics . 31 (3): 413–417. doi : 10.1162/089120105774321055 . S2CID  12705839.
  22. ^ ab Андерсон, Питер и др. «Внимание снизу вверх и сверху вниз для подписей изображений и ответов на визуальные вопросы». Труды конференции IEEE по компьютерному зрению и распознаванию образов. 2018.
  23. ^ Чжу, Линьчао; Сюй, Чжунвэнь; Ян, И; Хауптманн, Александр Г. (2015). «Раскрытие временного контекста для видеовопросов и ответов». arXiv : 1511.04670 [cs.CV].
  24. ^ Куартерони, Сильвия и Суреш Манандхар. «Проектирование интерактивной системы вопросов и ответов с открытым доменом». Natural Language Engineering 15.1 (2009): 73–95.
  25. ^ Лайт, Марк и др. «Повторное использование в ответах на вопросы: предварительное исследование». Новые направления в ответах на вопросы. 2003.
  26. ^ Yih, Wen-tau, Xiaodong He и Christopher Meek. «Семантический анализ для ответа на вопрос с одним отношением». Труды 52-го ежегодного собрания Ассоциации компьютерной лингвистики (том 2: краткие доклады). 2014.
  27. ^ Перера, Р., Нанд, П. и Наим, А. 2017. Использование шаблонов поддеревьев типизированных зависимостей для генерации предложений-ответов в вопросно-ответных системах.
  28. ^ де Сальво Браз, Родриго и др. «Модель вывода для семантического вывода в естественном языке». Семинар по проблемам машинного обучения. Springer, Берлин, Гейдельберг, 2005.
  29. ^ "BitCrawl by Hobson Lane". Архивировано из оригинала 27 октября 2012 г. Получено 29-05-2012 г.{{cite web}}: CS1 maint: бот: исходный статус URL неизвестен ( ссылка )
  30. ^ Перера, Р. и Перера, У. 2012. На пути к тематической ролевой модели идентификации цели для ответа на вопрос. Архивировано 2016-03-04 в Wayback Machine
  31. ^ Дас, Абишек и др. «Воплощенный ответ на вопрос». Труды конференции IEEE по компьютерному зрению и распознаванию образов. 2018.
  32. ^ Маркофф, Джон (16.02.2011). «В «Jeopardy!» победа Уотсона — это нечто совсем незначительное». The New York Times .
  33. ^ "DrQA".
  34. ^ Танстолл, Льюис (5 июля 2022 г.). Обработка естественного языка с помощью преобразователей: создание языковых приложений с обнимающим лицом (2-е изд.). O'Reilly UK Ltd. стр. Глава 7. ISBN 978-1098136796.
  35. ^ "Документация Haystack". deepset . Получено 4 ноября 2022 г. .

Дальнейшее чтение

  • Драгомир Р. Радев, Джон Прагер и Валери Самн. Ранжирование предполагаемых ответов на вопросы на естественном языке с использованием предиктивной аннотации Архивировано 2011-08-26 в Wayback Machine . В трудах 6-й конференции по прикладной обработке естественного языка, Сиэтл, Вашингтон, май 2000 г.
  • Джон Прагер, Эрик Браун, Энни Коден и Драгомир Радев. Вопрос-ответ с помощью предиктивной аннотации Архивировано 2011-08-23 в Wayback Machine . В трудах 23-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска, Афины, Греция, июль 2000 г.
  • Хатчинс, В. Джон ; Гарольд Л. Сомерс (1992). Введение в машинный перевод . Лондон: Academic Press. ISBN 978-0-12-362830-5.
  • L. Fortnow, Steve Homer (2002/2003). Краткая история вычислительной сложности. В D. van Dalen, J. Dawson, и A. Kanamori, редакторы, История математической логики . Северная Голландия, Амстердам.
  • Танстолл, Льюис (5 июля 2022 г.). Обработка естественного языка с помощью преобразователей: создание языковых приложений с обнимающим лицом (2-е изд.). O'Reilly UK Ltd. стр. Глава 7. ISBN 978-1098136796.
  • Оценка вопросов и ответов в TREC
  • Оценка ответов на вопросы в CLEF
Взято с "https://en.wikipedia.org/w/index.php?title=Question_answering&oldid=1244049248"