Воробей (чат-бот)

Чат-бот от DeepMind

Sparrow — это чат-бот, разработанный исследовательской лабораторией искусственного интеллекта DeepMind , дочерней компанией Alphabet Inc. Он разработан для того, чтобы правильно отвечать на вопросы пользователей, одновременно снижая риск небезопасных и неподходящих ответов. ^[1] Одной из мотиваций Sparrow является решение проблемы языковых моделей, выдающих неверные, предвзятые или потенциально опасные результаты. ^[1]^[2] Sparrow обучается с использованием человеческих суждений, чтобы быть более «полезным, правильным и безвредным» по сравнению с базовыми предварительно обученными языковыми моделями. ^[1] Разработка Sparrow включала в себя просьбу к участникам платного исследования взаимодействовать со Sparrow и сбор их предпочтений для обучения модели того, насколько полезен ответ. ^[2]

Чтобы повысить точность и избежать проблемы галлюцинации неверных ответов, Sparrow имеет возможность осуществлять поиск в Интернете с помощью Google Search ^[1]^[2]^[3], чтобы находить и ссылаться на доказательства любых фактических утверждений, которые он делает.

Чтобы сделать модель более безопасной, ее поведение ограничено набором правил, например, «не делай угрожающих заявлений» и «не делай оскорбительных или полных ненависти комментариев», а также правилами о возможно вредных советах и не выдавании себя за человека. ^[1] Во время исследования по разработке участников просили общаться с системой и попытаться обмануть ее, чтобы она нарушила эти правила. ^[2] «Модель правил» была обучена на суждениях этих участников, которая использовалась для дальнейшего обучения.

Sparrow был представлен в статье в сентябре 2022 года под названием «Улучшение выравнивания агентов диалога с помощью целевых человеческих суждений»; ^[4] однако бот не был выпущен публично. ^[1]^[3] Генеральный директор DeepMind Демис Хассабис сказал, что DeepMind рассматривает возможность выпуска Sparrow для «закрытой бета-версии» в 2023 году. ^[4]^[5]^[6]

Обучение

Sparrow — это глубокая нейронная сеть, основанная на архитектуре модели машинного обучения transformer . Она тонко настроена на основе предварительно обученной большой языковой модели (LLM) DeepMind Chinchilla AI , ^[1] которая имеет 70 миллиардов параметров. ^[7]

Sparrow обучается с использованием обучения с подкреплением на основе обратной связи с человеком (RLHF), ^[1]^[3], хотя также используются некоторые контролируемые методы тонкой настройки. Обучение RLHF использует две модели вознаграждения для захвата человеческих суждений: «модель предпочтений», которая предсказывает, что предпочтет участник исследования-человек, и «модель правил», которая предсказывает, нарушила ли модель одно из правил. ^[3]

Ограничения

Обучающий корпус данных Sparrow в основном на английском языке, поэтому на других языках он работает хуже. ^{[ необходима цитата ]}

При состязательном зондировании со стороны участников исследования правила нарушаются в 8% случаев; ^[2] однако это все равно в три раза ниже, чем у базовой модели с подсказками (Шиншилла).

Смотрите также

Ссылки

^ abcdefgh Куах, Катянна (23 января 2023 г.). «Секрет Sparrow, новейшего чат-бота DeepMind Q&A: обратная связь от человека». The Register . Получено 6 февраля 2023 г. .
^ abcde Gupta, Khushboo (28 сентября 2022 г.). «Deepmind представляет „Sparrow“ — чат-бота на базе искусственного интеллекта, разработанного для создания более безопасных систем машинного обучения». MarkTechPost . Получено 6 февраля 2023 г.
^ abcd Голдман, Шарон (23 января 2023 г.). «Почему DeepMind не развертывает свой новый чат-бот на основе ИИ — и что это значит для ответственного ИИ». Venture Beat . Получено 6 февраля 2023 г.
^ ab Cuthbertson, Anthony (16 января 2023 г.). «ИИ-чатбот DeepMind может делать то, чего не может ChatGPT, утверждает генеральный директор». The Independent . Получено 6 февраля 2023 г.
^ Перриго, Билли (12 января 2023 г.). «Генеральный директор DeepMind помог сделать ИИ мейнстримом. Теперь он призывает к осторожности». TIME . Получено 6 февраля 2023 г.
^ Уилсон, Марк (16 января 2023 г.). «DeepMind от Google заявляет, что скоро запустит более взрослого конкурента ChatGPT». Tech Radar . Получено 6 февраля 2023 г.
^ Хоффманн, Джордан (12 апреля 2022 г.). «Эмпирический анализ обучения вычислительно-оптимальной большой языковой модели». DeepMind . Получено 6 февраля 2023 г. .

Внешние ссылки

Белая книга
Запись в блоге

[:1-1] Куах, Катянна (23 января 2023 г.). «Секрет Sparrow, новейшего чат-бота DeepMind Q&A: обратная связь от человека». The Register . Получено 6 февраля 2023 г. .

[:2-2] Gupta, Khushboo (28 сентября 2022 г.). «Deepmind представляет „Sparrow“ — чат-бота на базе искусственного интеллекта, разработанного для создания более безопасных систем машинного обучения». MarkTechPost . Получено 6 февраля 2023 г.

[:3-3] Голдман, Шарон (23 января 2023 г.). «Почему DeepMind не развертывает свой новый чат-бот на основе ИИ — и что это значит для ответственного ИИ». Venture Beat . Получено 6 февраля 2023 г.

[:4-4] Cuthbertson, Anthony (16 января 2023 г.). «ИИ-чатбот DeepMind может делать то, чего не может ChatGPT, утверждает генеральный директор». The Independent . Получено 6 февраля 2023 г.

[:5-5] Перриго, Билли (12 января 2023 г.). «Генеральный директор DeepMind помог сделать ИИ мейнстримом. Теперь он призывает к осторожности». TIME . Получено 6 февраля 2023 г.

[:7-6] Уилсон, Марк (16 января 2023 г.). «DeepMind от Google заявляет, что скоро запустит более взрослого конкурента ChatGPT». Tech Radar . Получено 6 февраля 2023 г.

[:6-7] Хоффманн, Джордан (12 апреля 2022 г.). «Эмпирический анализ обучения вычислительно-оптимальной большой языковой модели». DeepMind . Получено 6 февраля 2023 г. .