Преамбула (компания)

Преамбула, C-corp
Тип компании	Частная компания
Промышленность	Искусственный интеллект
Основан	2021 ; 4 года назад ( 2021 )
Основатели	Джонатан Чефалу; Джереми Макхью;
Штаб-квартира	Питтсбург , Пенсильвания, США
Веб-сайт	preamble.com

Компания по исследованию искусственного интеллекта

Preamble — американский стартап по безопасности ИИ , основанный в 2021 году. Он предоставляет инструменты и услуги, помогающие компаниям безопасно развертывать и управлять большими языковыми моделями (LLM). Preamble известен своим вкладом в выявление и смягчение атак с мгновенным внедрением в LLM.

История

Preamble особенно примечательна своим ранним обнаружением уязвимостей в широко используемых моделях ИИ, таких как GPT-3 , с основным обнаружением атак с мгновенным внедрением . ^[1]^[2]^[3] Эти результаты были впервые сообщены в частном порядке OpenAI в 2022 году и с тех пор стали предметом многочисленных исследований в этой области.

Preamble заключила партнерство с Nvidia для повышения безопасности ИИ и снижения рисков для предприятий. ^[4] Они являются частью программы безопасности ВВС как заметный центр ИИ в Питтсбурге . ^[5] С 2024 года Preamble сотрудничает с IBM , чтобы объединить свои ограждения с IBM Watsonx . ^[6]

Исследовать

Исследования Preamble вращаются вокруг безопасности ИИ, этики ИИ , конфиденциальности и правил политики. В мае 2022 года исследователи Preamble обнаружили уязвимости в GPT-3 , которые позволяли злоумышленникам манипулировать выходными данными модели с помощью быстрых инъекций. ^[7]^[3] В итоговой статье исследовалась уязвимость больших предварительно обученных языковых моделей , таких как GPT-3 и BERT , к состязательным атакам. Эти атаки предназначены для манипулирования выходными данными моделей путем внесения тонких возмущений во входной текст, что приводит к неправильным или вредоносным выходным данным, таким как генерация языка вражды или утечка конфиденциальной информации . ^[8]

Бюро по патентам и товарным знакам США выдало патент на Preamble для смягчения немедленного введения в моделях ИИ. ^[9]

Ссылки

^ Косински, Мэтью; Форрест, Эмбер (21 марта 2024 г.). «Что такое атака с мгновенным внедрением?». IBM.com .
^ Росси, Сиппо; Мишель, Алисия Марианна; Муккамала, Рагхава Рао; Тэтчер, Джейсон Беннетт (31 января 2024 г.). «Ранняя классификация атак с быстрым внедрением на большие языковые модели». arXiv : 2402.00898 [cs.CR].
^ ab Rao, Abhinav Sukumar; Naik, Atharva Roshan; Vashistha, Sachin; Aditya, Somak; Choudhury, Monojit (2024). «Tricking LLMs into Disobedience: Formalizing, Analyzing, and Detecting Jailbreaks». В Calzolari, Nicoletta; Kan, Min-Yen; Hoste, Veronique; Lenci, Alessandro; Sakti, Sakriani; Xue, Nianwen (ред.). Труды Совместной международной конференции 2024 года по компьютерной лингвистике, языковым ресурсам и оценке (LREC-COLING 2024) (PDF) . Турин, Италия: ELRA и ICCL. стр. 16802–16830 .
^ Доути, Нейт (8 августа 2023 г.). «Nvidia выбирает стартап по безопасности ИИ Preamble для своей программы развития бизнеса». Pittsburgh Business Times . Получено 15 августа 2024 г.
^ Дабковски, Джейк (17 мая 2024 г.). «Компании из Питтсбурга стремятся сделать ИИ для бизнеса более безопасным». Pittsburgh Business Times . Получено 15 августа 2024 г.
^ «Технологические партнеры Watsonx». IBM.com . 2024.
^ Росси, Сиппо; Мишель, Алисия Марианна; Муккамала, Рагхава Рао; Тэтчер, Джейсон Беннетт (31 января 2024 г.). «Ранняя классификация атак с быстрым внедрением на большие языковые модели». arXiv : 2402.00898 [cs.CR].
^ Бранч, Хезекия Дж.; Чефалу, Джонатан; Макхью, Джереми; Хейхман, Рон; Худжер, Лейла; дель Кастильо Иглесиас, Дэниел. «Оценка восприимчивости предварительно обученных языковых моделей с помощью созданных вручную состязательных примеров». arXiv : 2209.02128 .
^ Дабковски, Джейк (20 октября 2024 г.). «Преамбула обеспечивает патент на быструю инъекцию ИИ». Pittsburgh Business Times .

Внешние ссылки

Официальный сайт

[1] Косински, Мэтью; Форрест, Эмбер (21 марта 2024 г.). «Что такое атака с мгновенным внедрением?». IBM.com .

[2] Росси, Сиппо; Мишель, Алисия Марианна; Муккамала, Рагхава Рао; Тэтчер, Джейсон Беннетт (31 января 2024 г.). «Ранняя классификация атак с быстрым внедрением на большие языковые модели». arXiv : 2402.00898 [cs.CR].

[TrickingLLMs-3] Rao, Abhinav Sukumar; Naik, Atharva Roshan; Vashistha, Sachin; Aditya, Somak; Choudhury, Monojit (2024). «Tricking LLMs into Disobedience: Formalizing, Analyzing, and Detecting Jailbreaks». В Calzolari, Nicoletta; Kan, Min-Yen; Hoste, Veronique; Lenci, Alessandro; Sakti, Sakriani; Xue, Nianwen (ред.). Труды Совместной международной конференции 2024 года по компьютерной лингвистике, языковым ресурсам и оценке (LREC-COLING 2024) (PDF) . Турин, Италия: ELRA и ICCL. стр. 16802–16830 .

[4] Доути, Нейт (8 августа 2023 г.). «Nvidia выбирает стартап по безопасности ИИ Preamble для своей программы развития бизнеса». Pittsburgh Business Times . Получено 15 августа 2024 г.

[5] Дабковски, Джейк (17 мая 2024 г.). «Компании из Питтсбурга стремятся сделать ИИ для бизнеса более безопасным». Pittsburgh Business Times . Получено 15 августа 2024 г.

[6] «Технологические партнеры Watsonx». IBM.com . 2024.

[7] Росси, Сиппо; Мишель, Алисия Марианна; Муккамала, Рагхава Рао; Тэтчер, Джейсон Беннетт (31 января 2024 г.). «Ранняя классификация атак с быстрым внедрением на большие языковые модели». arXiv : 2402.00898 [cs.CR].

[8] Бранч, Хезекия Дж.; Чефалу, Джонатан; Макхью, Джереми; Хейхман, Рон; Худжер, Лейла; дель Кастильо Иглесиас, Дэниел. «Оценка восприимчивости предварительно обученных языковых моделей с помощью созданных вручную состязательных примеров». arXiv : 2209.02128 .

[9] Дабковски, Джейк (20 октября 2024 г.). «Преамбула обеспечивает патент на быструю инъекцию ИИ». Pittsburgh Business Times .