спаСи
 | |
| Оригинальный автор(ы) | Мэтью Хоннибал |
|---|---|
| Разработчик(и) | Взрыв ИИ, разный |
| Первоначальный выпуск | Февраль 2015 г. [1] ( 2015-02 ) |
| Стабильный релиз | 3.8.3 [2] / 11 декабря 2024 г. ( 11 декабря 2024 ) |
| Репозиторий |
|
| Написано в | Питон , Cython |
| Операционная система | Linux , Windows , macOS , OS X |
| Платформа | Кроссплатформенный |
| Тип | Обработка естественного языка |
| Лицензия | Лицензия Массачусетского технологического института |
| Веб-сайт | спейси.ио |
spaCy ( / s p eɪ ˈ s iː / spay- SEE ) — библиотека программного обеспечения с открытым исходным кодом для расширенной обработки естественного языка , написанная на языках программирования Python и Cython . [3] [4] Библиотека публикуется по лицензии MIT , а ее основными разработчиками являются Мэтью Хоннибал и Инес Монтани, основатели компании-разработчика программного обеспечения Explosion.
В отличие от NLTK , который широко используется для обучения и исследований, spaCy фокусируется на предоставлении программного обеспечения для использования в производстве. [5] [6] spaCy также поддерживает рабочие процессы глубокого обучения , которые позволяют подключать статистические модели, обученные популярными библиотеками машинного обучения, такими как TensorFlow , PyTorch или MXNet, через собственную библиотеку машинного обучения Thinc. [7] [8] Используя Thinc в качестве своего бэкэнда, spaCy предлагает сверточные модели нейронных сетей для маркировки частей речи , анализа зависимостей , категоризации текста и распознавания именованных сущностей (NER) . Готовые статистические модели нейронных сетей для выполнения этих задач доступны для 23 языков, включая английский, португальский, испанский, русский и китайский, а также есть многоязычная модель NER . Дополнительная поддержка токенизации для более чем 65 языков позволяет пользователям обучать пользовательские модели на собственных наборах данных. [9]
История
- Версия 1.0 была выпущена 19 октября 2016 года и включала предварительную поддержку рабочих процессов глубокого обучения путем поддержки пользовательских конвейеров обработки. [10] Она также включала сопоставление правил, которое поддерживало аннотации сущностей , и официально задокументированный API обучения.
- Версия 2.0 была выпущена 7 ноября 2017 года и представила модели сверточных нейронных сетей для 7 различных языков. [11] Она также поддерживала пользовательские компоненты конвейера обработки и атрибуты расширения, а также имела встроенный обучаемый компонент классификации текста .
- Версия 3.0 была выпущена 1 февраля 2021 года и представила современные конвейеры на основе трансформатора . [12] Она также представила новую систему конфигурации и рабочий процесс обучения, а также подсказки по типам и шаблоны проектов. В этой версии прекращена поддержка Python 2 .
Основные характеристики
- Неразрушающая токенизация
- Поддержка «Альфа-токенизации» для более чем 65 языков [13]
- Встроенная поддержка обучаемых компонентов конвейера, таких как распознавание именованных сущностей , маркировка частей речи , анализ зависимостей , классификация текста , связывание сущностей и многое другое.
- Статистические модели для 19 языков [14]
- Многозадачное обучение с помощью предварительно обученных трансформеров, таких как BERT
- Поддержка пользовательских моделей в PyTorch, TensorFlow и других фреймворках
- Современная скорость и точность [15]
- Система обучения, готовая к производству
- Встроенные визуализаторы для синтаксиса и именованных сущностей
- Простая упаковка моделей, развертывание и управление рабочим процессом
Расширения и визуализаторы
spaCy поставляется с несколькими расширениями и визуализациями, которые доступны в виде бесплатных библиотек с открытым исходным кодом :
- Thinc: библиотека машинного обучения , оптимизированная для использования ЦП и глубокого обучения с вводом текста.
- sense2vec: Библиотека для вычисления сходства слов, основанная на Word2vec . [16]
- displaCy: визуализатор дерева анализа зависимостей с открытым исходным кодом, созданный с использованием JavaScript , CSS и SVG .
- displaCy ENT : визуализатор именованных сущностей с открытым исходным кодом, созданный с использованием JavaScript и CSS .
Ссылки
- ^ "Представляем spaCy". explosion.ai . Получено 2016-12-18 .
- ^ "Release 3.8.3". 11 декабря 2024 г. Получено 30 декабря 2024 г.
- ^ Чой и др. (2015). Это зависит: сравнение анализаторов зависимостей с использованием веб-инструмента оценки.
- ^ «Новый искусственный интеллект Google не может понять эти предложения. А вы можете?». Washington Post . Получено 18 декабря 2016 г.
- ^ "Факты и цифры - spaCy". spacy.io . Получено 2020-04-04 .
- ^ Берд, Стивен; Кляйн, Эван; Лопер, Эдвард; Болдридж, Джейсон (2008). «Многопрофильное обучение с использованием набора инструментов естественного языка» (PDF) . Труды Третьего семинара по проблемам преподавания компьютерной лингвистики, ACL : 62. doi : 10.3115/1627306.1627317 . ISBN 9781932432145. S2CID 16932735.
- ^ "PyTorch, TensorFlow & MXNet". thinc.ai . Получено 2020-04-04 .
- ^ "взрыв/тонкий" . Гитхаб . Проверено 30 декабря 2016 г.
- ^ "Модели и языки | Документация по использованию spaCy". spacy.io . Получено 10.03.2020 .
- ^ "explosion/spaCy". GitHub . Получено 2021-02-08 .
- ^ "explosion/spaCy". GitHub . Получено 2021-02-08 .
- ^ "explosion/spaCy". GitHub . Получено 2021-02-08 .
- ^ "Модели и языки - spaCy". spacy.io . Получено 2021-02-08 .
- ^ "Модели и языки | Документация по использованию spaCy". spacy.io . Получено 2021-02-08 .
- ^ "Тесты | Документация по использованию spaCy". spacy.io . Получено 2021-02-08 .
- ^ Траск и др. (2015). sense2vec — быстрый и точный метод устранения неоднозначности смысла слов в нейронных встраиваниях слов.
Внешние ссылки
- Официальный сайт
- Реализация библиотеки Spacy
