Список наборов данных для исследований в области машинного обучения

Эти наборы данных используются в исследованиях машинного обучения (ML) и цитируются в рецензируемых научных журналах . Наборы данных являются неотъемлемой частью области машинного обучения. Основные достижения в этой области могут быть результатом достижений в алгоритмах обучения (таких как глубокое обучение ), компьютерного оборудования и, что менее интуитивно, доступности высококачественных обучающих наборов данных. ^[1] Высококачественные маркированные обучающие наборы данных для контролируемых и полуконтролируемых алгоритмов машинного обучения обычно сложны и дороги в производстве из-за большого количества времени, необходимого для маркировки данных. Хотя их не нужно маркировать, высококачественные наборы данных для неконтролируемого обучения также могут быть сложны и дороги в производстве. ^{[2] [3] [4]}

Многие организации, включая правительства, публикуют и делятся своими наборами данных . Наборы данных классифицируются на основе лицензий как открытые данные и неоткрытые данные .

Наборы данных из различных правительственных органов представлены в Списке сайтов открытых правительственных данных . Наборы данных портируются на порталы открытых данных . Они доступны для поиска, размещения и доступа через интерфейсы, такие как Open API . Наборы данных доступны в виде различных отсортированных типов и подтипов.

Портал данных классифицируется на основе типа лицензии. Порталы данных с открытым исходным кодом известны как порталы открытых данных , которые используются многими государственными организациями и академическими учреждениями .

Портал данных иногда содержит широкий спектр подтипов наборов данных, относящихся ко многим приложениям машинного обучения .

Порталы данных, подходящие для определенного подтипа приложений машинного обучения, перечислены в последующих разделах.

Эти наборы данных в основном состоят из текста для таких задач, как обработка естественного языка , анализ настроений , перевод и кластерный анализ .

Эти наборы данных состоят из звуков и звуковых характеристик, используемых для таких задач, как распознавание и синтез речи .

Наборы данных, содержащие информацию об электрических сигналах, требующие определенной обработки сигнала для дальнейшего анализа.

Наборы данных из физических систем.

Наборы данных из биологических систем.

В этот раздел включены наборы данных, имеющие дело со структурированными данными.

В этот раздел включены наборы данных, которые...

As datasets come in myriad formats and can sometimes be difficult to use, there has been considerable work put into curating and standardizing the format of datasets to make them easier to use for machine learning research.

• OpenML:^[493] Web platform with Python, R, Java, and other APIs for downloading hundreds of machine learning datasets, evaluating algorithms on datasets, and benchmarking algorithm performance against dozens of other algorithms.
• PMLB:^[494] A large, curated repository of benchmark datasets for evaluating supervised machine learning algorithms. Provides classification and regression datasets in a standardized format that are accessible through a Python API.
• Metatext NLP: https://metatext.io/datasets web repository maintained by community, containing nearly 1000 benchmark datasets, and counting. Provides many tasks from classification to QA, and various languages from English, Portuguese to Arabic.
• Appen: Off The Shelf and Open Source Datasets hosted and maintained by the company. These biological, image, physical, question answering, signal, sound, text, and video resources number over 250 and can be applied to over 25 different use cases.^[495][496]

• Comparison of deep learning software
• List of manual image annotation tools
• List of biological databases