Пилотный проект трубопровода

This article possibly contains original research. Please improve it by verifying the claims made and adding inline citations. Statements consisting only of original research should be removed. (February 2013) (Learn how and when to remove this message)

Pipeline Pilot — это настольное программное приложение, разработанное Dassault Systèmes . Изначально ориентированное на процессы извлечения, преобразования и загрузки (ETL) и аналитику данных, программное обеспечение развивалось, предлагая более широкие возможности в различных научных и промышленных приложениях.

Pipeline Pilot использует визуальный и потоковый интерфейс программирования, позволяя пользователям разрабатывать рабочие процессы для обработки данных. Функциональность программного обеспечения охватывает несколько областей, включая хемоинформатику , QSAR , ^{[1] [2]} секвенирование следующего поколения , ^[3] анализ изображений , ^[4] и текстовую аналитику . ^[5]

Pipeline Pilot в основном используется в отраслях, где требуется обширная обработка и анализ данных, включая науки о жизни, материаловедение и инженерию. Программное обеспечение позволяет пользователям создавать рабочие процессы путем перетаскивания функциональных компонентов, которые автоматизируют задачи анализа данных, интегрируются с базами данных и выполняют различные научные вычисления. Эти рабочие процессы называются «протоколами» и могут совместно использоваться и повторно использоваться в группах или организациях.

Продукт поддерживает несколько языков программирования, включая Python, .NET, Matlab, Perl, SQL, Java, VBScript и R, что дает пользователям гибкость в интеграции пользовательского кода в их рабочие процессы. Кроме того, Pipeline Pilot предлагает поддержку PilotScript, собственного языка сценариев на основе PLSQL, который позволяет пользователям выполнять пользовательские манипуляции данными в своих рабочих процессах.

Pipeline Pilot продолжает расширять свои возможности за счет дополнительных модулей и наборов инструментов для решения конкретных научных задач, таких как анализ последовательностей нового поколения, хемоинформатика и прогнозирование свойств полимеров.

Pipeline Pilot изначально был разработан компанией SciTegic , которая была приобретена BIOVIA в 2004 году. В 2014 году BIOVIA стала частью Dassault Systèmes .

Первоначально разработанный для приложений в области химии, возможности Pipeline Pilot с тех пор были расширены для поддержки более широкого спектра задач обработки данных, включая процессы извлечения, преобразования и загрузки (ETL), а также общие аналитические и задачи обработки данных в различных областях. Программное обеспечение используется в таких областях, как науки о жизни, материаловедение и инженерия, предоставляя пользователям инструменты для создания автоматизированных рабочих процессов для анализа данных и научных вычислений.

Pipeline Pilot — это программный инструмент, предназначенный для обработки и анализа данных. Он предоставляет графический пользовательский интерфейс для создания рабочих процессов, которые интегрируют и обрабатывают данные из нескольких источников, включая файлы CSV, текстовые файлы и базы данных. Программное обеспечение обычно используется в задачах извлечения, преобразования и загрузки (ETL).

Интерфейс, известный как Pipeline Pilot Professional Client, позволяет пользователям создавать рабочие процессы, выбирая и упорядочивая отдельные блоки обработки данных, называемые «компонентами». Эти компоненты выполняют различные функции, такие как загрузка, фильтрация, объединение или изменение данных. Дополнительные компоненты могут выполнять более сложные задачи, такие как построение регрессионных моделей, обучение нейронных сетей или создание отчетов в форматах, таких как PDF.

Pipeline Pilot следует архитектуре на основе компонентов, где компоненты служат узлами в рабочем процессе, соединенными «трубами», которые представляют поток данных в направленном графе . Эта структура позволяет обрабатывать данные по мере их перемещения между компонентами.

Пользователи имеют возможность работать с предустановленными компонентами или разрабатывать собственные компоненты в рабочих процессах, называемых «протоколами». Протоколы, состоящие из связанных компонентов, можно сохранять, повторно использовать и совместно использовать, что позволяет оптимизировать обработку данных. Интерфейс визуализирует связи между компонентами, упрощая сложные рабочие процессы данных, представляя их в виде последовательностей операций.

Pipeline Pilot предлагает несколько дополнений, называемых «коллекциями», которые представляют собой группы специализированных функций, нацеленных на определенные области, такие как обработка генетической информации или анализ полимеров. Эти коллекции доступны пользователям за дополнительную плату за лицензию.

Коллекции организованы в две основные группы: научно-специфические и общие. Научно-специфические коллекции сосредоточены на таких областях, как химия, биология и моделирование материалов, в то время как общие коллекции предоставляют инструменты для составления отчетов, анализа данных и поиска документов. Ниже приведен обзор доступных коллекций: ^[6]

Pipeline Pilot обычно используется для обработки больших и сложных наборов данных, часто превышающих 1 ТБ в размере. На раннем этапе разработки Pipeline Pilot представил язык сценариев под названием «PilotScript», который позволяет пользователям писать базовые сценарии, которые могут быть интегрированы в протокол. Со временем была добавлена ​​поддержка дополнительных языков программирования, включая Python, .NET, Matlab, Perl, SQL, Java, VBScript и R. Эти языки можно использовать через API, которые выполняют команды без необходимости использования графического пользовательского интерфейса. ^[7]

PilotScript, язык, смоделированный на основе PLSQL, используется в определенных компонентах, таких как «Пользовательский манипулятор (PilotScript)» или «Пользовательский фильтр (PilotScript)». Ниже показан пример простой команды PilotScript, где свойство с именем «Hello» добавляется к каждой записи, проходящей через компонент со значением «Hello World!»:

 Привет := "Привет, мир!" ;