Comparative analysis of scientific workflow management systems

全文:

Введение. В настоящее время решение крупномасштабных фундаментальных и прикладных задач зачастую осуществляется на основе распределенных научных приложений (РНП), характеризующихся модульной структурой их прикладного программного обеспечения (ПО), представленной в виде вычислительной модели, развитым системным ПО (совокупностью программ, обеспечивающих построение приложения, организацию вычислений с помощью его прикладных модулей, обработку данных и взаимодействие различных категорий пользователей с приложением) и ориентацией на решение определенного класса задач. В современных приложениях схема решения задачи реализуется научным рабочим процессом (НРП, англ., Scientific Workflow) – информационно-вычислительной структурой, отражающей бизнес-логику предметной области относительно данных, ПО (набора прикладных модулей) и вычислительных ресурсов в процессе проведения экспериментов.

Системы создания приложений на основе НРП относятся к классу систем управления рабочими процессами (англ., Workflow Management Systems – WMS). В общем случае WMS предоставляют программную инфраструктуру для настройки, выполнения и мониторинга определенной последовательности задач, организованных в виде рабочего процесса со сложными зависимостями между решаемыми задачами [1].

В процессе разработки НРП возникает необходимость решения следующих важных проблем: согласованного использования разнородных вычислительных ресурсов; учета специфики предметных областей решаемых задач; интеграции системного и прикладного ПО при подготовке и проведении экспериментов; стандартизации спецификаций объектов предметной области и вычислительной модели, форматов представления и протоколов передачи данных, доступа пользователей к подсистемам приложения; управления вычислениями в интегрированной среде посредством взаимодействия исполнительной подсистемы с системами мониторинга, локальными менеджерами ресурсов (ЛМР, англ., Local Resource Manager – LRM) в узлах среды, и метапланировщиками, работающими на уровне среды в целом; обеспечения масштабирования вычислений; поддержки технологии In-Memory Data Grid (IMDG) с целью ускорения обработки данных [2].

Необходимость учета предметной специфики и обеспечения масштабирования вычислений обусловливает переход от использования вычислительной среды общего назначения (Grid-системы, облачной платформы, ресурсов центров коллективного пользования и др.) к предметно-ориентированной вычислительной среде (ПОВС) с рациональным сочетанием возможностей включаемых в ее состав информационно-вычислительных ресурсов, потребностей и накладных затрат, обусловливаемых особенностями предметных областей для конкретных классов решаемых задач. При этом особое внимание научного сообщества уделяется развитию сервис-ориентированного подхода к организации и применению НРП.

Статья посвящена сравнительному анализу функциональных возможностей известных WMS относительно процессов разработки НРП в различных распределенных вычислительных средах.

Среда выполнения приложений. В общем случае рассматривается гетерогенная распределенная вычислительная среда (ГРВС), которая может интегрировать собственные кластерные ресурсы пользователей, а также кластерные ресурсы ЦКП, Grid и облачные платформы. Кластерные ресурсы для выполнения приложений могут объединяться и управляться на основе виртуализации или контейнеризации.

РНП [3] базируется на традиционном понятии пакета прикладных программ [4] и представляет собой комплекс взаимосвязанных прикладных программ и средств системного обеспечения (программных и языковых), предназначенный для автоматизации решения определенного класса задач в конкретной предметной области в ГРВС. В то же время РНП характеризуется следующими особенностями:

• ориентация на решение класса задач, требующих проведения расчетов с задействованием больших объемов вычислительных ресурсов (процессорного времени, оперативной памяти, дискового пространства и других характеристик);
• общая задача подразумевает параллельное решение множества ее слабо связанных или полностью независимых подзадач;
• алгоритмические знания (прикладное ПО) представляются в виде набора программных модулей, реализующих схемы решения задач;
• в процессе вычислений варианты данных параллельно обсчитываются экземплярами модулей;
• не предполагается интенсивного взаимодействия между параллельными вычислительными процессами;
• НРП представляет собой схему решения задачи;
• вычисления выполняются, как правило, по одной слабо меняющейся схеме, требующей динамического управления процессом вычислений;
• управление вычислениями осуществляет диспетчер НРП;
• необходимо использование связующего ПО.

Общая схема функционирования ГРВС для выполнения РППП приведена на рис. 1.

 

Рис. 1. Общая схема функционирования ГРВС

 

Пользователи приложений формируют задания в виде текстовых спецификаций вычислительных процессов, определяемых НРП. Такие спецификации включают сведения о требуемых ресурсах, исполняемом прикладном ПО, входных и выходных данных, а также иную необходимую дополнительную информацию. Например, дополнительная информация может определять критерии качества решения своей задачи: время, стоимость, надежность, безопасность и другие характеристики.

Основными компонентами ГРВС являются высокопроизводительные кластеры, кластеры виртуализированных и контейнеризированных ресурсов, которые используются в рамках таких инфраструктур, как ЦКП, кластерные Grid и облачные платформы. ГРВС может интегрировать компоненты перечисленных выше инфраструктур.

В общем случае управление вычислениями в ГРВС включает следующие уровни:

• уровень приложений, где выполняется планирование вычислений, построение НРП и выбор вычислительных ресурсов для его выполнения;
• уровень среды, на котором потоки заданий попадают в очередь метапланировщиков ГРВС, поддерживающих взаимодействие с выбранными ресурсами, и затем, в соответствии с дисциплинами диспетчеризации, им назначаются конкретные ресурсы;
• уровень ресурсов, где задания распределяются ЛМР между узлами с целью их дальнейшего выполнения.

Системы управления научными рабочими процессами. НРП представляется специализированной формой графа, которая описывает вычислительные процессы, их зависимости в рамках сбора, обработки и анализа данных. Он представляет собой бизнес-логику предметной области в применении предметно-ориентированных данных и ПО (набора прикладных модулей) для решения задач в этой предметной области.

Различают два типа НРП: абстрактный и конкретный. Абстрактный НРП описывается в виде абстрактной схемы решения задачи без обращения к конкретным ресурсам. Это позволяет определять НРП без детальной конкретизации его реализации на низком программно-аппаратном уровне. Операции абстрактного НРП могут реализовываться различным прикладным ПО и отображаться на любые подходящие ресурсы с помощью механизмов планирования вычислений и управления ресурсами. В случае конкретного НРП его операции связаны с предопределенным ПО, выполняемом на заданных ресурсах.

Построение НРП осуществляется по процедурной или непроцедурной постановкам задач. В первом случае задается последовательность операций НРП и затем осуществляется информационное планирование его входных и выходных параметров. Во втором случае, задача формулируется следующим образом: «вычислить значения целевых (выходных) параметров по заданным значениям исходных (входных) параметров». Далее на вычислительной модели (описании предметной области – ее параметров, вычислительных операций и операций обработки данных, а также отношений между параметрами и операциями) осуществляется автоматическое планирование последовательности операций НРП, необходимых для решения поставленной задачи. Как правило, планирование вычислений осуществляется одним из системных компонентов WMS. Непроцедурная постановка задачи позволяет разработчикам приложения и его пользователям работать на более высоком уровне абстракции. Они скрывают детали реализации и позволяют сосредоточиться на описании задачи и отношений между объектами.

WMS – это программное средство, частично автоматизирующее определение и выполнение НРП, а также управление им в соответствии с его информационно-вычислительной структурой. Для задания НРП часто используется ориентированный ациклический граф (DAG). В общем случае вершины и ребра DAG соответственно представляют прикладные программные модули и потоки данных между ними.

Следует отметить следующие WMS, которые хорошо известны, поддерживаются, развиваются и широко применяются на практике: Uniform Interface to Computing Resources (UNICORE) [5], Directed Acyclic Graph Manager (DAGMan) [6], Pegasus [7], Apache Airflow (AA) [8], HyperFlow [9], Workflow-as-a-Service Cloud Platform (WaaS CP) [10], Galaxy [11] и Orlando Tools (OT) [12]. UNICORE, DAGMan, Pegasus, AA и OT находятся на лидирующих позициях в области традиционного управления НРП. Они основаны на модульном подходе к созданию таких процессов. В рамках НРП общая задача разбивается на набор задач, обычно представленных в виде DAG. Как правило, UNICORE, DAGMan, Pegasus, AA, OT и другие подобные системы предоставляют свою собственную нестандартизированную модель НРП. Это затрудняет совместное использование спецификаций рабочих процессов и ограничивает совместимость приложений, разработанных с использованием различных WMS.

Комплексная поддержка веб-сервисов является актуальным направлением современных WMS. Использование веб-сервисов значительно расширяет вычислительные возможности приложений, основанных на НРП. WMS, ориентированные на работу с веб-сервисами, позволяют гибко и динамично интегрировать различные НРП от разных разработчиков за счет управления данными и вычислениями при выполнении этих процессов. В этом направлении успешно развиваются HyperFlow, WaaS CP и Galaxy.

В научных приложениях для решения различных классов задач в области мониторинга окружающей среды, особое значение имеет интеграция с геоинформационными системами посредством специализированных сервисов веб-обработки (WPS). Примерами проектов, направленных на создание и применение таких программных комплексов, являются GeoJModelBuilder (GJMB) [13] и Business Process Execution Language (BPEL) Designer Project (DP) [14]. GJMB и BPEL DP относятся к классу WMS. GJMB – это фреймворк для управления и координации геопространственных датчиков, данных и прикладного ПО в среде, основанной на НРП. BPEL DP реализует интеграцию веб-сервисов и WPS с помощью рабочих процессов на основе BPEL. BPEL определяет модель для описания поведения сервис-ориентированных НРП в терминах взаимодействий (совокупности сообщений) между процессами и их партнерами (внешними сервисами). Другими преимуществами BPEL являются следующие:

• НРП могут не только вызывать веб-сервисы, но и сами быть представленными в виде сервисов;
• широкий спектр элементов управления и работы с данными, включающий элементы определения сложных структур данных и параллельных процессов их обработки, циклы, ветвления, подпроцессы, элементы реализации асинхронного взаимодействия веб-сервисов и др.;
• использование языка Web Service Description Language (WSDL) для описания интерфейсов веб-сервисов обеспечивает гибкую интеграцию с другими НРП и веб-приложениями;
• детальное описание НРП реализует оркестровку внутренних и внешних сущностей процесса, а спецификация процесса обмена сообщениями отражает хореографию внешних сущностей (вызываемых веб-сервисов).

Ключевые возможности WMS, которые наиболее важны с точки зрения разработки РНП на основе НРП, приведены в таблице 1.

 

Таблица 1. Возможности WMS для поддержки НРП

WMS

Характеристики процесса построения НРП

Особенности организации вычислений

UNICORE

+ / - / - / - /- / -

+ /+

+

- / +

+ / -

+

-

+ / + / -

- / + / -

-

-

-

-

DAGMan

- / + / - / - /- / -

- /-

+

+ / -

+ / -

-

-

+ / + / -

+ / + / +

+

-

-

-

Pegasus

+ / - / - / - /- / -

- /-

+

+ / -

+ / -

-

-

+ / + / -

+ / + / +

+

-

-

-

AA

- / - / + / - /- / -

- /-

-

- / +

+ / -

-

-

+ / + / +

- / - / +

+

-

-

-

HyperFlow

- / - / - / - /+ / +

- /-

+

+ / +

+ / -

+

-

+ / - / -

- / - / +

-

-

-

-

WaaS CP

+ / - / - / - /- / -

- /-

-

+ / -

+ / -

+

-

+ / - / -

- / + / +

+

-

-

-

Galaxy

+ / - / - / - /- / -

- / +

+

+ / +

+ / -

+

-

+ / - / -

- / - / +

-

-

-

-

OT

+ / - / - / - /- / -

+ / +

+

+ / +

+ / +

-

-

+ / + / +

+ / + / +

-

+

+

-

GJMB

+ / - / - / - /- / -

- / -

+

+ / +

+ / -

+

+

+ / - / -

+ / + / +

-

-

-

-

BPEL DP

- / - / - / + /- / -

+ /+

-

+ / +

+ / -

+

+

+ / - / -

+ / + / +

-

-

-

-

 

Рассматриваются следующие возможности WMS:

• – поддержка языков описания НРП: XML-like / Script-like / Python / BPEL / JavaScript / JSON;
• – поддержка управляющих языковых конструкций: ветвления / циклы;
• – поддержка возможности включения в НРП системных операций;
• – поддержка типов НРП: абстрактный / конкретный;
• – поддержка постановок задач: процедурная / непроцедурная;
• – поддержка вызова веб-сервисов в НРП;
• – поддержка стандарта WPS-сервисов;
• – уровень поддержки распараллеливания вычислений: задача / данные / конвейер;
• – поддержка следующих типов вычислительной среды: кластер / Grid / облачная среда;
• – необходимость подключения дополнительного связующего ПО;
• – поддержка технологии IMDG;
• – автоматизация непрерывной интеграции ПО;
• – автоматизация контейнеризации ПО.

WMS используют XML-подобные или скриптовые языки для описания предметных областей приложений и самих НРП. BPEL характеризуется рядом преимуществ для спецификации НРП, перечисленных выше. Однако его языковых средств зачастую бывает недостаточно, чтобы описать сложную вычислительную модель. Поэтому целесообразно применять комбинацию XML-подобного языка и BPEL. Ветвления и циклы в рабочем процессе позволяют при необходимости более гибко организовать вычисления. UNICORE, ОТ и BPEL DP предоставляют такую поддержку в полном объеме для построения НРП, не связанного с DAG. Дополнительным преимуществом UNICORE, DAGMan, Pegasus, HyperFlow, Galaxy, GJMB и OT является возможность включения системных операций в структуру рабочего процесса. К таким операциям относятся пред- и постобработка данных, мониторинг среды, взаимодействие с компонентами локальных менеджеров ресурсов и т.д.

HyperFlow, WaaSCP, Galaxy, OT, GJMB и BPEL DP позволяют строить как абстрактные, так и конкретные НРП. При этом OT обеспечивает оба вида постановок задач, на основе которых выполняется построение НРП: процедурную и непроцедурную.

HyperFlow, WaaSCP, Galaxy, GJMB и BPEL DP ориентированы на работу с веб-сервисами. Кроме того, GJMB и BPEL DP поддерживают стандарт WPS.

Большая часть рассматриваемых WMS являются системами общего назначения и могут успешно применяться в различных предметных областях. Некоторые системы являются более специализированными. Например, Galaxy ориентирована на поддержку проведения геномных исследований, а GJMB и BPEL DP позволяют решать задачи в области геоинформатики.

Уровень задач означает, что задачи, определенные структурой рабочего процесса, выполняются на независимых узлах. На уровне данных набор данных делится на подмножества. Каждое подмножество обрабатывается на отдельном узле всеми или частью прикладных программных модулей, включенных в рабочий процесс. На уровне конвейера последовательное выполнение прикладных модулей для обработки данных выполняется одновременно на разных подмножествах набора данных. AA и OT предоставляют все уровни распараллеливания вычислений. DAGMan, Pegasus, OT, GJMB и BPEL DP допускают использование всех типов вычислительной среды. Однако системе Pegasus требуется интеграция с DAGMan для управления заданиями приложений на уровне среды. OT предоставляет системные операции для поддержки технологии IMDG на основе связующего ПО Apache Ignite. Инструменты автоматизации непрерывной интеграции прикладного и системного ПО предоставляются в OT. В то же время обеспечение автоматизации процессов контейнеризации ПО является не решенной в полной мере проблемой для всех известных WMS. Практически во всех WMS слабо проработаны вопросы моделирования вычислительных процессов. Решение упомянутых вопросов требует включения в WMS дополнительных средств взаимодействия с контрольно-измерительными системами, профилировщиками ПО, инструментами анализа данных и моделирования работы как отдельных информационно-вычислительных компонентов ГРВС, так и всей среды в целом.

К сожалению, из-за разницы в функциональных и системных возможностях WMS затруднительно провести адекватное сравнение трудозатрат их пользователей на разработку приложений, подготовку и проведение вычислительных экспериментов, а также оценить эффективность использования вычислительных ресурсов при решении практических задач. Однако некоторые результаты сравнительного анализа управления выполнением ряда известных рабочих процессов метапланировщиками на уровне среды можно найти в [15].

Направления развития WMS. Вопросы разработки и применения НРП в разных областях исследований требуют постоянного их изучения, сравнения и развития с целью поддержки междисциплинарного сотрудничества. Потребность совместного использования НРП, миграции этих рабочих процессов между различными вычислительными средами, их адаптации к различным категориям пользователей, языкам и программным средствам обоснованно обусловливают необходимость совершенствования WMS. На основе проведенного сравнительного анализа можно определить направления развития функциональных возможностей WMS. В том числе выделить следующие важные аспекты дополнительных разработок для таких систем:

• предоставление дружественного пользовательского интерфейса для взаимодействия с компонентами инструментального комплекса и создаваемых сервис-ориентированных приложений разным категориям пользователей (разработчикам, администраторам и пользователям), поддерживающего как текстовые языки представления структурированных данных, так и языки для ввода информации с помощью веб-форм с последующим автоматическим конвертированием полученных спецификаций на соответствующие текстовые языки;
• корректное описание вычислительной модели предметной области (параметров, операций, логических выражений, продукций и модулей, вычислительных ресурсов, элементов вычислительной истории, характеристик административных политик управления ресурсами и др., а также отношений между перечисленными объектами);
• работа со сложными структурами данных, такими, как составные параметры и параллельные списки данных, а также неструктурированными файловыми данными;
• статическое планирование вычислений по непроцедурной постановке задачи, построение НРП по процедурной постановке задачи с использованием различных операторов ветвления и циклов, а также статико-динамическое планирование расчетных схем и распределение возникающей нагрузки на ресурсы при работе с параллельными списками данных;
• обеспечение средств создания и применения сервис-ориентированных НРП при сохранении поддержки традиционных НРП с исполняемыми модулями;
• возможность включения в состав НРП системных операторов обработки и анализа данных, статико-динамического планирования, конвейеризации вычислений, параллельного выполнения алгоритмов;
• генерация НРП на языке программирования общего назначения с целью их последующего автономного запуска;
• автоматизация непрерывной интеграции и контейнеризации ПО, включая моделирование вычислительных процессов и тестирование ПО на ресурсах ГРВС.

Заключение. Разработка научных приложений, основанных на рабочих процессах, является перспективной парадигмой для решения широкого спектра фундаментальных и прикладных задач в различных областях знаний. Использование высокопроизводительных вычислительных систем обеспечивает высокую эффективность процесса решения. В этой связи научное сообщество прилагает значительные усилия в развитии данной парадигмы. В частности, пристальное внимание уделяется системам управления НРП.

В рамках проведенного исследования рассмотрены основные понятия, связанные с НРП и системами управления ими. Проведен сравнительный анализ известных систем управления НРП.  Оценены тенденции современного развития РНП на основе сервис-ориентированных НРП. Обсуждены вопросы и проблемы исследований в этой области, не решенные в полной мере, в том числе определены актуальные направления развития систем управления НРП.

Дальнейшие исследования связаны с разработкой нового инструментального комплекса, развивающего функциональные возможности OT применительно к сервис-ориентированным приложениям, включая представление НРП на языке BPEL и поддержку работы с WPS-сервисами, а также автоматизацию процессов генерации программ на языках программирования общего назначения на основе НРП и контейнеризации прикладного и системного ПО в ГРВС. Реализация перечисленных выше средств позволит успешно использовать инструментальный комплекс для построения цифровых двойников компонентов информационно-вычислительных систем и их программно-аппаратных инфраструктур на основе системных НРП, дополнительно направленных на анализ и моделирование характеристик, свойств, состояний и процессов вычислительной среды.

Благодарности. Исследование проведено в рамках проекта № FWEW-2021-0005 «Технологии разработки и анализа предметно-ориентированных интеллектуальных систем группового управления в недетерминированных распределенных средах» (рег. № 121032400051-9) при поддержке Министерства науки и высшего образования РФ.

作者简介

Mikhail Voskoboinikov

Matrosov Institute for System Dynamics and Control Theory of SB RAS

编辑信件的主要联系方式.
Email: mikev1988@mail.ru
ORCID iD: 0000-0003-3034-4907
SPIN 代码: 3417-0258

Junior Researcher 

俄罗斯联邦, Irkutsk

Alexander Feoktistov

Matrosov Institute for System Dynamics and Control Theory of SB RAS

Email: agf65@yandex.ru
ORCID iD: 0000-0002-9127-6162
SPIN 代码: 5743-1777

doctor of technical sciences, associate professor, chief researcher 

俄罗斯联邦, Irkutsk

参考

补充文件