Tooling software for development and execution support of scientific computing applications in cluster systems


Cite item

Full Text

Abstract

Rationale: Many different tools exist for development of scientific computing applications. Most of them are focused on the process of writing software code, but often there is a need for applications that organize the computation process and support team development. The article describes application development specifics in the field of science-oriented computing and highlights individual issues in the development of such software. Classification of task management systems: The systems are classified by means of computing process organization and the layer of hardware abstraction. Templet development tools: The tools for application development considered in the article include parallel programming libraries, a task running and monitoring service and the monitoring subsystem for SSAU cluster. Close interaction between these tools enables effective teamwork for scientific application development. Applied problems solved by Templet tools: Tooling is used to solve practical issues in the field of modeling multi-dimensional dynamic systems behavior. The article demonstrates an approach that splits application development into system-level and applied development layers. Conclusion: The article concludes about the use of design techniques and the benefits provided by software development tools.

About the authors

Yuriy S Artamonov

Samara State Aerospace University

Email: artamonov@about.me
Postgraduate Student, Dept. of Information Systems & Technology 34, Moskovskoye sh., Samara, 443086, Russian Federation

Sergey V Vostokin

Samara State Aerospace University

Email: easts@mail.ru
(Dr. Techn. Sci.; easts@mail.ru; Corresponding Author), Professor, Dept. of Information Systems & Technology 34, Moskovskoye sh., Samara, 443086, Russian Federation

References

  1. Keyes D. E., et al. Multiphysics simulations: Challenges and opportunities // International Journal of High Performance Computing Applications, 2013. vol. 27, no. 1. pp. 4-83. doi: 10.1177/1094342012468181; Technical Report no. ANL/MCS-TM-321 Rev. 1.1, 2012; doi: 10.2172/1034263.
  2. Sullivan B. Making Sense of Revision-Control Systems // Commun. ACM, 2009. vol. 52, no. 9. pp. 56-62. doi: 10.1145/1562164.1562183.
  3. Neitsch A., Wong K., Godfrey M. W. Build System Issues in Multilanguage Software / 28th IEEE International Conference on Software Maintenance (ICSM). Riva del Garda, Trento, Italy, 2012. pp. 140-149. doi: 10.1109/ICSM.2012.6405265.
  4. Ettl M., Neidhardt A., Brisken W., Dassing R. Continuous Software Integration and Quality Control during Software Development / Seventh General Meeting (GM2012) of the international VLBI Service for Geodesy and Astrometry (IVS) (Madrid, Spain, March 4-9, 2012); eds. D. Behrend, K. D. Baver. National Aeronautics and Space Administration, 2012. pp. 227-230.
  5. Yan Y., Chapman B. Comparative Study of Distributed Resource Management Systems - SGE, LSF, PBS Pro, and LoadLeveler, 2008. 19 pp., http://www.dcc.fc.up.pt/~ines/aulas/1213/CG/papers/RMSComparison.pdf
  6. Anderson D. P. Boinc: A system for public-resource computing and storage / Fifth IEEE/ACM International Workshop on Grid Computing, 2004. pp. 4-10. doi: 10.1109/grid.2004.14.
  7. SungJin Choi, et al. Characterizing and Classifying Desktop Grid / Seventh IEEE International Symposium on Cluster Computing and the Grid (CCGrid ’07). Rio de Janeiro, Brazil, 2007. pp. 743-748. doi: 10.1109/CCGRID.2007.31.
  8. Korpela E. J. SETI@home, BOINC, and Volunteer Distributed Computing // Annual Review of Earth and Planetary Sciences, 2012. vol. 40, no. 1. pp. 69-87. doi: 10.1146/annurev-earth-040809-152348.
  9. Mergen M. F., Uhlig V., Krieger O., Xenidis J. Virtualization for high-performance computing // SIGOPS Oper. Syst. Rev., 2006. vol. 40, no. 2. pp. 8-11. doi: 10.1145/1131322.1131328.
  10. Xavier M. G., et al. Performance evaluation of container-based virtualization for high performance computing environments / 21st Euromicro International Conference on Parallel, Distributed, and Network-Based Processing, 2013. pp. 233-240. doi: 10.1109/pdp.2013.41.
  11. Foster I. Globus toolkit version 4: Software for service-oriented systems // J. Comput. Sci. Technol., 2006. vol. 21, no. 4. pp. 513-520. doi: 10.1007/s11390-006-0513-y ; Network and Parallel Computing / Lecture Notes in Computer Science, 3779. Berlin, Heidelberg: Springer, 2005. pp. 2-13. doi: 10.1007/11577188_2.
  12. Taylor R. C. An overview of the Hadoop, MapReduce, HBase framework and its current applications in bioinformatics // BMC Bioinformatics, 2010. vol. 11 (Suppl 12). pp. S1. doi: 10.1186/1471-2105-11-s12-s1.
  13. Knyazkov K. V., Kovalchuk S. V., Tchurov T. N., Maryin S. V., Boukhanovsky A. V. CLAVIRE: e-Science infrastructure for data-driven computing // Journal of Computational Science, 2012. vol. 3, no. 6. pp. 504-510. doi: 10.1016/j.jocs.2012.08.006.
  14. Ivanov S. V., Kosukhin S. S., Kaluzhnaya A. V., Boukhanovsky A. V. Simulation-based collaborative decision support for surge floods prevention in St. Petersburg // Journal of Computational Science, 2012. vol. 3, no. 6. pp. 450-455. doi: 10.1016/j.jocs.2012.08.005.
  15. Артамонов Ю. С. Основные подходы прогнозирования доступных вычислительных ресурсов в кластерных системах / Перспективные информационные технологии (ПИТ-2014): Труды Международной научно-технической конференции; ред. С. А. Прохоров. Самара: Изд-во Самарского научного центра РАН, 2014. С. 305-310, http://templet.ssau.ru/wiki/lib/exe/fetch.php?media=pit2014:prediction.pdf.
  16. Agha G. A., Kim W. Actors: A unifying model for parallel and distributed computing // Journal of Systems Architecture, 1999. vol. 45, no. 15. pp. 1263-1277. doi: 10.1016/S1383-7621(98)00067-8.
  17. Haller P., Odersky M. Scala Actors: Unifying thread-based and event-based programming // Theoretical Computer Science, 2009. vol. 410, no. 2-3. pp. 202-220. doi: 10.1016/j.tcs.2008.09.019.
  18. Shams M. I., Vivek S. Integrating task parallelism with actors / Proceedings of the ACM international conference on Object oriented programming systems languages and applications (OOPSLA ’12). New York, NY, USA, 2012. pp. 753-772. doi: 10.1145/2384616.2384671.
  19. Артамонов Ю. С., Востокин С. В., Назаров Ю. П. Templet - Сервис непрерывной интеграции для разработки высокопроизводительных приложений / Высокопроизводительные параллельные вычисления на кластерных системах: Материалы XII Всероссийской конференции. Нижний Новгород: Изд-во НГУ, 2012. С. 82, http://www.hpcc.unn.ru/file.php?id=713.
  20. Востокин С. В. Препроцессор языка Templet: инструмент программирования в терминах модели «процесс-сообщение» // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки, 2014. № 3(36). С. 169-182. doi: 10.14498/vsgtu1334.
  21. Востокин С. В., Дорошин А. В., Артамонов Ю. С. Программный комплекс Templet. Организация прикладных вычислений на базе суперкомпьютера «Сергей Королёв», 2014. 5 с., http://templet.ssau.ru/wiki/_media/pit2014/templetweb.pdf.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Copyright (c) 2015 Samara State Technical University

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».