Инструментальное программное обеспечение для разработки и поддержки исполнения приложений научных вычислений в кластерных системах


Цитировать

Полный текст

Аннотация

Мотивация: Для разработки приложений научных вычислений существует множество различных инструментов. Большинство из них ориентированы на сам процесс написания программ, но часто требуются приложения для организации процесса вычислений и поддержки командной разработки. Описана специфика разработки приложений научной направленности, сделан акцент на характерных проблемах разработки такого ПО. Классификация систем управления вычислительными задачами: Приводится классификация систем по способу организации вычислений и уровню абстракции вычислений от физического оборудования. Инструменты разработки Templet: Рассматривается инструментарий для разработки приложений, включающий в себя библиотеки параллельных вычислений, сервис запуска и отслеживания задач, подсистему мониторинга состояния кластера. Тесное взаимодействие инструментов позволяет эффективно организовать работу команды над приложением научной направленности. Решение прикладных задач при помощи инструментов Templet: Инструментарий применяется для решения практических задач в области моделирования поведения многомерных динамических систем. Показан подход, позволяющий разделить работу над приложением на системный и прикладной уровни. Заключение: Сделан вывод о возможностях применения техник проектирования и преимуществах, которые даёт использование инструментария.

Об авторах

Юрий Сергеевич Артамонов

Самарский государственный аэрокосмический университет имени академика С. П. Королёва (национальный исследовательский университет)

Email: artamonov@about.me
аспирант, каф. информационных систем и технологий Россия, 443086, Самара, Московское ш., 34

Сергей Владимирович Востокин

Самарский государственный аэрокосмический университет имени академика С. П. Королёва (национальный исследовательский университет)

Email: easts@mail.ru
(д.т.н., проф.; easts@mail.ru; автор, ведущий переписку), профессор, каф. информационных систем и технологий Россия, 443086, Самара, Московское ш., 34

Список литературы

  1. Keyes D. E., et al. Multiphysics simulations: Challenges and opportunities // International Journal of High Performance Computing Applications, 2013. vol. 27, no. 1. pp. 4-83. doi: 10.1177/1094342012468181; Technical Report no. ANL/MCS-TM-321 Rev. 1.1, 2012; doi: 10.2172/1034263.
  2. Sullivan B. Making Sense of Revision-Control Systems // Commun. ACM, 2009. vol. 52, no. 9. pp. 56-62. doi: 10.1145/1562164.1562183.
  3. Neitsch A., Wong K., Godfrey M. W. Build System Issues in Multilanguage Software / 28th IEEE International Conference on Software Maintenance (ICSM). Riva del Garda, Trento, Italy, 2012. pp. 140-149. doi: 10.1109/ICSM.2012.6405265.
  4. Ettl M., Neidhardt A., Brisken W., Dassing R. Continuous Software Integration and Quality Control during Software Development / Seventh General Meeting (GM2012) of the international VLBI Service for Geodesy and Astrometry (IVS) (Madrid, Spain, March 4-9, 2012); eds. D. Behrend, K. D. Baver. National Aeronautics and Space Administration, 2012. pp. 227-230.
  5. Yan Y., Chapman B. Comparative Study of Distributed Resource Management Systems - SGE, LSF, PBS Pro, and LoadLeveler, 2008. 19 pp., http://www.dcc.fc.up.pt/~ines/aulas/1213/CG/papers/RMSComparison.pdf
  6. Anderson D. P. Boinc: A system for public-resource computing and storage / Fifth IEEE/ACM International Workshop on Grid Computing, 2004. pp. 4-10. doi: 10.1109/grid.2004.14.
  7. SungJin Choi, et al. Characterizing and Classifying Desktop Grid / Seventh IEEE International Symposium on Cluster Computing and the Grid (CCGrid ’07). Rio de Janeiro, Brazil, 2007. pp. 743-748. doi: 10.1109/CCGRID.2007.31.
  8. Korpela E. J. SETI@home, BOINC, and Volunteer Distributed Computing // Annual Review of Earth and Planetary Sciences, 2012. vol. 40, no. 1. pp. 69-87. doi: 10.1146/annurev-earth-040809-152348.
  9. Mergen M. F., Uhlig V., Krieger O., Xenidis J. Virtualization for high-performance computing // SIGOPS Oper. Syst. Rev., 2006. vol. 40, no. 2. pp. 8-11. doi: 10.1145/1131322.1131328.
  10. Xavier M. G., et al. Performance evaluation of container-based virtualization for high performance computing environments / 21st Euromicro International Conference on Parallel, Distributed, and Network-Based Processing, 2013. pp. 233-240. doi: 10.1109/pdp.2013.41.
  11. Foster I. Globus toolkit version 4: Software for service-oriented systems // J. Comput. Sci. Technol., 2006. vol. 21, no. 4. pp. 513-520. doi: 10.1007/s11390-006-0513-y ; Network and Parallel Computing / Lecture Notes in Computer Science, 3779. Berlin, Heidelberg: Springer, 2005. pp. 2-13. doi: 10.1007/11577188_2.
  12. Taylor R. C. An overview of the Hadoop, MapReduce, HBase framework and its current applications in bioinformatics // BMC Bioinformatics, 2010. vol. 11 (Suppl 12). pp. S1. doi: 10.1186/1471-2105-11-s12-s1.
  13. Knyazkov K. V., Kovalchuk S. V., Tchurov T. N., Maryin S. V., Boukhanovsky A. V. CLAVIRE: e-Science infrastructure for data-driven computing // Journal of Computational Science, 2012. vol. 3, no. 6. pp. 504-510. doi: 10.1016/j.jocs.2012.08.006.
  14. Ivanov S. V., Kosukhin S. S., Kaluzhnaya A. V., Boukhanovsky A. V. Simulation-based collaborative decision support for surge floods prevention in St. Petersburg // Journal of Computational Science, 2012. vol. 3, no. 6. pp. 450-455. doi: 10.1016/j.jocs.2012.08.005.
  15. Артамонов Ю. С. Основные подходы прогнозирования доступных вычислительных ресурсов в кластерных системах / Перспективные информационные технологии (ПИТ-2014): Труды Международной научно-технической конференции; ред. С. А. Прохоров. Самара: Изд-во Самарского научного центра РАН, 2014. С. 305-310, http://templet.ssau.ru/wiki/lib/exe/fetch.php?media=pit2014:prediction.pdf.
  16. Agha G. A., Kim W. Actors: A unifying model for parallel and distributed computing // Journal of Systems Architecture, 1999. vol. 45, no. 15. pp. 1263-1277. doi: 10.1016/S1383-7621(98)00067-8.
  17. Haller P., Odersky M. Scala Actors: Unifying thread-based and event-based programming // Theoretical Computer Science, 2009. vol. 410, no. 2-3. pp. 202-220. doi: 10.1016/j.tcs.2008.09.019.
  18. Shams M. I., Vivek S. Integrating task parallelism with actors / Proceedings of the ACM international conference on Object oriented programming systems languages and applications (OOPSLA ’12). New York, NY, USA, 2012. pp. 753-772. doi: 10.1145/2384616.2384671.
  19. Артамонов Ю. С., Востокин С. В., Назаров Ю. П. Templet - Сервис непрерывной интеграции для разработки высокопроизводительных приложений / Высокопроизводительные параллельные вычисления на кластерных системах: Материалы XII Всероссийской конференции. Нижний Новгород: Изд-во НГУ, 2012. С. 82, http://www.hpcc.unn.ru/file.php?id=713.
  20. Востокин С. В. Препроцессор языка Templet: инструмент программирования в терминах модели «процесс-сообщение» // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки, 2014. № 3(36). С. 169-182. doi: 10.14498/vsgtu1334.
  21. Востокин С. В., Дорошин А. В., Артамонов Ю. С. Программный комплекс Templet. Организация прикладных вычислений на базе суперкомпьютера «Сергей Королёв», 2014. 5 с., http://templet.ssau.ru/wiki/_media/pit2014/templetweb.pdf.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

© Самарский государственный технический университет, 2015

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».