Multiobject visualization of vast forests in virtual environment systems

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

This paper discusses the task of rendering vast woodlands in virtual environment systems using point clouds and hardware-accelerated ray tracing. A new approach is proposed, which represents the forest area as a multiobject comprising point cloud of a reference tree and a set of distinctive features of its instances. A developed method for deploying such a multiobject into a virtual forest on the ray tracing pipeline is described, which includes constructing bounding boxes of the reference tree, specifying geometric and color transformations for tree instances, and synthesizing images of these instances. Based on the proposed method, a software implementation (C++, GLSL, Vulkan) was created and tested on a number of detailed point clouds of real trees (deciduous and evergreen). The results of the testing confirmed the possibility to synthesize images of unique vast woodlands (of several million trees) in real time both from a bird's-eye view and from a pedestrian's point of view. The proposed solution has a wide range of applications: virtual environment systems, video simulators, scientific visualization, geoinformation systems, educational applications, etc.

About the authors

P. Y. Timokhin

Scientific Research Institute for System Analysis of the National Research Centre “Kurchatov Institute”

Email: p_tim@bk.ru
117218 Moscow, Nakhimovskii pr. 36/1

M. V. Mikhaylyuk

Scientific Research Institute for System Analysis of the National Research Centre “Kurchatov Institute”

Email: mix@niisi.ras.ru
117218 Moscow, Nakhimovskii pr. 36/1

References

  1. Mikhaylyuk M.V., Kononov D.A., Loginov D.M. Modeling Situations in Virtual Environment Systems // Proceedings of the 23rd Conference on Scientific Services & Internet. 2021. V. 3066. P. 173–181. https://doi.org/10.20948/abrau-2021-6s-ceur
  2. Song Y., Naji S., Kaufmann E., Loquercio A., Scaramuzza D. Flightmare: A Flexible Quadrotor Simulator // ArXiv, abs/2009.00563. 2020. https://doi.org/10.5167/uzh-193792
  3. Maltsev A.V. Integration of Physical Reality Objects with Their 3D Models Visualized in Virtual Environment Systems // Scientific Visualization. 2024. V. 16. No. 2. P. 97–105. https://doi.org/10.26583/sv.16.2.08
  4. Страшнов Е.В., Мироненко И.Н., Финагин Л.А. Моделирование режимов полета квадрокоптера в системах виртуального окружения // Информационные технологии и вычислительные системы. 2020. № 1. C. 85–94. https://doi.org/10.14357/20718632200109
  5. You J., Huai Y., Nie X., Chen Y. Real-Time 3D Visualization of Forest Fire Spread Based on Tree Morphology and Finite State Machine // Computers & Graphics. 2022. V. 103. P. 109–120. https://doi.org/10.1016/j.cag.2022.01.009
  6. Holm S., Schweier J. Virtual forests for decision support and stakeholder communication // Environmental Modelling and Software. 2024. V. 180. Article 106159. https://doi.org/10.1016/j.envsoft.2024.106159
  7. Zürcher R., Zhao J., Lau Sarmiento A., Brede B., Klippel A. Advancing Forest Monitoring and Assessment Through Immersive Virtual Reality // Proceedings of the 26th AGILE Conference on Geographic Information Science. 2023. V. 4. Article 15. https://doi.org/10.5194/agile-giss-4-15-2023
  8. Huang J., Lucash M.S., Scheller R.M., Klippel A. Walking through the forests of the future: using data-driven virtual reality to visualize forests under climate change // International Journal of Geographical Information Science. 2020. V. 35. No. 6. P. 1155–1178. https://doi.org/10.1080/13658816.2020.1830997
  9. Thuvander L., Somanath S., Hollberg A. Procedural Digital Twin Generation for Co-Creating in VR Focusing on Vegetation // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2022. V. XLVIII-4/W5-2022. P. 189–196. https://doi.org/10.5194/isprs-archives-XLVIII-4-W5-2022-189-2022
  10. Murtiyoso A., Holm S., Riihimäki H., Krucher A., Griess H., Griess V.C., Schweier J. Virtual forests: a review on emerging questions in the use and application of 3D data in forestry // International Journal of Forest Engineering. 2023. V. 35. No. 1. P. 29–42. https://doi.org/10.1080/14942119.2023.2217065
  11. Rusch M., Bickford N., Subtil N. Introduction to vulkan ray tracing // Ray Tracing Gems II. NVIDIA. 2021. P. 213–255. https://doi.org/10.1007/978-1-4842-7185-8_16
  12. Newlands C., Zauner K. Procedural Generation and Rendering of Realistic, Navigable Forest Environments: An Open-Source Tool // ArXiv, abs/2208.01471. 2022. P. 1–14. https://doi.org/10.48550/arXiv.2208.01471
  13. Lieb S., Klee N., Lawonn K. Clasping Trees – A Pipeline for Interactive Procedural Tree Generation // International Symposium on Vision, Modeling, and Visualization. 2022. P. 49–56. https://doi.org/10.2312/vmv.20221203
  14. Bao G., Meng W., Li H., Liu J., Zhang X. Hardware instancing for real-time realistic forest rendering // SIGGRAPH Asia 2011 Sketches (SA ’11). 2011. Article 16. P. 1–2. https://doi.org/10.1145/2077378.2077398
  15. Decaudin P., Neyret F. Volumetric billboards // Computer Graphics Forum. 2009. V. 28. No. 8. P. 2079–2089. https://doi.org/10.1111/j.1467-8659.2009.01354.x
  16. Decaudin P., Neyret F. Rendering Forest Scenes in Real-Time // EGSR04: 15th Eurographics Symposium on Rendering. 2004. P. 93–102. https://doi.org/10.2312/EGWR/EGSR04/093-102
  17. Fuhrmann A.L., Umlauf E., Mantler S. Extreme Model Simplification for Forest Rendering // Eurographics Workshop on Natural Phenomena. 2005. P. 57–66. https://doi.org/10.2312/NPH/NPH05/057-066
  18. Zhang Y., Teboul O., Zhang X., Deng Q. Image Based Real-Time and Realistic Forest Rendering and Forest Growth Simulation // 2006 Second International Symposium on Plant Growth Modeling and Applications. 2006. P. 323–327. https://doi.org/10.1109/PMA.2006.44
  19. Laferté J.-M., Daussin G., Flifla J., Haigron P. Real-time Forest Simulation for a Flight Simulator using a GPU // 2008 3rd International Conference on Information and Communication Technologies: From Theory to Applications. 2008. P. 1–7. https://doi.org/10.1109/ICTTA.2008.4530097
  20. Guerrero P. Rendering of Forest Scenes // Technical University of Vienna. 2006. P. 1–9. https://www.cg.tuwien.ac.at/research/publications/2006/G_P_06_RFS/G_P_06_RFS-Report.pdf
  21. Bao G., Li H., Zhang X., Che W., Jaeger M. Realistic real-time rendering for large-scale forest scenes // IEEE International Symposium on VR Innovation. 2011. P. 217–223. https://doi.org/10.1109/ISVRI.2011.5759637
  22. Candussi A., Candussi N., Höllerer T. Rendering Realistic Trees and Forests in Real Time // Eurographics’05. 2005. P. 73–76. https://doi.org/10.2312/egs.20051027
  23. Szijártó G., Koloszár J. Real-time Hardware Accelerated Rendering of Forests at Human Scale // Journal of WSCG. 2004. V. 12. No. 1–3. P. 443–450. http://wscg.zcu.cz/wscg2004/Papers_2004_Full/N23.pdf
  24. Kohek Š., Strnad D. Interactive Large-Scale Procedural Forest Construction and Visualization Based on Particle Flow Simulation // Computer Graphics Forum. 2018. V. 37. No. 1. P. 389–402. https://doi.org/10.1111/cgf.13304
  25. Neubert B., Franken T., Deussen O. Approximate Image-Based Tree-Modeling using Particle Flows // ACM Transactions on Graphics (TOG). 2007. V. 26. No. 3. P. 88. https://doi.org/10.1145/1275808.1276487
  26. Rodkaew Y., Chongstitvatana P., Siripant S., Lursinsap P. Particle Systems for Plant Modeling // 2003’ International Symposium on Plant Growth Modeling, Simulation, Visualization and their Applications (PMA03). 2003. P. 210–217. https://www.cp.eng.chula.ac.th/~prabhas/paper/ 2003/Particle_Systems_for_Plant_Modeling.pdf
  27. Runions A., Lane B., Prusinkiewicz P. Modeling Trees with a Space Colonization Algorithm // Eurographics Workshop on Natural Phenomena. 2007. P. 63–70. https://doi.org/10.2312/NPH/NPH07/063-070
  28. Zhang X., Bao G., Meng W., Jaeger M., Li H., Deussen O., Chen B. Tree Branch Level of Detail Models for Forest Navigation // Computer Graphics Forum. 2017. V. 36. No. 8. P. 402–417. https://doi.org/10.1111/cgf.13088
  29. Prusinkiewicz P., Lindenmayer A. The Algorithmic Beauty of Plants // Springer Science & Business Media. 1990–2012. P. 228. https://doi.org/10.1007/978-1-4613-8476-2
  30. Wang G., Zhang D., Zhou K., Jia J. Rule and Reuse Based Lightweight Modeling and Real Time Web3D Rendering of Forest Scenes // Proceedings of the 23rd International ACM Conference on 3D Web Technology. 2018. No. 8. P. 1–8. https://doi.org/10.1145/3208806.3208819
  31. Nuić H., Mihajlović Ž. Algorithms for procedural generation and display of trees // Proceedings of the 42nd International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO). 2019. P. 230–235. https://doi.org/10.23919/MIPRO.2019.8757140
  32. Garifullin A., Shcherbakov A., Frolov V. Fitting Parameters for Procedural Plant Generation // WSCG 2022 Proceedings, Computer Science Research Notes. 2022. V. 3201. P. 282–288. https://doi.org/10.24132/csrn.3201.35
  33. Kohek Š., Lukač N., Strnad D., Kolingerová I., Žalik B. Data on annotated approximate bilaterally symmetric leaf-off trees based on particle flow simulation and predefined tree crown shape // Data in Brief. 2022. V. 40. P. 1–5. https://doi.org/10.1016/j.dib.2022.107806
  34. Garifullin A., Frolov V.A., Khlupina A.A. Approximate Instancing for Modeling Plant Ecosystems // Proceedings of the 31th International Conference on Computer Graphics and Vision (CEUR Workshop Proceedings). 2021. V. 3027. P. 95–104. https://doi.org/10.20948/graphicon-2021-3027-95-104
  35. Strnad D., Kohek Š., Nerat A., Žalik B. Efficient Representation of Geometric Tree Models with Level-of-Detail Using Compressed 3D Chain Code // IEEE Transactions on Visualization and Computer Graphics. 2020. V. 26. No. 11. P. 3177–3188. https://doi.org/10.1109/TVCG.2019.2924430
  36. Gilet G., Meyer A., Neyret F. Point-based Rendering of Trees // Eurographics Workshop on Natural Phenomena. 2005. P. 67–72. http://evasion.imag.fr/Publications/2005/GMN05/paper1020.pdf
  37. TLS trees – A 3D model collection by kungphil // Sketchfab. https://skfb.ly/oDOZB
  38. Livny Y., Yan F., Olson M., Chen B., Zhang H., El-Sana J. Automatic reconstruction of tree skeletal structures from point clouds // SIGGRAPH ASIA ‘10: ACM SIGGRAPH Asia 2010 papers. 2010. Article No. 151. P. 1–8. https://doi.org/10.1145/1866158.1866177
  39. Du S., Lindenbergh R.C., Ledoux H., Stoter J.E., Nan L. AdTree: Accurate, Detailed, and Automatic Modelling of Laser-Scanned Trees // Remote Sensing. 2019. V. 11. No. 18. P. 2074. https://doi.org/10.3390/rs11182074
  40. Yanchao L., Guo J., Benes B., Deussen O., Zhang X., Huang H. TreePartNet: neural decomposition of point clouds for 3D tree reconstruction // ACM Transactions on Graphics (TOG). 2021. V. 40. No. 6. Article No. 232. P. 1–16. https://doi.org/10.1145/3478513.3480486
  41. Bornand A., Abegg M., Morsdorf F., Rehush N. Completing 3D point clouds of individual trees using deep learning // Methods in Ecology and Evolution. 2024. V. 15. No. 11. P. 2010–2023. https://doi.org/10.1111/2041-210x.14412
  42. Lefrançois M.-K. Ray tracing instances // NVIDIA DesignWorks. Vulkan Ray Tracing Tutorials. 2020–2024. https://github.com/nvpro-samples/vk_raytracing_tutorial_KHR/tree/master/ray_tracing_instances
  43. Смирнов Л.М., Фролов В.А., Волобой А.Г. Анализ производительности методов обхода двухуровневых BVH-деревьев в трассировке лучей на графических процессорах // GraphiСon 2024: материалы 34-й Международной конференции по компьютерной графике и машинному зрению (Россия, Омск, 17–19 сентября 2024 г.). 2024. C. 147–163. https://doi.org/10.25206/978-5-8149-3873-2-2024-147-163
  44. Тимохин П.Ю., Михайлюк М.В. Метод упорядочивания облаков точек для визуализации на конвейере трассировки лучей // Программирование. 2024. № 3. С. 42–53. https://doi.org/10.31857/S0132347424030054
  45. Lefrançois M.-K. Ray tracing intersection // NVIDIA DesignWorks. Vulkan Ray Tracing Tutorials. 2020–2023. https://github.com/nvpro-samples/vk_raytracing_tutorial_KHR/tree/master/ray_tracing_intersection
  46. Lengyel E. Mathematics for 3D Game Programming and Computer Graphics (Third Edition). Boston, MA: Course Technology PTR, 2012. 624 p.
  47. Resource Creation. Buffers // Vulkan 1.3.290 – A Specification (with all ratified extensions). The Khronos Vulkan Working Group. 2024. https://registry.khronos.org/vulkan/specs/ 1.3-khr-extensions/pdf/vkspec.pdf
  48. Pseudo-random number generation: std::mersenne_twister_engine, std::normal_distribution // C++ reference. Numerics library. 2024. https://en.cppreference.com/w/cpp/numeric/random
  49. CloudCompare. 3D point cloud and mesh processing software. http://www.cloudcompare.org/

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Copyright (c) 2025 Russian Academy of Sciences

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».