Building Predictive Smell Models for Virtual Reality Environments

Cover Page

Cite item

Full Text

Abstract

In a sensory-rich environment, human experiences are shaped by the complex interplay of multiple senses. However, digital interactions predominantly engage visual and auditory modalities, leaving other sensory channels, such as olfaction, largely unutilized. Virtual Reality (VR) technology holds significant potential for addressing this limitation by incorporating a wider range of sensory inputs to create more immersive experiences. This study introduces a novel approach for integrating olfactory stimuli into VR environments through the development of predictive odor models, termed SPRF (Sensory Predictive Response Framework). The objective is to enhance the sensory dimension of VR by tailoring scent stimuli to specific content and context with the collection of information about the location of scent sources and their identification through features to serve to reproduce them in the space of the VR environment, thereby enriching user engagement and immersion. Additionally, the research investigates the influence of various scent-related factors on user perception and behavior in VR, aiming to develop predictive models optimized for olfactory integration. Empirical evaluations demonstrate that the SPRF model achieves superior performance, with an accuracy of 98.13%, significantly outperforming conventional models such as Convolutional Neural Networks (CNN, 79.46%), Long Short-Term Memory (LSTM, 80.37%), and Support Vector Machines (SVM, 85.24%). Additionally, SPRF delivers notable improvements in F1-scores (13.05%-21.38%) and accuracy (12.89%-18.67%) compared to these alternatives. These findings highlight the efficacy of SPRF in advancing olfactory integration within VR, offering actionable insights for the design of multisensory digital environments.

About the authors

N. V Hung

East Asia University of Technology

Author for correspondence.
Email: hungnv@eaut.edu.vn
Ky Phu – Ky Anh -

N. A Quan

East Asia University of Technology

Email: anhq46724@gmail.com
Duong Ha – Gia Lam -

N. Tan

East Asia University of Technology

Email: tan25102000@gmail.com
Trung Dung – Tien Lu -

T. T Hai

Hanoi Open University

Email: haitt@hou.edu.vn
Nguyen Hien Street, Hai Ba Trung District -

D. K Trung

East Asia University of Technology

Email: trungdk@eaut.edu.vn
Bo De – Long Bien 14

L. M Nam

East Asia University of Technology

Email: namlm@eaut.edu.vn
Phuong Trung – Thanh Oai -

B. T Loan

East Asia University of Technology

Email: loanbt@eaut.edu.vn
Long Bien -

N. T Nga

East Asia University of Technology

Email: ngantt@eaut.edu.vn
Ta Thanh Oai - Thanh Tri -

References

  1. Nikolic D., Whyte J. Visualizing a new sustainable world: Toward the next generation of virtual reality in the built environment. Buildings. 2021. vol. 11. no. 11(11). doi: 10.3390/buildings11110546.
  2. Felten P., Lambert L.M. Relationship-rich education: How human connections drive success in college. Johns Hopkins University Press, 2020. 208 p.
  3. Flavian C., Ibanez-Sanchez S., Orus C. The influence of scent on virtual reality experiences: The role of aroma-content congruence. Journal of Business Research. 2021. vol. 123. pp. 289–301. doi: 10.1016/j.jbusres.2020.09.036.
  4. Petit O., Velasco C., Spence C. Digital sensory marketing: Integrating new technologies into multisensory online experience. Journal of Interactive Marketing. 2019. vol. 45. pp. 42–61. doi: 10.1016/j.intmar.2018.07.004.
  5. Hung N.V., Thinh P.H., Thanh N.H., Lam T.T., Hien T.T., Ninh V.T., Huong T.T. Lvsum-optimized live 360 degree video streaming in unicast and multicast over mobile networks. IEEE 15th International Conference on Computational Intelligence and Communication Networks (CICN). IEEE, 2023. pp. 29–34. doi: 10.1109/CICN59264.2023.10402136.
  6. Hung N.V., Tien B.D., Anh T.T.T., Nam P.N., Huong T.T. An efficient approach to terminate 360-video stream on http/3. American Institute of Physics Conference Proceedings. 2023. vol. 2909. no. 1. doi: 10.1063/5.0182042.
  7. Zeynali A., Hajiesmaili M.H., Sitaraman R.K. Bola360: Near-optimal view and bitrate adaptation for 360-degree video streaming. Proceedings of the 15th ACM Multimedia Systems Conference (MMSys). 2024. pp. 12–22. doi: 10.1145/3625468.3647607.
  8. Chiariotti F. A survey on 360-degree video: Coding, quality of experience and streaming. Computer Communications. 2021. vol. 177. pp. 133–155. doi: 10.1016/j.comcom.2021.06.029.
  9. Nguyen H., Dao T.N., Pham N.S., Dang T.L., Nguyen T.D., Truong T.H. An accurate viewport estimation method for 360 video streaming using deep learning. EAI Endorsed Transactions on Industrial Networks and Intelligent Systems. 2022. vol. 9. no. 4. doi: 10.4108/eetinis.v9i4.2218.
  10. Hung N.V., Dat P., Tan N., Quan N., Trang L.T.H., Nam L. Heverl – viewport estimation using reinforcement learning for 360-degree video streaming. Informatics and Automation. 2025. vol. 24(1). pp. 302–328. doi: 10.15622/ia.24.1.11.
  11. Nguyen V.H., Bui D.T., Tran T.L., Truong C.T., Truong T.H. Scalable and resilient 360-degree-video adaptive streaming over HTTP/2 against sudden network drops. Computer Communications. 2024. vol. 216. pp. 1–15. doi: 10.1016/j.comcom.2024.01.001.
  12. Buck L., Axel R. A novel multigene family may encode odorant receptors: a molecular basis for odor recognition. Cell. 1991. vol. 65(1). pp. 175–187. doi: 10.1016/0092-8674(91)90418-X.
  13. Yang Y., Jing D., Zhao L. Computational fluid dynamics modeling of reactive multiphase flow for suspended photocatalytic water splitting of hydrogen production system. Applied Thermal Engineering. 2020. vol. 173. doi: 10.1016/j.applthermaleng.2020.115220.
  14. Song R., Keller A.A., Suh S. Rapid life-cycle impact screening using artificial neural networks. Environmental Science & Technology. 2017. vol. 51. no. 18. pp. 10777–10785. doi: 10.1021/acs.est.7b02862.
  15. Lotsch J., Kringel D., Hummel T. Machine learning in human olfactory research. Chemical senses. 2019. vol. 44. no. 1. pp. 11–22. doi: 10.1093/chemse/bjy067.
  16. Narumi T., Kajinami T., Nishizaka S., Tanikawa T., Hirose M. Pseudo-gustatory display system based on cross-modal integration of vision, olfaction and gustation. IEEE Virtual Reality Conference. IEEE, 2011. pp. 127–130. doi: 10.1109/VR.2011.5759450.
  17. Niedenthal S., Fredborg W., Lunden P., Ehrndal M., Olofsson J.K. A graspable olfactory display for virtual reality. International Journal of Human-Computer Studies. 2023. vol. 169. doi: 10.1016/j.ijhcs.2022.102928.
  18. Velasco C., Vargas J., Petit O. Multisensory experiences and technology in the context of wine experiences. Journal of Wine Research. 2024. vol. 35. no. 2. pp. 85–100. doi: 10.1080/09571264.2024.2310304.
  19. Wilson A. Electronic-nose applications in forensic science and for analysis of volatile biomarkers in the human breath. Journal of Forensic Science & Criminology. 2014. vol. 1. no. 1. pp. 1–21.
  20. Chacko R., Jain D., Patwardhan M., Puri A., Karande S., Rai B. Data based predictive models for odor perception. Scientific reports. 2020. vol. 10. doi: 10.1038/s41598-020-73978-1.
  21. Dzialowski A.R., Smith V.H., Huggins D.G., Denoyelles F., Lim N.-C., Baker D.S., Beury J.H. Development of predictive models for geosmin-related taste and odor in Kansas, USA, drinking water reservoirs. Water Research. 2009. vol. 43. no. 11. pp. 2829–2840. doi: 10.1016/j.watres.2009.04.001.
  22. Qi M., Chen J., Sun X., Deng X., Niu Y., Xie P. Development of models for predicting the predominant taste and odor compounds in Taihu Lake, China. PloS one. 2012. vol. 7(12). doi: 10.1371/annotation/c86cbb15-dbb2-4fe8-b2fa-35604b6c4887.
  23. Zhang L., Mao H., Zhuang Y., Wang L., Liu L., Dong Y., Du J., Xie W., Yuan Z. Odor prediction and aroma mixture design using machine learning model and molecular surface charge density profiles. Chemical Engineering Science. 2021. vol. 245. doi: 10.1016/j.ces.2021.116947.
  24. Nozaki Y., Nakamoto T. Predictive modeling for odor character of a chemical using machine learning combined with natural language processing. PloS one. 2018. vol. 13(12). doi: 10.1371/journal.pone.0208962.
  25. Lee D.-H., Woo S.-E., Jung M.-W., Heo T.-Y. Evaluation of odor prediction model performance and variable importance according to various missing imputation methods. Applied Sciences. 2022. vol. 12. no. 6. doi: 10.3390/app12062826.
  26. Rincon C.A., De Guardia A., Couvert A., Wolbert D., Le Roux S., Soutrel I., Nunes G. Odor concentration (OC) prediction based on odor activity values (OAVs) during composting of solid wastes and digestates. Atmospheric Environment. 2019. vol. 201. pp. 1–12. doi: 10.1016/j.atmosenv.2018.12.030.
  27. Hung N.V., Loi T.Q., Binh N.H., Nga N.T.T., Huong T.T., Luu D.L. Building an online learning model through a dance recognition video based on deep learning. Informatics and Automation. 2024. vol. 23(1). pp. 101–128. doi: 10.15622/ia.23.1.4.
  28. Ward R., Rahman S., Wuerger S., Marshall A. Predicting the colour associated with odours using an electronic nose. in Proceedings of the 1st Workshop on Multisensory Experiences-SensoryX’21. SBC, 2021. doi: 10.5753/sensoryx.2021.15683.
  29. Wu D., Luo D., Wong K.-Y., Hung K. POP-CNN: Predicting odor leasantness with convolutional neural network. IEEE Sensors Journal. 2019. vol. 19. no. 23. pp. 11337–11345. doi: 10.1109/JSEN.2019.2933692.
  30. Bilgera C., Yamamoto A., Sawano M., Matsukura H., Ishida H. Application of convolutional long short-term memory neural networks to signals collected from a sensor network for autonomous gas source localization in outdoor environments. Sensors. 2018. vol. 18. no. 12. doi: 10.3390/s18124484.
  31. Liu W., Zhong X., Liu G., Xie J. Emotion Recognition Based ECG in Olfactory-enhanced VR Scenes. 9th International Symposium on Computer and Information Processing Technology (ISCIPT). 2024. pp. 445–448. doi: 10.1109/ISCIPT61983.2024.10672829.
  32. Jing T., Meng Q.-H., Ishida H. Recent progress and trend of robot odor source localization. IEEJ Transactions on Electrical and Electronic Engineering. 2021. vol. 16. no. 7. pp. 938–953. doi: 10.1002/tee.23364.
  33. Grodniyomchai B., Satcharoen K., Tangtisanon P. Enhancing odor classification of essential oils with electronic nose data. 9th International Conference on Computer and Communication Systems (ICCCS). 2024. pp. 531–536. doi: 10.1109/ICCCS61882.2024.10603362.
  34. Saleme E.B., Santos C.A., Ghinea G. A mulsemedia framework for delivering sensory effects to heterogeneous systems. Multimedia Systems. 2019. vol. 25. pp. 421–447. doi: 10.1007/s00530-019-00618-8.
  35. Bhatia M., Kaur S., Sood S.K. Iot-inspired smart toilet system for home-based urine infection prediction. ACM Transactions on Computing for Healthcare. 2020. vol. 1. no. 3. pp. 1–25. doi: 10.1145/3379506.

Supplementary files

Supplementary Files
Action
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».