Создание прогнозирующих моделей запахов для сред виртуальной реальности

Обложка

Цитировать

Полный текст

Аннотация

В среде, насыщенной сенсорными стимулами, человеческий опыт формируется за счет сложного взаимодействия множества чувств. Однако при цифровом взаимодействии задействуются преимущественно зрительные и слуховые модальности, в то время как другие сенсорные каналы, такие как обоняние, остаются практически неиспользованными. Технология виртуальной реальности обладает значительным потенциалом для преодоления этого ограничения за счет включения более широкого спектра сенсорных стимулов, что позволяет создавать более погружающий опыт. В данном исследовании представлен новый подход к интеграции обонятельных стимулов в виртуальную среду посредством разработки прогностической модели запахов, названной Сенсорно-Прогностическая Реакционная Структура (SPRF). Цель исследования заключается в улучшении сенсорного измерения виртуальной реальности путем адаптации обонятельных стимулов к конкретному контенту и контексту. Это достигается за счет сбора информации о местоположении источников запахов и их идентификации по характерным признакам, что позволяет воспроизводить их в пространстве виртуальной среды, тем самым повышая вовлеченность и уровень погружения пользователя. Кроме того, в исследовании изучается влияние различных факторов, связанных с запахами, на восприятие и поведение пользователя в виртуальной реальности, с целью разработки прогностических моделей, оптимизированных для интеграции обонятельных стимулов. Эмпирические оценки показывают, что модель SPRF демонстрирует производительность с точностью 98,13%, значительно превосходя обычные модели, такие как сверточные нейронные сети (CNN, 79,46%), сети с долгой краткосрочной памятью (LSTM, 80,37%) и метод опорных векторов (SVM, 85,24%). Кроме того, SPRF обеспечивает заметные улучшения в показателях F1 (на 13,05%-21,38%) и точности (на 12,89%-18,67%) по сравнению с этими альтернативными моделями. Эти результаты подчеркивают эффективность SPRF в развитии интеграции обонятельных стимулов в виртуальной реальности, предлагая ценные идеи для проектирования мультисенсорных цифровых сред.

Об авторах

Н. В Хунг

Восточноазиатский технологический университет

Автор, ответственный за переписку.
Email: hungnv@eaut.edu.vn
Ки Фу – Ки Ань -

Н. А Куан

Восточноазиатский технологический университет

Email: anhq46724@gmail.com
Зялам -

Н. Тан

Восточноазиатский технологический университет

Email: tan25102000@gmail.com
Чынг Зунг – Тиен Лу -

Т. Т Хай

Ханойский открытый университет

Email: haitt@hou.edu.vn
улица Нгуен Хьен, район Хай Ба Трунг -

Д. Т Чунг

Восточноазиатский технологический университет

Email: trungdk@eaut.edu.vn
Бо Де – Лонг Бьен 14

Л. М Нам

Восточноазиатский технологический университет

Email: namlm@eaut.edu.vn
Фуонг Чунг – Тхань Оай -

Б. Т Лоан

Восточноазиатский технологический университет

Email: loanbt@eaut.edu.vn
Лонг Бьен -

Н. Т Нга

Восточноазиатский технологический университет

Email: ngantt@eaut.edu.vn
Та Тхань Оай, Тханьчи -

Список литературы

  1. Nikolic D., Whyte J. Visualizing a new sustainable world: Toward the next generation of virtual reality in the built environment. Buildings. 2021. vol. 11. no. 11(11). doi: 10.3390/buildings11110546.
  2. Felten P., Lambert L.M. Relationship-rich education: How human connections drive success in college. Johns Hopkins University Press, 2020. 208 p.
  3. Flavian C., Ibanez-Sanchez S., Orus C. The influence of scent on virtual reality experiences: The role of aroma-content congruence. Journal of Business Research. 2021. vol. 123. pp. 289–301. doi: 10.1016/j.jbusres.2020.09.036.
  4. Petit O., Velasco C., Spence C. Digital sensory marketing: Integrating new technologies into multisensory online experience. Journal of Interactive Marketing. 2019. vol. 45. pp. 42–61. doi: 10.1016/j.intmar.2018.07.004.
  5. Hung N.V., Thinh P.H., Thanh N.H., Lam T.T., Hien T.T., Ninh V.T., Huong T.T. Lvsum-optimized live 360 degree video streaming in unicast and multicast over mobile networks. IEEE 15th International Conference on Computational Intelligence and Communication Networks (CICN). IEEE, 2023. pp. 29–34. doi: 10.1109/CICN59264.2023.10402136.
  6. Hung N.V., Tien B.D., Anh T.T.T., Nam P.N., Huong T.T. An efficient approach to terminate 360-video stream on http/3. American Institute of Physics Conference Proceedings. 2023. vol. 2909. no. 1. doi: 10.1063/5.0182042.
  7. Zeynali A., Hajiesmaili M.H., Sitaraman R.K. Bola360: Near-optimal view and bitrate adaptation for 360-degree video streaming. Proceedings of the 15th ACM Multimedia Systems Conference (MMSys). 2024. pp. 12–22. doi: 10.1145/3625468.3647607.
  8. Chiariotti F. A survey on 360-degree video: Coding, quality of experience and streaming. Computer Communications. 2021. vol. 177. pp. 133–155. doi: 10.1016/j.comcom.2021.06.029.
  9. Nguyen H., Dao T.N., Pham N.S., Dang T.L., Nguyen T.D., Truong T.H. An accurate viewport estimation method for 360 video streaming using deep learning. EAI Endorsed Transactions on Industrial Networks and Intelligent Systems. 2022. vol. 9. no. 4. doi: 10.4108/eetinis.v9i4.2218.
  10. Hung N.V., Dat P., Tan N., Quan N., Trang L.T.H., Nam L. Heverl – viewport estimation using reinforcement learning for 360-degree video streaming. Informatics and Automation. 2025. vol. 24(1). pp. 302–328. doi: 10.15622/ia.24.1.11.
  11. Nguyen V.H., Bui D.T., Tran T.L., Truong C.T., Truong T.H. Scalable and resilient 360-degree-video adaptive streaming over HTTP/2 against sudden network drops. Computer Communications. 2024. vol. 216. pp. 1–15. doi: 10.1016/j.comcom.2024.01.001.
  12. Buck L., Axel R. A novel multigene family may encode odorant receptors: a molecular basis for odor recognition. Cell. 1991. vol. 65(1). pp. 175–187. doi: 10.1016/0092-8674(91)90418-X.
  13. Yang Y., Jing D., Zhao L. Computational fluid dynamics modeling of reactive multiphase flow for suspended photocatalytic water splitting of hydrogen production system. Applied Thermal Engineering. 2020. vol. 173. doi: 10.1016/j.applthermaleng.2020.115220.
  14. Song R., Keller A.A., Suh S. Rapid life-cycle impact screening using artificial neural networks. Environmental Science & Technology. 2017. vol. 51. no. 18. pp. 10777–10785. doi: 10.1021/acs.est.7b02862.
  15. Lotsch J., Kringel D., Hummel T. Machine learning in human olfactory research. Chemical senses. 2019. vol. 44. no. 1. pp. 11–22. doi: 10.1093/chemse/bjy067.
  16. Narumi T., Kajinami T., Nishizaka S., Tanikawa T., Hirose M. Pseudo-gustatory display system based on cross-modal integration of vision, olfaction and gustation. IEEE Virtual Reality Conference. IEEE, 2011. pp. 127–130. doi: 10.1109/VR.2011.5759450.
  17. Niedenthal S., Fredborg W., Lunden P., Ehrndal M., Olofsson J.K. A graspable olfactory display for virtual reality. International Journal of Human-Computer Studies. 2023. vol. 169. doi: 10.1016/j.ijhcs.2022.102928.
  18. Velasco C., Vargas J., Petit O. Multisensory experiences and technology in the context of wine experiences. Journal of Wine Research. 2024. vol. 35. no. 2. pp. 85–100. doi: 10.1080/09571264.2024.2310304.
  19. Wilson A. Electronic-nose applications in forensic science and for analysis of volatile biomarkers in the human breath. Journal of Forensic Science & Criminology. 2014. vol. 1. no. 1. pp. 1–21.
  20. Chacko R., Jain D., Patwardhan M., Puri A., Karande S., Rai B. Data based predictive models for odor perception. Scientific reports. 2020. vol. 10. doi: 10.1038/s41598-020-73978-1.
  21. Dzialowski A.R., Smith V.H., Huggins D.G., Denoyelles F., Lim N.-C., Baker D.S., Beury J.H. Development of predictive models for geosmin-related taste and odor in Kansas, USA, drinking water reservoirs. Water Research. 2009. vol. 43. no. 11. pp. 2829–2840. doi: 10.1016/j.watres.2009.04.001.
  22. Qi M., Chen J., Sun X., Deng X., Niu Y., Xie P. Development of models for predicting the predominant taste and odor compounds in Taihu Lake, China. PloS one. 2012. vol. 7(12). doi: 10.1371/annotation/c86cbb15-dbb2-4fe8-b2fa-35604b6c4887.
  23. Zhang L., Mao H., Zhuang Y., Wang L., Liu L., Dong Y., Du J., Xie W., Yuan Z. Odor prediction and aroma mixture design using machine learning model and molecular surface charge density profiles. Chemical Engineering Science. 2021. vol. 245. doi: 10.1016/j.ces.2021.116947.
  24. Nozaki Y., Nakamoto T. Predictive modeling for odor character of a chemical using machine learning combined with natural language processing. PloS one. 2018. vol. 13(12). doi: 10.1371/journal.pone.0208962.
  25. Lee D.-H., Woo S.-E., Jung M.-W., Heo T.-Y. Evaluation of odor prediction model performance and variable importance according to various missing imputation methods. Applied Sciences. 2022. vol. 12. no. 6. doi: 10.3390/app12062826.
  26. Rincon C.A., De Guardia A., Couvert A., Wolbert D., Le Roux S., Soutrel I., Nunes G. Odor concentration (OC) prediction based on odor activity values (OAVs) during composting of solid wastes and digestates. Atmospheric Environment. 2019. vol. 201. pp. 1–12. doi: 10.1016/j.atmosenv.2018.12.030.
  27. Hung N.V., Loi T.Q., Binh N.H., Nga N.T.T., Huong T.T., Luu D.L. Building an online learning model through a dance recognition video based on deep learning. Informatics and Automation. 2024. vol. 23(1). pp. 101–128. doi: 10.15622/ia.23.1.4.
  28. Ward R., Rahman S., Wuerger S., Marshall A. Predicting the colour associated with odours using an electronic nose. in Proceedings of the 1st Workshop on Multisensory Experiences-SensoryX’21. SBC, 2021. doi: 10.5753/sensoryx.2021.15683.
  29. Wu D., Luo D., Wong K.-Y., Hung K. POP-CNN: Predicting odor leasantness with convolutional neural network. IEEE Sensors Journal. 2019. vol. 19. no. 23. pp. 11337–11345. doi: 10.1109/JSEN.2019.2933692.
  30. Bilgera C., Yamamoto A., Sawano M., Matsukura H., Ishida H. Application of convolutional long short-term memory neural networks to signals collected from a sensor network for autonomous gas source localization in outdoor environments. Sensors. 2018. vol. 18. no. 12. doi: 10.3390/s18124484.
  31. Liu W., Zhong X., Liu G., Xie J. Emotion Recognition Based ECG in Olfactory-enhanced VR Scenes. 9th International Symposium on Computer and Information Processing Technology (ISCIPT). 2024. pp. 445–448. doi: 10.1109/ISCIPT61983.2024.10672829.
  32. Jing T., Meng Q.-H., Ishida H. Recent progress and trend of robot odor source localization. IEEJ Transactions on Electrical and Electronic Engineering. 2021. vol. 16. no. 7. pp. 938–953. doi: 10.1002/tee.23364.
  33. Grodniyomchai B., Satcharoen K., Tangtisanon P. Enhancing odor classification of essential oils with electronic nose data. 9th International Conference on Computer and Communication Systems (ICCCS). 2024. pp. 531–536. doi: 10.1109/ICCCS61882.2024.10603362.
  34. Saleme E.B., Santos C.A., Ghinea G. A mulsemedia framework for delivering sensory effects to heterogeneous systems. Multimedia Systems. 2019. vol. 25. pp. 421–447. doi: 10.1007/s00530-019-00618-8.
  35. Bhatia M., Kaur S., Sood S.K. Iot-inspired smart toilet system for home-based urine infection prediction. ACM Transactions on Computing for Healthcare. 2020. vol. 1. no. 3. pp. 1–25. doi: 10.1145/3379506.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».