Development and Analysis of Mathematical and Software Models for a Computer System with a Sensory Input Device

Cover Page

Cite item

Full Text

Abstract

Introduction. Touchscreens and panels are integral to modern life, actively replacing various push-button, lever, and rotary control devices. However, existing touchscreen solutions are often unsuitable due to their fragility, lack of waterproofing, or vulnerability to vandalism. This study proposes a new information input device system designed to be resistant to harsh conditions. The aim is to develop and research mathematical and software models for accurately positioning the touch point. Research objectives: 1) Develop a mathematical model for touch point positioning; 2) Develop a software model for touch point positioning; 3) Develop an experimental model of a computing system for a sensory input device. The proposed system operates by registering acoustic waves generated by tangential contact with the panel. When a touch occurs, a sound wave propagates across the surface, and several microphones can register this wave. The obtained data is then used to localize the touch point. Results. The study demonstrates the limitations of using an analytical model and proposes a numerical model instead. Modeling was carried out in the SciLab 2023.1.0 software environment, and a mathematical program for a microcontroller was written in C. Conclusion. The best arrangement of microphones was found to be at the corners of the panel, with the optimal initial approximation for calculating unknowns set to the average possible value or zero. Experimental simulations confirmed these findings, showing that the placement of microphones and the initial approximation, except when set to zero, matched the simulation results and proved more accurate. Additionally, a square shape was determined to be the best for the touchpad. Practical significance. The results of this study will be integrated into the microcontroller of the touch panel. This integration is crucial for further investigations into the localization of sound waves on the surface of solid bodies under conditions of multiple touches and potential external influences.

Full Text

Restricted Access

About the authors

Alexey V. Kozin

Perm National Research Polytechnic University

Author for correspondence.
Email: AVKOZIN@pstu.ru
SPIN-code: 5194-8038

PhD student, assistant at the Department of Automation and Telemechanics

Russian Federation, 29, Komsomolsky Pr. Perm, 614990

Vladimir I. Freiman

Perm National Research Polytechnic University

Email: AVKOZIN@pstu.ru
ORCID iD: 0000-0001-8492-8065
SPIN-code: 9553-3735

Doctor of Engineering Sciences, Associate Professor, Professor at the Department of Automation and Telemechanics

Russian Federation, 29, Komsomolsky Pr. Perm, 614990

References

  1. Singh G. Touch screen driving: A novel and efficient design for automation.2014 World Automation Congress (WAC). IEEE; 2014:634-638. doi: 10.1109/WAC.2014.6936074
  2. Avutu S. R., Bhatia D., Reddy B. V. Design of touch screen based robot with obstacle detection module for autonomous path navigation. TENCON 2017-2017 IEEE Region 10 Conference. IEEE; 2017:2127-2131. doi: 10.1109/TENCON.2017.8228212
  3. Liang J. R. et al. Turn any display into a touch screen using infrared optical technique.
  4. IEEE Access. 2018;6:13033-13040. doi: 10.1109/ACCESS.2018.2812756
  5. Samarin A. NORITAKE touch panels for harsh operating conditions. Components and technologies. 2015;8:11-14. (In Russ.).
  6. Samarin A. New sensor technologies for computer input devices. Components and technologies. 2007;1:52-58. (In Russ.).
  7. Qin M. et al. Compressive sensing-based sound source localization for microphone arrays. Circuits, Systems, and Signal Processing. 2021;40:4696-4719. doi: 10.1007/s00034-021-01692-y
  8. Donoho D. L. Compressed sensing. IEEE Transactions on information theory. 2006;52(4):1289-1306. doi: 10.1109/TIT.2006.871582
  9. Ding X. et al. FRL: Fast and reconfigurable accelerator for distributed sound source localization. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems. 2022;41(11):3922-3933. doi: 10.1109/TCAD.2022.3197537
  10. Gu J. C., Lin W., Kan C. X. Sound source localization using piezoelectric acoustic metasurfaces. Acoustics Australia. 2020;48:455-461. doi: 10.1007/s40857-020-00205-2
  11. Thakallapalli S., Gangashetty S. V., Madhu N. NMF-weighted SRP for multi-speaker direction of arrival estimation: robustness to spatial aliasing while exploiting sparsity in the atom-time domain. EURASIP Journal on Audio, Speech, and Music Processing. 2021;13(2021):1-18. doi: 10.1186/s13636-021-00201-y
  12. Kozin A.V. Sensory information input device based on acoustic measuring devices. Perm National Research Polytechnic University Bulletin. Electrotechnics, information technologies, control systems. 2023;(46):178-195. (In Russ.) doi: 10.15593/2224- 9397/2023.2.08
  13. Kozin A. et al. Contact Spot on a Display Surface. 2022 Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus). IEEE; 2022:349-351. doi: 10.1109/ElConRus54750.2022.9755516
  14. Qu Y.J., Hu B.G. A Scilab toolbox of nonlinear regression models using a linear solver.
  15. IEEE International Workshop on Open-source Software for Scientific Computation, Beijing, China; 2011:142-147. doi: 10.1109/OSSC.2011.6184710
  16. Chaban E.A. Creation of mathematical models in the SCILAB program. Information and communication technologies in pedagogical education. 2016;4(42):38-41. (In Russ.).
  17. Kudryashova A. Y., Semyonova T. I., Frisk V. V. et al. Study of Effectiveness of Scilab Software Means for Solving Optimization Problems. // 2020 Wave Electronics and its Application in Information and Telecommunication Systems (WECONF), St. Petersburg, Russia; 2020:1-5. doi: 10.1109/WECONF48837.2020.9131166
  18. Semenova T.I., Zagvozdkina A.V., Zagvozdkin V.A. Visualization of calculations results in SCILAB. Informatics and Cybernetics. 2018;4(14):5-11. (In Russ.)

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2. Fig. 1. Proposed system model with three microphones

Download (247KB)
Indexing metadata
3. Fig. 2. Graphic representation of the solution to equations (4) and (5), where A is microphone 1, B is microphone 2, C is microphone 3, and D is the point of contact

Download (226KB)
Indexing metadata
4. Fig. 3. Accuracy of contact point determination based on the method used and microphone placement, where

Download (387KB)
Indexing metadata
5. Fig. 4. Graphical representation of the equation system (10)

Download (214KB)
Indexing metadata
6. Fig. 5. Program algorithm

Download (321KB)
Indexing metadata
7. Fig. 6. Accuracy of calculations based on microphone placement and initial approximation S, xкас и yкас.

Download (365KB)
Indexing metadata
8. Fig. 7. Impact of changes in initial approximations of the unknowns S, xкас and yкас on the accuracy of contact point positioning (overall)

Download (271KB)
Indexing metadata
9. Fig. 8. Impact of changes in initial approximations of the unknowns S, xкас and yкас on the accuracy of contact point positioning (separately)

Download (188KB)
Indexing metadata
10. Fig. 9. Effect of panel dimensions on the accuracy of contact point positioning

Download (300KB)
Indexing metadata

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».