Performance optimization of machine learning-based image recognition algorithms for mobile devices based on the iOS operating system

Cover Page

Cite item

Full Text

Abstract

Today, mobile devices play an important role in everyone's daily life, and one of the key technologies leading to significant benefits for mobile applications is machine learning. Optimization of machine learning algorithms for mobile devices is an urgent and important task, it is aimed at developing and applying methods that will effectively use the limited computing resources of mobile devices. The paper discusses various ways to optimize image recognition algorithms on mobile devices, such as quantization and compression of models, optimization of initial calculations. In addition to ways to optimize the machine learning model itself, various libraries and tools for using this technology on mobile devices are also being considered. Each of the described methods has its advantages and disadvantages, and therefore, in the results of the work, it is proposed to use not only a combination of the described options, but also an additional method of parallelization of image processing processes. The article discusses examples of specific tools and frameworks available for optimizing machine learning performance on iOS, and conducted its own experiments to test the effectiveness of various optimization methods. An analysis of the results obtained and a comparison of the performance of the algorithms are also provided. The practical significance of this article is as follows: Improving the performance of machine learning algorithms on iOS mobile devices will lead to more efficient use of computing resources and increase system performance, which is very important in the context of limited computing power and energy resources of mobile devices. Optimization of machine learning performance on the iOS platform contributes to the development of faster and more responsive applications, which will also improve the user experience and allow developers to create new and innovative features and capabilities. Expanding the applicability of machine learning on iOS mobile devices opens up new opportunities for application development in various fields such as pattern recognition, natural language processing, data analysis, and others.

References

  1. Чжан Я., Лю Я., Чэнь Т., Генг У. "Мобильное глубокое обучение для интеллектуальных мобильных приложений: Обзор." // "em"IEEE Access, 8"/em", 103, 586-103, 607.
  2. Документация Apple Developer [Электронный ресурс] // "Core ML – Оптимизация производительности на устройствах." // URL: https://developer.apple.com/documentation/coreml/optimizing_for_on-device_performance. Дата обращения: [29.06.2023].
  3. Растегари М., Ордонес В., Редмон Дж., Фархади А. "XNOR-Net: Классификация изображений ImageNet с использованием бинарных сверточных нейронных сетей." // Сборник материалов Европейской конференции по компьютерному зрению (ECCV) (стр. 525-542).
  4. Сихотан Х.., Марк А., Риандари Ф. и Ренделл Л. "Эффективные алгоритмы оптимизации для различных задач машинного обучения, включая классификацию, регрессию и кластеризацию. " // IEEE Access, 1, 14-24. doi: 10.35335/idea.v1i1.3
  5. Сандлер М., Ховард А., Чжу М., Жмогинов А., Чен Л. Ц. "MobileNetV2: Инвертированные остаточные блоки и линейные узкие места." // Сборник материалов конференции по компьютерному зрению и обработке изображений // IEEE (стр. 4510-4520).
  6. Ховард А. Г., Чжу М., Чен Б., Калениченко Д., Ванг В., Веанд Т. И др. "MobileNets: Эффективные сверточные нейронные сети для мобильных приложений компьютерного зрения." // IEEE 1704.04861.
  7. Хан С., Мао Х., Дэлли У. Дж. "Глубокая компрессия: Сжатие глубоких нейронных сетей с помощью отсечения, квантования обучения и кодирования Хаффмана." // IEEE 1510.00149.
  8. Документация Google TensorFlow Lite. [Электронный ресурс]. «TensorFlow» // URL: https://www.tensorflow.org/lite. Дата обращения: [29.06.2023].
  9. Таккар М. "Начало машинного обучения в iOS: CoreML Framework." // IEEE Access. doi: 10.1007/978-1-4842-4297-1. ISBN: 978-1-4842-4296-4
  10. Минитаева, А. М. Принятие решений в условиях интервального задания предпочтений лиц, принимающих решений // Материалы конференции «Информационные технологии в управлении» (ИТУ-2022): 15-я МУЛЬТИКОНФЕРЕНЦИЯ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ, Санкт-Петербург, 04 06 октября 2022 года. – Санкт-Петербург: Концерн; Центральный научно-исследовательский институт ;Электроприбор;, 2022. – С. 197-200. – EDN RNGSXI.
  11. Минитаева, А. М. Многомодельный подход к прогнозированию нелинейных нестационарных процессов в задачах оптимального управления // Необратимые процессы в природе и технике : Труды Двенадцатой Всероссийской конференции. В 2-х томах, Москва, 31 января – 03 2023 года. – Москва: Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет), 2023. – С. 438-447. – EDN FBVVXS.
  12. Кочнев А., «Концептуальные основы практического использования нейронных сетей: проблемы и перспективы» // «Общество и инновации» // doi: 10.47689/2181-1415-vol4-iss1-pp1-10
  13. Курбариа М., Бенгио Й., Дэвид Ж. П. "BinaryNet: Обучение глубоких нейронных сетей с ограничениями на веса и активации +1 или -1." // IEEE: 1602.02830.
  14. Ли Г., Вэй Гао, Вуэн Г., «Техники квантизации». doi: 10.1007/978-981-97-1957-0_5
  15. Самсиана С., Сьямсул А. «Алгоритмы машинного обучения с использованием метода векторного квантования обучения». doi: 10.1051/e3sconf/202450003010
  16. Адереми А. Атайеро, Сэмюэл Аджани «Обзор машинного обучения на встроенных и мобильных устройствах: оптимизация и приложения». doi: 10.3390/s21134412
  17. Сандлер М., Ховард А., ЛеКун Й. "Mobilenetv3: Высокоэффективная масштабируемая модель мобильного компьютерного зрения." // Сборник материалов конференции по компьютерному зрению и обработке изображений // IEEE/CVF (стр. 13840-13848).
  18. Чен Б., Данда Р. Юан Ч. «На пути к краже глубоких нейронных сетей на мобильных устройствах» // Безопасность и конфиденциальность в сетях связи (стр. 495-508). doi: 10.1007/978-3-030-90022-9_27
  19. Джармуни Ф., Фавзи А. «Запуск нейронных сетей в Android» // Университет Оттавы. Введение в глубокое обучение и нейронные сети с Python (cnh/ 247-280). doi: 10.1016/B978-0-323-90933-4.00001-2
  20. Быков К., Мюллер К. «Опасности изображений с водяными знаками в ImageNet» // Искусственный интеллект. Международные семинары ECAI 2023 (стр. 426–434). doi: 10.1007/978-3-031-50396-2_24

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».