User Association, Power Allocation, and Aerial Base Stations Placement in Hybrid Networks: A Deep Reinforcement Learning Approach

Cover Page

Cite item

Full Text

Abstract

Relevance. With the development of information technologies and the Internet of Things, the demand for more efficient and flexible mobile networks is increasing. Future wireless systems must not only ensure high speed and reliability of connections but also enable quick recovery of communication in emergency situations. Ground base stations (GBS) are typically installed stationary and are designed for long-term service, which limits their efficiency during sudden increases in traffic or infrastructure damage. In such conditions, aerial base station (ABS) emerge as a promising solution. Due to their mobility, affordability, and the ability to deploy quickly, they can support the operation of ground stations in high user density conditions or in emergencies when GBS are damaged or destroyed. This makes them an essential element of future communication networks.Problem Statement. Development of methods for the placement of ABS in three-dimensional space and the distribution of users and power among users with the goal of maximizing the data transmission speed of the systems.Goal of the work. Increase the data transmission speed of systems using ABS to support GBS through optimal three-dimensional positioning of ABS, distribution of users between ABS and GBS, and power allocation among users.Methods. The research was conducted using a dynamic approach, in which the coverage radius of the GBS is gradually reduced, along with the reinforcement learning algorithm. The analysis of the results showed the high effectiveness of the proposed method and allowed for a significant increase in data transmission speed within the framework of the task.Scientific novelty. The scientific novelty of the proposed solution lies in the joint optimization of the placement of ABS and power allocation under resource constraints, which revealed a dependency between the coverage radius of GBS and the flight altitude of ABS. Specifically, as the coverage radius of GBS increases, the optimal flight altitude of ABS decreases, and vice versa.Practical significance. The practical significance lies in the possibility of developing a methodology for planning public communication networks using ABS to support GBS under resource constraints. This approach makes it possible to ensure a high total data transmission rate and improve the reliability of network operation.

About the authors

T. D Tran

The Bonch-Bruevich Saint Petersburg State University of Telecommunications

Email: chan.tz@sut.ru

A. E. Koucheryavy

The Bonch-Bruevich Saint Petersburg State University of Telecommunications

Email: akouch@sut.ru

References

  1. Чан Т.З., Кучерявый А.Е. Оптимизация использования ресурсов воздушных базовых станций на основе методов искусственного интеллекта // Труды учебных заведений связи. 2025. Т. 11. № 1. С. 62‒68. doi: 10.31854/1813-324X-2025-11-1-62-68. EDN:RVENVC
  2. Кузнецов К.А., Парамонов А.И., Мутханна А.С.А., Кучерявый А.Е. Модель и методы маршрутизации трафика в сети связи с использованием БПЛА // Труды учебных заведений связи. 2024. Т. 10. № 4. С. 62-72. doi: 10.31854/1813-324X-2024-10-4-62-72. EDN:VYMCTD
  3. Дунайцев Р.А., Бородин А.С., Кучерявый А.Е. Интегрированная сеть космос-воздух-земля-море как основа сетей связи шестого поколения // Электросвязь. 2022. № 10. С. 5‒8. doi: 10.34832/ELSV2022.35.10.001. EDN:QCGIPI
  4. Кучерявый А.Е., Парамонов А.И., Маколкина М.А., Мутханна А.С.А., Выборнова А.И., Дунайцев Р.А. и др. Трехмерные многослойные гетерогенные сверхплотные сети // Информационные технологии и телекоммуникации. 2022. Т. 10. № 3. С. 1‒12. doi: 10.31854/2307-1303-2021-10-3-1-12. EDN:LHLYEM
  5. Mozaffari M., Saad W., Bennis M., Debbah M. Unmanned Aerial Vehicle With Underlaid Device-to-Device Communications: Performance and Tradeoffs // IEEE Transactions on Wireless Communications. 2016. Vol. 15. Iss. 6. PP. 3949–3963. doi: 10.1109/TWC.2016.2531652
  6. Ali M.A., Jamalipour A. UAV placement and power allocation in uplink and downlink operations of cellular network // IEEE Transactions on Communications. 2020. Vol. 68. Iss. 7. PP. 4383‒4393. doi: 10.1109/TCOMM.2020.2983671. EDN:MEPFGQ
  7. GPP TR 38.901. Study on channel model for frequencies from 0.5 to 100 GHz. 2018. URL: https://portal.3gpp.org/desktopmodules/Specifications/SpecificationDetails.aspx?specificationId=3173 (Accessed 26.02.2025)
  8. Shannon C.E. A Mathematical Theory of Communication // The Bell System Technical Journal. 1948. Vol. 27. Iss. 3. PP. 379–423. doi: 10.1002/j.1538-7305.1948.tb01338.x
  9. Liu C.H., Chen Z., Tang J., Xu J., Piao C. Energy-Efficient UAV Control for Effective and Fair Communication Coverage: A Deep Reinforcement Learning Approach // IEEE Journal on Selected Areas in Communications. 2018. Vol. 36. Iss. 9. PP. 2059–2070. doi: 10.1109/JSAC.2018.2864373
  10. Seid A.M., Boateng G.O., Anokye S., Kwantwi T., Sun G., Liu G. Collaborative Computation Offloading and Resource Al-location in Multi-UAV-Assisted IoT Networks: A Deep Reinforcement Learning Approach // IEEE Internet of Things Journal. 2021. Vol. 8. Iss. 15. PP. 12203‒12218. doi: 10.1109/JIOT.2021.3063188
  11. Mnih V., Kavukcuoglu K., Silver D., Rusu A.A., Veness J., Bellemare M.G., et al. Hassabis D. Human-level control through deep reinforcement learning // Nature. 2015. Vol. 518. PP. 529‒533. doi: 10.1038/nature14236
  12. Lillicrap T.P., Hunt J.J., Pritzel A., Heess N., Erez T., Tassa Y., et al. Continuous control with deep reinforcement learning // arXiv preprint arXiv:1509.02971. 2015. doi: 10.48550/arXiv.1509.02971

Supplementary files

Supplementary Files
Action
1. JATS XML


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».