Retrieving Structural Information on Anthropogenic Objects from Single Aerospace Images

N. V. Antipova; Антипова Н. В.; O. G. Gvozdev; Гвоздев О. Г.; V. A. Kozub; Козуб В. А.; A. B. Murynin; Мурынин А. Б.; A. A. Richter; Рихтер А. А.

doi:10.31857/S0002338823030010

ВОССТАНОВЛЕНИЕ СТРУКТУРНОЙ ИНФОРМАЦИИ ОБ АНТРОПОГЕННЫХ ОБЪЕКТАХ ИЗ ОДИНОЧНЫХ АЭРОКОСМИЧЕСКИХ ИЗОБРАЖЕНИЙ

Авторы: Антипова Н.В.¹^,2, Гвоздев О.Г.¹^,3, Козуб В.А.¹, Мурынин А.Б.¹^,2, Рихтер А.А.¹
Учреждения:
1. НИИ “АЭРОКОСМОС”
2. ФИЦ ИУ РАН
3. ФГБОУ ВО “Московский государственный университет геодезии и картографии” (МИИГАиК)
Выпуск: № 3 (2023)
Страницы: 90-105
Раздел: ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ
URL: https://journal-vniispk.ru/0002-3388/article/view/136881
DOI: https://doi.org/10.31857/S0002338823030010
EDN: https://elibrary.ru/EUCSLC
ID: 136881

Цитировать

Полный текст

Аннотация
Об авторах
Список литературы
Дополнительные файлы
Статистика

Аннотация

Описан метод трехмерной реконструкции зданий по одиночному аэрокосмическому изображению, состоящий из двух этапов – извлечение семантической информации и восстановление геометрии. Рассмотрена топология искусственных нейронных сетей по семантической сегментации компонентов зданий и эталонных объектов. По второму этапу представлены некоторые математические преобразования: по расчету фотометрических параметров изображения на базе метаданных или эталонных объектов, по преобразованию пространственных координат в осевые и плоские координаты изображения и др. Показаны два примера по вычислению фотометрических параметров и трехмерной модели здания по одиночным спутниковому изображению и аэрофотоснимку.

Список литературы

Biljecki F., Stoter J., Ledoux H., Zlatanova S., Çöltekin A. Applications of 3D City Models: State of the Art Review // ISPRS Intern. J. Geo-Information. 2015. V. 4. № 4. P. 2842–2889.
Tang L., Li L., Ying S., Lei Y. A Full Level-of-Detail Specification for 3D Building Models Combining Indoor and Outdoor Scenes // ISPRS Intern. J. Geo-Information. 2018. V. 7. № 11. P. 419.
Yu D., Ji S., Liu J., Wei S. Automatic 3D Building Reconstruction from Multi-view Aerial Images with Deep Learning // ISPRS J. Photogrammetry and Remote Sensing. 2021. V. 171. P. 155–170.
Leotta M.J., Long C., Jacquet B., Zins M., Lipsa D., Shan J., Xu B., Li Z., Zhang X., Chang S.F. et al. Urban Semantic 3D Reconstruction From Multiview Satellite Imagery // IEEE/CVF Conf. on Computer Vision and Pattern Recognition Workshops (CVPRW). California, 2019. P. 1451–1460.
Anzhu Y., Wenyue G., Bing L., Xin C., Xin W., Xuefeng C., Bingchuan J. Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for 3D Reconstruction // ISPRS J. Photogrammetry and Remote Sensing. 2021. V. 175. P. 448–460.
Yi C., Zhang Y., Wu Q., Xu Y., Remil O., Wei M., Wang J. Urban Building Reconstruction from Raw LiDAR Point Data // Computer-Aided Design. 2017. V. 93. P. 1–14.
Reconstructing 3D Buildings from Aerial LiDAR with Deep Learning. 2020. URL: https://developers.arcgis.com/python/samples/building-reconstruction-using-mask-rcnn/
Wang R., Peethambaran J., Chen D. LiDAR Point Clouds to 3-D Urban Models: A Review // IEEE J. Selected Topics in Applied Earth Observations and Remote Sensing. 2018. V. 11. № 2. P. 606–627.
Karantzalos K., Paragios N. Automatic Model-based Building Detection from Single Panchromatic High Resolution Images // The Intern. Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2008. V. 37. № 3Ba.
Wang K., Frahm J.M. Single View Parametric Building Reconstruction from Satellite Imagery // International Conf. on 3D Vision (3DV). Qingdao, 2017. P. 603–611.
Alidoost F., Arefi H., Hahn M. Y-shaped Convolutional Neural Network for 3D roof Elements Extraction to Reconstruct Building Models from a Single Aerial Image // ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2020. V. 2. P. 321–328.
Biljecki F., Pang H.E. 3D Building Reconstruction from Single Street View Images Using Deep Learning // Intern. J. of Applied Earth Observation and Geoinformation. 2022. V. 112.
Гвоздев О.Г., Козуб В.А., Рихтер А.А., Мурынин А.Б., Кошелева Н.В. Построение трехмерных моделей ригидных объектов по спутниковым изображениям высокого пространственного разрешения с использованием сверточных нейронных сетей // Исслед. Земли из космоса. 2020. № 5. С. 78–96.
Kazaryan M., Richter A., Gvozdev O., Murynin A., Kozub V., Pukhovsky D., Shakhramanyan M., Semeni-shchev E. Reconstruction of 3-D Models of Infrastructure Objects from Satellite Images Based on Typed Elements // Proc. SPIE 12269, Conf. Remote Sensing Technologies and Applications in Urban Environments VII, 122690J. Edinburgh, 2022.
Мурынин А.Б., Рихтер А.А. Особенности применения методов и алгоритмов реконструкции трехмерной формы ригидных объектов по данным панорамной съемки // Машинное обучение и анализ данных. 2018. V. 4. № 4. P. 235–247.
Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Medical Image Computing and Computer-Assisted Intervention (MICCAI 2015) Springer International Publishing. 2015. P. 234–241.
Nabil I., M. Sohel R. MultiResUNet: Rethinking the U-Net Architecture for Multimodal Biomedical Image Segmentation // Neural Networks. 2020. V. 121. P. 74–87.
Гвоздев О.Г., Касинская К.А., Мурынин А.Б., Рихтер А.А. Получение информации об антропогенном замусоривании земной поверхности по данным спутниковой съемки // Тез. докл. второй Междунар. конф. “Ситуация, язык, речь. Модели и приложения”. Москва, Россия–Рим, Италия, 2019. P. 50–51.
Гвоздев О.Г., Мурынин А.Б., Рихтер А.А. Комплекс прикладных решений по построению и обучению искусственных нейронных сетей для семантической сегментации аэрокосмических изображений произвольной канально-спектральной структуры в условиях дефицита обучающих данных // Матер. 19-й Всеросс. конф. с междунар. участием: Математические методы распознавания образов (ММРО-2019). М.: Российская академия наук, 2019. С. 344–348.
Gvozdev O., Kosheleva N., Murynin A., Richter A. 3D-modeling Infrastructure Facilities Using Deep Learning Based on High Resolution Satellite Images // 20th Intern. Multidisciplinary Scientific GeoConf. SGEM. Albena, 2020. P. 149–156.
Гвоздев О.Г., Козуб В.А., Кошелева Н.В., Мурынин А.Б., Рихтер А.А. Нейросетевой метод построения трехмерных моделей ригидных объектов по спутниковым изображениям // Мехатроника, автоматизация, управление. 2021. V. 22 (1). P. 48–55.
Рихтер А.А., Гвоздев О.Г., Мурынин А.Б., Козуб В.А., Кошелева Н.В. Восстановление геометрических моделй объектов железнодорожной инфраструктуры по спутниковым изображениям на основе искусственных нейронных сетей // Матер. 18-й Вероссийской открытой конф. “Современные проблемы дистанционного зондирования Земли из космоса”. М., 2020. P. 41.
Gvozdev O.G., Kozub V.A., Kosheleva N.V., Murynin A.B., Richter A.A. Constructing 3D Models of Rigid Objects from Satellite Images with Spatial Resolution Using Convolutional Neural Networks // Izvestiya, Atmospheric and Oceanic Physics. 2020. V. 56. № 12. P. 1664–1677.