Deep Transfer Learning of Satellite Imagery for Land Use and Land Cover Classification

封面

如何引用文章

全文:

详细

Deep learning has been instrumental in solving difficult problems by automatically learning, from sample data, the rules (algorithms) that map an input to its respective output. Purpose: Perform land use landcover (LULC) classification using the training data of satellite imagery for Moscow region and compare the accuracy attained from different models. Methods: The accuracy attained for LULC classification using deep learning algorithm and satellite imagery data is dependent on both the model and the training dataset used. We have used state-of-the-art deep learning models and transfer learning, together with dataset appropriate for the models. Different methods were applied to fine tuning the models with different parameters and preparing the right dataset for training, including using data augmentation. Results: Four models of deep learning from Residual Network (ResNet) and Visual Geometry Group (VGG) namely: ResNet50, ResNet152, VGG16 and VGG19 has been used with transfer learning. Further training of the models is performed with training data collected from Sentinel-2 for the Moscow region and it is found that ResNet50 has given the highest accuracy for LULC classification for this region. Practical relevance: We have developed code that train the 4 models and make classification of the input image patches into one of the 10 classes (Annual Crop, Forest, Herbaceous Vegetation, Highway, Industrial, Pasture, Permanent Crop, Residential, River, and Sea&Lake).

作者简介

T. Yifter

Peoples' Friendship University of Russia

编辑信件的主要联系方式.
Email: teklay_ty@pfur.ru
Miklukho-Maklay St. 6

Yu. Razoumny

Peoples' Friendship University of Russia

Email: razoumny-yun@rudn.ru
Miklukho-Maklay St. 6

V. Lobanov

Peoples' Friendship University of Russia

Email: lobanov-vk@rudn.ru
Miklukho-Maklay St. 6

参考

  1. Y. Lecun, Y. Bengio, and G. Hinton, “Deep learning,” Nature, vol. 521, no. 7553. Nature Publishing Group, pp. 436–444, Mar. 2015. doi: 10.1038/nature14539.
  2. A. Vali, S. Comai, and M. Matteucci, “Deep learning for land use and land cover classification based on hyperspectral and multispectral earth observation data: A review,” Remote Sensing, vol. 12, no. 15. Multidisciplinary Digital Publishing Institute, p. 2495, Aug. 03, 2020. doi: 10.3390/RS12152495.
  3. N. Gorelick, M. Hancher, M. Dixon, S. Ilyushchenko, D. Thau, and R. Moore, “Google Earth Engine: Planetary-scale geospatial analysis for everyone,” Remote Sens. Environ., vol. 202, pp. 18–27, Mar. 2017, doi: 10.1016/j.rse.2017.06.031.
  4. L. Kumar and O. Mutanga, “Google Earth Engine applications since inception: Usage, trends, and potential,” Remote Sens., vol. 10, no. 10, 2018, doi: 10.3390/rs10101509.
  5. L. Parente, E. Taquary, A.P. Silva, C. Souza, and L. Ferreira, “Next generation mapping: Combining deep learning, cloud computing, and big remote sensing data,” Remote Sens., vol. 11, no. 23, 2019, doi: 10.3390/rs11232881.
  6. H. Li et al., “A Google Earth Engine-enabled software for efficiently generating high-quality user-ready Landsat mosaic images,” Environ. Model. Softw., vol. 112, pp. 16–22, 2019, doi: 10.1016/j.envsoft.2018.11.004.
  7. C. Tan, F. Sun, T. Kong, W. Zhang, C. Yang, and C. Liu, “A survey on deep transfer learning,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 11141 LNCS, pp. 270–279, 2018, doi: 10.1007/978-3-030-01424-7_27.
  8. X.X. Zhu et al., “Deep Learning in Remote Sensing: A Comprehensive Review and List of Resources,” IEEE Geoscience and Remote Sensing Magazine, vol. 5, no. 4. Institute of Electrical and Electronics Engineers Inc., pp. 8–36, Mar. 2017. doi: 10.1109/MGRS.2017.2762307.
  9. J. Song, S. Gao, Y. Zhu, and C. Ma, “A survey of remote sensing image classification based on CNNs,” Big Earth Data, vol. 3, no. 3, pp. 232–254, Mar. 2019, doi: 10.1080/20964471.2019.1657720.
  10. S.E. Whang et al., “Data Collection and Quality Challenges in Deep Learning: A Data-Centric AI Perspective,” Dec. 2021, doi: 10.48550/arxiv.2112.06409.
  11. C. Henry, S.M. Azimi, and N. Merkle, “Road segmentation in SAR satellite images with deep fully convolutional neural networks,” IEEE Geosci. Remote Sens. Lett., vol. 15, no. 12, pp. 1867–1871, 2018, doi: 10.1109/LGRS.2018.2864342.
  12. Q.J.C. Cheng, “Deep neural networks-based vehicle detection in satellite images”.
  13. X. Chen, S. Xiang, C.L. Liu, and C.H. Pan, “Vehicle detection in satellite images by hybrid deep convolutional neural networks,” IEEE Geosci. Remote Sens. Lett., vol. 11, no. 10, pp. 1797–1801, 2014, doi: 10.1109/LGRS.2014.2309695.
  14. H. Wu, H. Zhang, J. Zhang, and F. Xu, “Fast aircraft detection in satellite images based on convolutional neural networks,” Proc. - Int. Conf. Image Process. ICIP, vol. 2015-December, pp. 4210–4214, Mar. 2015, doi: 10.1109/ICIP.2015.7351599.
  15. P. Zhang, X. Niu, Y. Dou, and F. Xia, “Airport detection on optical satellite images using deep convolutional neural networks,” IEEE Geosci. Remote Sens. Lett., vol. 14, no. 8, pp. 1183–1187, Mar. 2017, doi: 10.1109/LGRS.2017.2673118.
  16. Q. Yao, X. Hu, and H. Lei, “Multiscale Convolutional Neural Networks for Geospatial Object Detection in VHR Satellite Images,” IEEE Geosci. Remote Sens. Lett., vol. 18, no. 1, pp. 23–27, Mar. 2021, doi: 10.1109/LGRS.2020.2967819.
  17. Y.H. Robinson, S. Vimal, M. Khari, F.C.L. Hernández, and R.G. Crespo, “Tree-based convolutional neural networks for object classification in segmented satellite images:,” https://doi.org/10.1177/1094342020945026, Mar. 2020, doi: 10.1177/1094342020945026.
  18. M. Mohammadi and A. Sharifi, “Evaluation of Convolutional Neural Networks for Urban Mapping Using Satellite Images,” J. Indian Soc. Remote Sens. 2021 499, vol. 49, no. 9, pp. 2125–2131, Mar. 2021, doi: 10.1007/S12524-021-01382-X.
  19. M. Hamouda and M.S. Bouhlel, “Dual Convolutional Neural Networks for Hyperspectral Satellite Images Classification (DCNN-HSI),” Commun. Comput. Inf. Sci., vol. 1332, pp. 369–376, 2020, doi: 10.1007/978-3-030-63820-7_42.
  20. A. Okaidat, S. Melhem, H. Alenezi, and R. Duwairi, “Using Convolutional Neural Networks on Satellite Images to Predict Poverty,” 2021 12th Int. Conf. Inf. Commun. Syst. ICICS 2021, pp. 164–170, Mar. 2021, doi: 10.1109/ICICS52457.2021.9464598.
  21. K.A. Korznikov, D.E. Kislov, J. Altman, J. Doležal, A.S. Vozmishcheva, and P.V. Krestov, “Using U-Net-Like Deep Convolutional Neural Networks for Precise Tree Recognition in Very High Resolution RGB (Red, Green, Blue) Satellite Images,” For. 2021, Vol. 12, Page 66, vol. 12, no. 1, p. 66, Mar. 2021, doi: 10.3390/F12010066.
  22. C. Xiao, R. Qin, and X. Huang, “Treetop detection using convolutional neural networks trained through automatically generated pseudo labels,” https://doi.org/10.1080/01431161.2019.1698075, vol. 41, no. 8, pp. 3010–3030, Mar. 2019, doi: 10.1080/01431161.2019.1698075.
  23. B. Yang et al., “Extraction of road blockage information for the Jiuzhaigou earthquake based on a convolution neural network and very-high-resolution satellite images,” Earth Sci. Informatics, vol. 13, no. 1, pp. 115–127, Mar. 2020, doi: 10.1007/S12145-019-00413-Z.
  24. M.A. Shafaey, M.A.-M. Salem, M.N. Al-Berry, H.M. Ebied, and M.F. Tolba, “Remote Sensing Image Classification Based on Convolutional Neural Networks,” Adv. Intell. Syst. Comput., vol. 1153 AISC, pp. 353–361, Mar. 2020, doi: 10.1007/978-3-030-44289-7_33.
  25. F. Oriani, M.F. McCabe, and G. Mariethoz, “Downscaling Multispectral Satellite Images without Colocated High-Resolution Data: A Stochastic Approach Based on Training Images,” IEEE Trans. Geosci. Remote Sens., vol. 59, no. 4, pp. 3209–3225, Mar. 2021, doi: 10.1109/TGRS.2020.3008015.
  26. S.S. Dymkova, “Conjunction and synchronization methods of earth satellite images with local cartographic data,” 2020 Syst. Signals Gener. Process. F. Board Commun., Mar. 2020, doi: 10.1109/IEEECONF48371.2020.9078561.
  27. P. Helber, B. Bischke, A. Dengel, and D. Borth, “Eurosat: A novel dataset and deep learning benchmark for land use and land cover classification,” IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., vol. 12, no. 7, pp. 2217–2226, 2019, doi: 10.1109/JSTARS.2019.2918242.
  28. Y. Yang and S. Newsam, “Bag-of-visual-words and spatial extensions for land-use classification,” GIS Proc. ACM Int. Symp. Adv. Geogr. Inf. Syst., no. January 2010, pp. 270–279, 2010, doi: 10.1145/1869790.1869829.
  29. M.E.D. Chaves, M.C.A. Picoli, and I.D. Sanches, “Recent Applications of Landsat 8/OLI and Sentinel-2/MSI for Land Use and Land Cover Mapping: A Systematic Review,” Remote Sens., vol. 12, no. 18, p. 3062, 2020, doi: 10.3390/rs12183062.
  30. C. Gómez, J.C. White, and M.A. Wulder, “Optical remotely sensed time series data for land cover classification: A review,” ISPRS J. Photogramm. Remote Sens., vol. 116, pp. 55–72, 2016, doi: 10.1016/j.isprsjprs.2016.03.008.

补充文件

附件文件
动作
1. JATS XML
下载

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».