Estimation of the Random Forest Machine Learning Algorithm for Classification of Forest Phytomass

Full Text

Введение. Лесные экосистемы играют жизненно важную роль в балансе наземного цикла углерода и могут способствовать смягчению последствий глобального изменения климата на жизнь человека [1]. В последние десятилетия этому направлению посвящено большое число исследований российских и зарубежных учёных [2–4]. Обобщённые результаты по региональным и глобальным оценкам депонирования углерода лесными насаждениями входят в отчёты межправительственной комиссии экспертов по изменению климата [5]. Эффективность и точность подобных исследований в значительной степени связана с использованием современных информационных технологий и методов обработки больших данных.

Основным общепризнанным фактором, определяющим скорость и объём депонирования углерода лесными экосистемами, является их биологическая продуктивность, которая обычно выражается пространственно-временным распределением надземной фитомассы. Для определения фитомассы насаждений с течением времени использовались разные методические решения. Традиционные полевые исследования предоставляют основные таксационные данные (диаметр, высоту, полноту, возраст) деревьев, что позволяет точно определять фитомассу насаждения с использованием аллометрических уравнений, но для этого требуются значительные временны́е и финансовые затраты [6]. В связи с этим для решения этого вопроса всё чаще используются данные дистанционного зондирования (ДЗЗ). Наиболее точными для этих целей являются лидарные технологии, позволяющие оценивать вертикальную структуру насаждения, а также радарная съёмка с синтезированной апертурой [7–9]. Оптические данные дистанционного зондирования с высоким пространственным разрешением также позволяют получать важную спектральную информацию и проводить мониторинг растительного покрова на больших территориях [10–12].

В последние годы для оценки фитомассы лесного покрова всё большее применение находят спутники Sentinel Европейского космического агентства в рамках программы Copernicus [13]. Sentinel-2 – миссия, направленная на изучение земной поверхности с помощью широкополосных мультиспектральных спутников высокого разрешения Sentinel-2A и Sentinel-2B. Мультиспектральный сенсор MSI Sentinel-2 (англ. MultiSpectral Instrument) сканирует поверхность земли в 13 спектральных диапазонах, от видимого до коротковолнового инфракрасного электромагнитного спектра. Группы диапазонов имеют различное пространственное разрешение: четыре спектральных канала имеют 10-метровое пространственное разрешение, шесть каналов – 20-метровое разрешение, и два канала – 60-метровое разрешение [14]. Этот сенсор нашёл широкое применение в мониторинге лесного покрова, а также для оценки запасов леса и ущерба от пожаров [15–17].

Для оценки надземной биомассы (фитомассы) AGB (англ. above ground biomass) с использованием ДЗЗ широкое применение находят алгоритмы машинного обучения, позволяющие идентифицировать ключевые спектральные и текстурные переменные [18]. Использование методов машинного обучения также способствует более эффективной обработке спутниковых данных [19, 20], в том числе при оценке фитомассы лесов [21]. Обычно при современных исследованиях применяют такие методы машинного обучения, как дерево решений (англ. Decision tree), ближайшего соседа (англ. Nearest Neighbor), искусственная нейронная сеть ANN (англ. Artificial Neural Network) и метод опорных векторов SVM (англ. Support Vector Machine), «Случайный лес» RF (англ. Random Forest). Эффективность каждого из этих методов машинного обучения зависит от сложности взаимосвязи между фитомассой и данными дистанционного зондирования [22, 23].

Цель данного исследования – оценить алгоритм машинного обучения «Случайный лес» для классификации пространственного распределения надземной фитомассы лесного покрова по спектральным каналам Sentinel-2 и серии спектральных индексов на примере заказника «Сосновоборский» Пензенской области. Для этого были решены следующие задачи:

• заложены тестовые участки на территории исследования;
• получены тематические карты вегетационных индексов по спутниковым снимкам на территорию заказника;
• подобраны оптимальные параметры для моделирования фитомассы по алгоритму «Случайный лес» машинного обучения;
• проведена оценка полученной модели и создана карта распределения плотности фитомассы на территории заказника.

Материалы и методы исследования. Исследования проводились на территории государственного природного зоологического заказника регионального значения «Сосновоборский» Пензенской области (рис. 1). Общая площадь исследуемой территории составляет 8 067 га.

 

Рис. 1. Расположение тестовых участков на исследуемой территории

Fig. 1. Location of test sites in the study area

 

Заказник является особо охраняемой природной территорией регионального значения, предназначенной для сохранения и восстановления редких и исчезающих видов животных, в том числе ценных видов в хозяйственном, научном и культурном отношениях, и среды их обитания¹. Задача заказника – особая охрана редких и исчезающих видов животных, а также выполнение функции по сохранению и восстановлению ценных в хозяйственном, научном и культурном отношениях охотничьих ресурсов и их воспроизводство (http://www.oopt.aari.ru/oopt/).

Во время полевых исследований в 2022 году на территории заповедника было заложено 20 тестовых участков (ТУ) в древостоях различных по таксационным характеристикам. Кроме того, по данным последнего лесоустройства были подобраны 90 ТУ с описанием их основных дендрометрических показателей и привязкой на местности. В целом в работе для классификации и оценки точности были подобраны 40 ТУ в хвойных, 38 в лиственных, 16 в смешанных и 16 на не покрытых лесом участках. Для каждого исследуемого насаждения были определены следующие таксационные показатели: средние возраст, высота и диаметр, породный состав и полнота. Эти данные были использованы для определения запаса насаждений с помощью таблиц для таксации лесов [24]. Полученные данные по запасам насаждений пересчитывались в фитомассу с помощью существующих конверсионных коэффициентов для региона исследования [25, 26].

В работе был использован спутниковый снимок Sentinel-2B MSI L2A T38 UNE от 26 июня 2022 года, полученный с электронного ресурса открытого доступа Copernicus (Sentinels Scientific Data Hub), https://scihub.copernicus.eu/dhus/#/home]. Для учёта влияния атмосферы и устранения геометрического искажения исходное спутниковое изображение было скорректировано в модуле Sen2Cor, встроенном в программное обеспечение SNAP.

В работе был применён алгоритм машинного обучения «Случайный лес» [27], который основан на комбинировании выходных данных нескольких ансамблей деревьев решений, что позволяет получать оптимальное качество классификации спутниковых изображений. Это гибкий и простой в использовании алгоритм, который можно применять как для задач классификации, так и для задач регрессионного анализа [28, 29]. «Случайный лес» также используется учёными при расчётах фитомассы лесных насаждений путём объединения нескольких деревьев решений и оптимизации их прогнозов [30]. Алгоритм «Случайный лес» позволяет выявлять сложную нелинейную связь между растительным покровом и изображениями ДЗЗ с неопределённым набором данных, а также способен оптимально комбинировать данные из разных источников для повышения точности прогноза [31, 32]. В данном исследовании для разработки модели «Случайного леса» по оценке фитомассы лесного насаждения использовалась интерактивная веб-среда с открытым исходным кодом Jupyter Notebook, которая позволяет пользователям создавать и обмениваться информацией, содержащей коды, уравнения, визуализацию и текст. Jupyter Notebook поддерживает более 40 языков программирования, включая Python, R, Julia и Scala [33]. Блок-схема последовательности работ в исследовании приведена на рис. 2.

 

Рис. 2. Блок-схема оценки надземной фитомассы с помощью машинного обучения

Fig. 2. Flowchart of estimating above-ground phytomass using machine learning

 

В качестве входных параметров в модель оценки фитомассы лесных насаждений были использованы данные, полученные как из спектральных каналов MSI Sentinel-2, так и вегетационных индексов на территорию исследования. Для этого были использованы: нормализованный разностный вегетационный индекс NDVI (англ. Normalized Differenced Vegetation Index), расширенный вегетационный индекс EVI (англ. Enhanced Vegetation Index), вегетационный индекс с поправкой на почву SAVI (англ. Soil adjusted vegetation index), нормализованный разностный индекс влажности NDMI (англ. Normalized Differenced Moisture Index), относительный индекс вегетации RVI (англ. Ratio Vegetation Index), нормализованный индекс вегетации по краевому диапазону красной зоны спектра NDVIre (англ. Red-edge Normalized Difference Vegetation Index), индекс хлорофилла по краевому диапазону красной зоны спектра Clre (англ. Red-edge Chlorophyll Index) (табл.). На первом этапе проведено разделение тестовых участков на обучающую (77 ТУ) и контрольную выборки (33 ТУ).

 

Вегетационные индексы, используемые в алгоритме «Случайный лес»

Vegetation indices used in the Random Forest algorithm

Индексы	Формула спектральных каналов	Источник
NDVI	$\frac{Band8-Band4}{Band8+Band4}$	[35]
EVI	$\mathrm{2,5}\times \frac{Band8-Band4}{Band8+6\times Band4-\mathrm{7,5}\times Band4}$	[36]
SAVI	$(1+\mathrm{0,5})\times \frac{Band8-Band4}{Band8+Band4+\mathrm{0,5}}$	[37]
NDMI	$\frac{Band8-Band11}{Band8+Band11}$	[38]
RVI	$\frac{Band8}{Band4}$	[39]
NDVIre	$\frac{Band8-Band5}{Band8+Band5}$	[40]
Clre	$\frac{Band8}{Band5}-1$	[41]

 

Далее проводился подбор основных параметров модели «Случайный лес» для оптимизации её производительности:

• n_estimators – количество деревьев решений в алгоритме Random Forest. Увеличение количества деревьев может повысить точность модели, что в свою очередь приводит к излишней по времени обработке данных на её оптимизацию;
• max_features – количество независимых переменных (случайных подмножеств), выбранных случайным образом для использования при каждом решении в RF. Это может быть фиксированное число или доля от общего количества переменных (например, двоичный логарифм от числа переменных – log₂, квадратный корень от числа переменных – sqrt). Меньшее значение этого показателя может снизить время на переобучение, а большее повысить точность модели;
• max_depth – определяет максимальную глубину (величину), до которой может проходить оптимизация изучаемого дерева решения. Это один из самых важных параметров, когда речь идёт о повышении точности модели. Увеличение этого показателя приводит к повышению точности модели до определённого предела, после которого она начинает постепенно снижаться в связи с её переобучением. Поэтому при таких исследованиях важно изначально корректно установить его значение, чтобы избежать процесса переобучения [34].

Выбор количества параметров – одна из важных задач при построении модели машинного обучения, потому что изменение параметров модели может принципиально повлиять на её качество и время на её обработку. Для подбора параметров алгоритма «Случайного леса» в веб-среде с открытым исходным кодом Jupyter Notebook используется метод поиска по программе GridSearchCV, который автоматически подбирает параметры машинного обучения и создаёт оптимальный набор для каждой из возможной комбинации. Поиск по программе GridSearchCV включает проверку диапазона значений параметров n_estimators, max_features и max_depth. После этого выбирается комбинация этих параметров, обеспечивающая максимальную производительность модели.

Заключительным этапом работ является запуск модели и оценка её эффективности. Для этого в работе использована десятикратная перекрёстная проверка, при которой набор данных разделён на десять частей, каждая из которых содержала одинаковое количество тестовых участков. В процессе моделирования на каждом этапе одна часть данных выбиралась в качестве тестового набора данных, а остальные девять частей использовались в качестве обучающих моделей для прогнозирования целевого значения [42, 43]. Такая процедура проводилась десять раз для каждого набора наблюдений. Статистические характеристики модели «Случайный лес» оценивали с помощью коэффициента детерминации (R²), среднеквадратичной ошибки RMSE (англ. Root mean square error) и средней абсолютной ошибки MAE (англ. Mean absolute error).

Результаты исследования и их обсуждение. В работе на основе модуля GridSearchСV были получены оптимальные значения параметров модели «Случайный лес» по оценке фитомассы лесных насаждений заповедника «Сосновоборский» по данным вегетационных индексов: n_estimators = 500, max_features = sqrt, max_depth = 10. Как видно из рис. 3, а, R² достигает максимальных значений при увеличении числа «деревьев решений» до 500 штук. Затем наблюдается его небольшое снижение в связи с процессом переобучения модели. Распределение значений R² оказалось одинаково для log2 и sqrt, поэтому выбор значения параметров max_features может быть любым. На рис. 3, б видно резкое повышение R² при увеличении параметра max_depth числа «деревьев решений» с 0 до 3, затем наблюдается относительная стабилизация зависимости при их увеличении до 10. Максимальный показатель max_depth «дерева решений» позволяет разделить каждый исследуемый узел (англ. Node) на оптимальное количество наблюдений, что приводит к получению более точных данных по фитомассе насаждений.

 

Рис. 3. Распределение значений R² по параметрам модели «дерево решений»: а) n_estimators; б) max_depth

Fig. 3. Distribution of R² values by parameter of the Decision Tree model: a) n_estimators; b) max_depth

 

Интеграция оптимальных значений параметров в модель «Случайного леса» с использованием наборов данных ТУ для обучения и тестирования позволила получить следующие статистики: R²=0,60, MAE=17,6 т/га, RMSE=20,9 т/га, что достаточно для формирования модели расчёта фитомассы на территории исследования. На рис. 4 показано распределение данных фитомассы, сгенерированных по алгоритму «Случайный лес» и по тестовым участкам, на территории заказника «Сосновоборский». Отдельные прогнозные значения фитомассы (в виде точек) располагаются близко к оптимальной модели (сплошная линия). В целом, на рис. 4 наблюдается низкий уровень дисперсии в модели «Случайный лес» в сравнении с оптимальной линией, в которой распределение точно соответствует модели, что свидетельствует о приемлемом качестве принятой модели для оценки фитомассы.

 

Рис. 4. Модели распределения и полевые данные фитомассы лесного покрова заказника «Сосновоборский»

Fig. 4. Distribution of predicted and measured forest cover phytomass in the Sosnovoborsky nature reserve

 

На рис. 5 представлено распределение между фактическими и прогнозируемыми значениями фитомассы и остатками, случайно рассеянными вокруг нулевых значений. Гистограмма остатков демонстрирует нормальное распределение, а плотность прогнозируемых показателей также подтверждает адекватность модели (рис. 5). В работе установлено, что моделирование по алгоритму «Случайный лес» переоценивает небольшие значения фитомассы и недооценивает большие, что частично объясняет наличие систематической ошибки в прогнозе и указывает на проблему насыщения. Следует отметить, что проблемы завышения и занижения оценок до сих пор не удалось полностью устранить с помощью алгоритмов машинного обучения. Эта проблема также существовала в предыдущих исследованиях с непараметрическим алгоритмом оценки фитомассы [44].

 

Рис. 5. График остатков, показывающий разницу между фактическими и моделируемыми значениями обучающей выборки (синий цвет) и контрольной выборки (зелёный цвет) фитомассы лесного покрова (т/га)

Fig. 5. Residue plot showing the difference between the actual and predicted values of the training sample (blue) and values of the control sample (green) of the forest cover phytomass (t/ha)

 

Оптимальные результаты модели оценки фитомассы могут быть объяснены использованием спектральных каналов Sentinel-2, которые лучшим образом фиксируют растительный покров, особенно в краевой красной зоне спектра Red Edge (каналы 5–7) (рис. 6). На рис. 6 показано распределение спектральных каналов и используемых в работе вегетационных индексов по их относительной важности при оценке фитомассы. Среди всех оцениваемых параметров, использованных в модели расчёта фитомассы по алгоритму «Случайный лес», максимум влияния оказывают значения спектральных показателей канала 11 (SWIR – коротковолновый инфракрасный) и данные по b5, b3, b12, b2 и b7 каналам. При этом подходе машинного обучения вегетационные индексы показывают меньшее влияние на точность при оценке фитомассы. Это является серьёзным недостатком их использования, так как приводит к недооценке продуктивности районов с густыми лесами. Исследуемые индексы могут иметь низкую важность из-за своей высокой насыщенности в летний период, когда достигается пик вегетационного развития растений [45]. Для картографирования надземной фитомассы использовались показатели с относительной важностью более 50 %.

 

Рис. 6. Параметры модели, ранжированные в соответствии с объяснённой дисперсией, которую каждый из них вносит в модель

Fig. 6. Features ranked according to the explained variance that each feature contributes to the model

 

На рис. 7 представлена итоговая карта распределения фитомассы лесов заказника «Сосновоборский» Пензенской области, полученная на основе модели «Случайный лес» по данным спутниковых изображений и тестовых участков. Минимальные значения плотности фитомассы (красным цветом) наблюдаются на открытых участках заказника (вырубки, поля), сосредоточенных в основном в северной и северо-западной частях заказника. Также их небольшие участки можно найти в центральной части территории исследования. Максимальная плотность фитомассы лесных насаждений (светло-зелёный цвет), представленная в основном спелыми сосновыми насаждениями, сосредоточена в северной и центральной частях заказника.

 

Рис. 7. Распределение фитомассы на исследуемой территории, полученной с использованием модели «Случайный лес»

Fig. 7. Phytomass distribution across the study area obtained using the Random Forest model

 

Выводы. В работе проведена оценка набора спектральных каналов и вегетационных индексов, полученных по данным изображения Sentinel-2 MSI, с целью последующего моделирования распределения фитомассы в разновозрастных лесных ландшафтах заказника «Сосновоборский» Пензенской области с помощью алгоритма машинного обучения «Случайный лес». Применение автоматического машинного обучения позволило ускорить процесс моделирования распределения фитомассы и оценку точности классификации спутниковых данных. Приемлемость использования алгоритма «Случайный лес» в таких оценках обусловлена возможностью использования нескольких значимых параметров спутниковых данных, необходимых для выбора наиболее оптимальной модели. В работе были использованы только два из них спектральные каналы и вегетационные индексы.

Перспективным направлением оценки фитомассы с помощью машинного обучения является использование других источников данных ДЗЗ, таких как радиолокатор с синтезированной апертурой, гиперспектральные изображения с высоким пространственным разрешением, разновременные спутниковые данные для учёта сезонности, а также вспомогательные данные (например, климат, почва и рельеф). Полученная модель может быть использована для более точного определения запасов депонированного углерода в лесных экосистемах Пензенской области по спутниковым данным. В свою очередь, это позволит повысить точность оценки запасов углерода в лесных насаждениях на региональном уровне, что необходимо для выполнения Российской Федерацией обязательств по Парижскому соглашению об изменении климата.

Вклад авторов:

Дергунов Д. М. – концепция, методика, валидация, полевые данные, подготовка статьи, визуализация.

Воробьёв О. Н. – методика, валидация, формальный анализ, проверка данных, редактирование.

Курбанов Э. А. – концепция, методика, проверка данных, подготовка статьи, руководство, финансирование.

Лежнин С. А. – программное обеспечение, формальный анализ, редактирование.

Губаев А. В. – программное обеспечение, визуализация.

Авторы заявляют об отсутствии конфликта интересов.

Все авторы прочитали и одобрили окончательный вариант рукописи.

Contribution of the authors:

Dergunov D. M. – conceptualization, methodology, validation, field data, manuscript preparation, visualization.

Vorobev O. N. – methodology, validation, formal analysis, data verification, reviewing and editing.

Kurbanov E. A. – conceptualization, methodology, data verification, manuscript preparation, super-vision, funding.

Lezhnin S. A. – software, formal analysis, reviewing and editing.

Gubaev A. V. – software, visualization.

The authors declare that they have no conflict of interest.

All authors read and approved the final manuscript.

¹ О Внесении изменений в постановление правительства Пензенской области от 13.12.2017 N 604-пП (с последующими изменениями). Постановление правительства Пензенской области от 13.09.2021 № 587-пп [Электронный ресурс] URL: https://clck.ru/33ujz7

About the authors

Denis M. Dergunov

Volga State University of Technology

Email: kurbanovea@volgatech.net
SPIN-code: 1356-4021

Postgraduate Student of the Department of Silviculture and Forest Inventory

Russian Federation, Yoshkar-Ola

Oleg N. Vorobyev

Volga State University of Technology

Email: kurbanovea@volgatech.net
ORCID iD: 0000-0002-4897-677X
SPIN-code: 2870-0763

Candidate of Agricultural Sciences, Associate Professor at the Department of Silviculture and Forest Inventory

Russian Federation, Yoshkar-Ola

Eldar A. Kurbanov

Volga State University of Technology

Author for correspondence.
Email: kurbanovea@volgatech.net
ORCID iD: 0000-0001-5330-9990
SPIN-code: 9202-6359

Doctor of Agricultural Sciences, Professor at the Department of Silviculture and Forest Inventory; Head of the International Center for Sustainable Forest Management and Remote Sensing

Russian Federation, Yoshkar-Ola

Sergey A. Lezhnin

Volga State University of Technology

Email: kurbanovea@volgatech.net
ORCID iD: 0000-0001-6319-4752
SPIN-code: 3433-2617

Candidate of Agricultural Sciences, Associate Professor at the Department of Silviculture and Forest Inventory

Russian Federation, Yoshkar-Ola

Alexander V. Gubaev

Volga State University of Technology

Email: kurbanovea@volgatech.net
ORCID iD: 0000-0001-9410-9178
SPIN-code: 8458-2979

Candidate of Agricultural Sciences, Senior Researcher at the Division of Scientific Programs and Grants

Russian Federation, Yoshkar-Ola

References

Supplementary files